Curador de Ia

No Grupo Stefanini, buscamos um Curador de IA para garantir que as soluções baseadas em inteligência artificial entreguem respostas corretas, relevantes, seguras, éticas, consistentes e alinhadas ao contexto de negócio e políticas da empresa, proporcionando uma boa experiência ao usuário e minimizando riscos como alucinação, viés e exposição de dados.

Responsabilidades

• Analisar e avaliar respostas geradas por diferentes modelos de IA, verificando precisão, clareza, completude, relevância e aderência ao contexto.
• Identificar alucinações, contradições, vieses e informações sem evidência nas respostas da IA.
• Verificar a compreensão da intenção do usuário pela IA e a aderência às instruções e critérios de negócio.
• Classificar respostas conforme critérios definidos e comparar diferentes modelos, prompts e configurações.
• Definir métricas de qualidade e criar rubricas com critérios objetivos e escalas de pontuação.
• Estabelecer exemplos de respostas boas, aceitáveis e inadequadas, e criar conjuntos de testes e cenários adversariais.
• Selecionar e organizar exemplos para treinamento, avaliação e melhoria de prompts, revisando bases de conhecimento da IA.
• Identificar e remover dados desatualizados, duplicados, incompletos, conflitantes, sensíveis ou inadequados.
• Criar, revisar e otimizar prompts, definindo instruções de sistema, contextos, restrições e formatos de resposta.
• Testar técnicas de prompt engineering e avaliar o impacto das mudanças nos prompts.
• Realizar testes de segurança, como prompt injection e jailbreak, avaliando a exposição indevida de dados confidenciais.
• Testar respostas para temas sensíveis e identificar riscos de viés, discriminação e tratamento desigual.
• Acompanhar o comportamento da IA em produção, analisando feedbacks e identificando degradação de desempenho.
• Monitorar indicadores de erro, abandono, retrabalho e escalonamento humano, investigando incidentes.
• Documentar critérios, decisões, testes e resultados, elaborando relatórios de qualidade dos modelos.
• Manter um catálogo de prompts, versões e casos de uso, registrando limitações conhecidas da IA.
• Orientar curadores, analistas e prompt engineers menos experientes, revisando avaliações e definindo padrões.
• Conduzir workshops de avaliação de IA e apoiar decisões sobre modelos, fornecedores e arquiteturas.