Avaliar prompts e modelos de IA

Etapas

1. Experimente variações de prompts no ambiente de testes com entradas sintéticas. É uma demonstração local: nenhum modelo real está conectado e os resultados não são salvos como evidências de avaliação em produção.
2. Crie uma avaliação e defina os prompts e casos de teste. Adicione uma conexão de modelo ou destino HTTP em Destinos e confirme quais dados ele receberá.
3. Escolha verificações por regras, um juiz LLM ou pontuação por similaridade semântica conforme necessário. Revise as configurações do avaliador e as saídas esperadas antes de iniciar uma execução.
4. Examine a matriz de resultados, as falhas, a taxa de aprovação e o custo da execução. Compare entradas e configurações equivalentes; use agendamentos somente após verificar o escopo recorrente desejado.

Ler o resultado

Taxas de aprovação resumem o desempenho nos casos e avaliadores escolhidos. As saídas do juiz e da similaridade são evidências a examinar, não verdades estabelecidas. Explicite as mudanças de prompts, destinos e avaliadores ao comparar execuções.

Limites e disponibilidade

Execuções reais dependem de destinos configurados, acesso e limites de uso; elas podem enviar entradas ao provedor ou endpoint selecionado. O ambiente de testes não comprova qualidade, latência ou custo de modelos reais. Use dados de teste aprovados e não infira confiabilidade em produção a partir de uma amostra pequena.

Este guia descreve o fluxo implementado. As funções disponíveis no espaço de trabalho dependem das capacidades da conta e da configuração; Free Quick Scan não inclui todos os fluxos avançados. Confira os controles disponíveis e as evidências retornadas por cada execução.

Documentação relacionada

• Acesso ao espaço de trabalho e credenciais
• Visão geral da documentação