Évaluer les invites et modèles d’IA

Étapes

1. Essayez des variantes d’invites dans l’aire d’essai avec des entrées synthétiques. Il s’agit d’une démonstration locale : aucun modèle réel n’est connecté et les résultats ne sont pas enregistrés comme preuves d’évaluation en production.
2. Créez une évaluation et définissez les invites et les cas de test. Ajoutez une connexion de modèle ou une cible HTTP dans Cibles, puis confirmez les données que cette cible recevra.
3. Choisissez des contrôles par règles, un juge LLM ou une notation par similarité sémantique selon les besoins. Examinez les paramètres de l’évaluateur et les sorties attendues avant de lancer une exécution.
4. Examinez la matrice des résultats, les échecs, le taux de réussite et le coût de l’exécution. Comparez des entrées et configurations équivalentes ; n’utilisez les planifications qu’après avoir vérifié le périmètre récurrent prévu.

Lire le résultat

Les taux de réussite résument les performances sur les cas et évaluateurs choisis. Les sorties des juges et des mesures de similarité sont des éléments à examiner, pas des vérités établies. Explicitez les changements d’invites, de cibles et d’évaluateurs lorsque vous comparez des exécutions.

Limites et disponibilité

Les exécutions réelles dépendent des cibles configurées, des accès et des limites d’utilisation ; elles peuvent envoyer des entrées au fournisseur ou au point de terminaison choisi. L’aire d’essai ne démontre ni la qualité, ni la latence, ni le coût d’un modèle réel. Utilisez des données de test approuvées et ne déduisez pas la fiabilité en production d’un petit échantillon.

Ce guide décrit le parcours implémenté. Les fonctions disponibles dans votre espace de travail dépendent des capacités du compte et de la configuration ; Free Quick Scan n’inclut pas tous les parcours avancés. Vérifiez les contrôles disponibles et les éléments renvoyés par chaque exécution.

Documentation associée

• Accès à l’espace de travail et identifiants
• Vue d’ensemble de la documentation