KI-Prompts und Modelle bewerten

Schritte

1. Probieren Sie Prompt-Varianten im Playground mit synthetischen Eingaben aus. Dies ist eine lokale Demo: Es ist kein echtes Modell verbunden, und Ergebnisse werden nicht als Nachweise für Produktionsevaluationen gespeichert.
2. Erstellen Sie eine Evaluation und definieren Sie Prompts und Testfälle. Fügen Sie unter Ziele eine Modellverbindung oder ein HTTP-Ziel hinzu und bestätigen Sie, welche Daten dieses Ziel erhält.
3. Wählen Sie je nach Bedarf Regelprüfungen, einen LLM-Bewerter oder eine Bewertung nach semantischer Ähnlichkeit. Prüfen Sie die Bewertungseinstellungen und erwarteten Ausgaben vor dem Start.
4. Untersuchen Sie Ergebnismatrix, Fehler, Erfolgsquote und Kosten des Laufs. Vergleichen Sie gleichartige Eingaben und Konfigurationen; verwenden Sie Zeitpläne erst nach Prüfung des beabsichtigten wiederkehrenden Umfangs.

Das Ergebnis lesen

Erfolgsquoten fassen die Leistung für die gewählten Fälle und Bewertungsverfahren zusammen. Ausgaben von Bewertern und Ähnlichkeitsverfahren sind zu prüfende Nachweise, keine gesicherte Wahrheit. Machen Sie Änderungen an Prompts, Zielen und Bewertungsverfahren beim Vergleich von Läufen ausdrücklich sichtbar.

Grenzen und Verfügbarkeit

Echte Läufe hängen von konfigurierten Zielen, Zugriff und Nutzungslimits ab; sie können Eingaben an den ausgewählten Anbieter oder Endpunkt senden. Der Playground belegt weder Qualität noch Latenz oder Kosten echter Modelle. Verwenden Sie freigegebene Testdaten und leiten Sie aus einer kleinen Stichprobe keine Produktionszuverlässigkeit ab.

Dieser Leitfaden beschreibt den implementierten Ablauf. Die verfügbaren Funktionen Ihres Arbeitsbereichs hängen von Kontoberechtigungen und Konfiguration ab; Free Quick Scan umfasst nicht alle erweiterten Abläufe. Prüfen Sie die verfügbaren Kontrollen und die Nachweise jedes Laufs.

Weiterführende Dokumentation

• Arbeitsbereichszugriff und Zugangsdaten
• Dokumentationsübersicht