Руководство по продукту · Русский
Оценивать промпты и модели ИИ
Используйте песочницу, чтобы освоить процесс оценки, затем настройте реальные цели, тестовые случаи и оценщики перед запуском сохранённой оценки.
Шаги
- Попробуйте варианты промптов в песочнице на синтетических данных. Это локальная демонстрация: реальная модель не подключена, а результаты не сохраняются как свидетельства производственной оценки.
- Создайте оценку и определите промпты и тестовые случаи. Добавьте подключение модели или HTTP-цель в разделе «Цели» и уточните, какие данные эта цель будет получать.
- Выберите проверки по правилам, LLM-судью или оценку по семантическому сходству в зависимости от задачи. Просмотрите настройки оценщика и ожидаемые результаты перед запуском.
- Изучите матрицу результатов запуска, ошибки, долю успешных случаев и стоимость. Сравнивайте одинаковые входные данные и конфигурации; используйте расписания только после проверки желаемого периодического охвата.
Как читать результат
Доля успешных случаев обобщает результаты для выбранных случаев и оценщиков. Выводы судьи и оценки сходства — свидетельства для изучения, а не истина в последней инстанции. При сравнении запусков явно фиксируйте изменения промптов, целей и оценщиков.
Ограничения и доступность
Реальные запуски зависят от настроенных целей, доступа и лимитов использования; они могут отправлять входные данные выбранному провайдеру или конечной точке. Песочница не подтверждает качество, задержку или стоимость реальной модели. Используйте одобренные тестовые данные и не делайте выводов о надёжности в продакшене по малой выборке.
Это руководство описывает реализованный процесс. Доступные в рабочем пространстве функции зависят от возможностей аккаунта и настроек; Free Quick Scan включает не все расширенные процессы. Проверяйте доступные элементы управления и свидетельства, возвращаемые каждым запуском.