МАРШРУТ
AI-функции в продукте
Контекст, оценка качества, безопасность, стоимость и эксплуатация AI-функций.
Ожидаемый результат
Спроектировать управляемую AI-функцию с оценкой, ограничениями и наблюдаемостью.
Версионирование промптовПромпт хранится как версионируемый артефакт вместе с моделью, параметрами, инструментами и ожидаемым форматом ответа.Проверка схемы ответа моделиОтвет модели принимается только после синтаксической и семантической проверки по ожидаемой схеме.Регрессионное тестирование промптовИзменения промпта проверяются на фиксированном наборе сценариев, чтобы выявлять ухудшения до выпуска.Prompt InjectionНедоверенный текст изменяет инструкции языковой модели.Защита от prompt injectionСистема разделяет инструкции и недоверенные данные, ограничивает инструменты и проверяет последствия выполнения модели.Бюджет inferenceДля сценария задаётся предельная стоимость, задержка и объём вычислений на один результат.Тайм-аут AI-инференсаОграничение максимального времени ожидания ответа модели с определённым поведением при превышении срока.Аудит действий AI-агентаНеизменяемая последовательность решений, вызовов инструментов, аргументов, результатов и подтверждений агента.Реагирование на AI-инцидентыПроцесс обнаружения, локализации, расследования и устранения вредных или непредсказуемых результатов AI-системы.