Microsoft представила инструмент для тестирования ИИ систем ASSERT

Он призван помочь разработчикам проверять, насколько поведение моделей соответствует задачам конкретного продукта или сервиса. В отличие от общих бенчмарков, ASSERT ориентирован на прикладные сценарии. Система преобразует текстовые описания требований и политик в структурированные критерии допустимого и недопустимого поведения, а затем автоматически генерирует тестовые кейсы и сценарии для проверки модели.

Фреймворк может запускать тесты против ИИ-систем, фиксировать их действия, включая промежуточные шаги и вызовы инструментов, и анализировать результаты. Это позволяет выявлять сбои в логике работы и несоответствия заданным правилам.

Разработчики могут дополнительно задавать контекст, ограничения и доступные инструменты, чтобы точнее моделировать реальные условия использования. ASSERT также может применяться на разных этапах — от разработки до пострелизного мониторинга.