ИТМО: создан полигон для теста новых систем ИИ за несколько минут

Ученые ИТМО создали цифровой полигон "Полиокс" для оценки эффективности систем ИИ в экстренных условиях и прогноза стоимости его дообучения, а также сравнения с другими похожими ИИ. В сравнении с классическими способами тестирования, разработка ученых ИТМО сокращает время на подготовку испытания модели от нескольких дней и недель до пары минут, об этом "Газете.Ru" рассказали в ИТМО.

Понять, когда модель перестала демонстрировать желаемые показатели точности и нуждается в обновлении, не всегда просто. К тому же, оценка качества новых моделей ИИ требует значительных ресурсов: сотен мегабайт данных, десятков часов работы и привлечения высококвалифицированных специалистов.

Упростить и ускорить процесс проверки ИИ-разработки помогает "Полиокс". ПО позволяет оценивать эффективность системы ИИ по нескольким критериям одновременно и сравнивать с аналогичными решениями. Еще одно преимущество — простота использования. Даже неподготовленный пользователь может самостоятельно запустить программу и проанализировать отчет с результатами тестирования.

Сначала на платформе вручную или автоматически собирают сценарии испытаний модели ИИ с учетом конкретных прикладных задач, условий эксплуатации и ожидаемой точности. Затем встроенный в систему ИИ генерирует синтетические данные для проверки моделей, после чего в автоматическом режиме проводятся испытания по заданным схемам. Финальный этап — анализ данных тестирования с помощью ML-моделей (модель машинного обучения) и классических методов статистики, что позволяет получить объективные выводы об эффективности работы новой ИИ-технологии.

"Мы увеличиваем искажение или уменьшаем объем входных данных до того уровня, когда система перестает показывать приемлемые по метрикам качества результаты. По сути, это автоматически дает оценку границ применимости моделей. И наконец, преимущество нашего ПО в том, что оно позволяет сравнивать загруженные на полигон модели с другими подобными", — отмечает в беседе с "Газетой.Ru" руководитель исследовательской группы, старший научный сотрудник исследовательского центра в сфере искусственного интеллекта "Сильный искусственный интеллект в промышленности" ИТМО Сергей Иванов.

Классическое тестирование систем ИИ редко включает больше двух-трех метрик точности. "Полиокс" предоставляет детализированный результат — текстовый отчет со схемами, графиками и другими визуальными данными с оценкой качества системы ИИ. В нем содержатся десятки показателей точности, рассчитанные в разных условиях.

"В перспективе мы планируем дополнить цифровой полигон методиками оценки качества языковых моделей, которые выступают сейчас основным драйвером развития ИИ-систем", — дополнил Сергей Иванов.