НОВОСТИ СЕГОДНЯ
Компании активно встраивают нейросети в свои сервисы — это позволяет ускорять обработку запросов, автоматизировать поддержку и быстрее выводить новые функции на рынок. Однако вместе с удобством такие технологии создают и ряд системных рисков, о которых важно понимать заранее, рассказала "Газете.Ru" эксперт по внедрению нейросетей в процессы тестирования ПО Игорь Волынец.
"Существует главная проблема — это слишком сильное доверие пользователей к результатам работы ИИ. Популярность нейросетей создает ощущение точности и надежности, хотя внутри моделей нет механизма гарантированной проверки достоверности ответа", — отмечает он.
По его словам, наибольшей опасностью являются ошибки в финансовых, медицинских и юридических сервисах, где некорректность ответа напрямую влияет на решения пользователей и может принести вред здоровью или денежные потери. С одной стороны, удобно иметь личного доктора широкого профиля в своем смартфоне, но с другой — однажды можно получить ошибочный совет, который уведет вас в неправильную сторону и в лучшем случае затянет лечение на неопределенный срок.
"С технической точки зрения, подавляющее большинство приложений на базе LLM (технология, на которой основан ИИ) не обладают системой валидации ответов. То есть модель генерирует результат на основе вероятностей и фактически не проверяет данные перед ответом, поэтому даже корректно сформулированный на первый взгляд ответ может содержать серьезные неточности", — объясняет эксперт.
Еще один дополнительный риск связан с обработкой пользовательских данных, которые могут передаваться третьим лицам.
"Многие приложения запрашивают очень много доступов, которые для работы им просто не нужны. Например, доступ к переписке, документам или голосу пользователя. При этом система хранения и обработки этих данных часто непрозрачна, особенно в продуктах молодых небольших команд или стартапов. Не всегда ясно, в каких целях полученные данные будут использоваться разработчиками", — добавляет он.
Это увеличивает вероятность утечек и неконтролируемого использования информации. Несмотря на это, компании продолжают активно внедрять ИИ в мобильные приложения. Это делается по многим причинам. Например, ИИ позволяет снижать нагрузку на команды поддержки, также нейросети позволяют автоматизировать рутинные задачи и ускорять развитие продукта.
"С машинной точки зрения ИИ действительно хорошо масштабирует повторяющиеся процессы. Но нужно отдавать себе отчет, что это не замена экспертизе, а инструмент, требующий пока еще контроля и тестирования", — подчеркивает Волынец.
Он также отмечает, что поведение моделей может быть нестабильным.
"ChatGPT хоть и является по моему мнению лучшей моделью для общих среднестатистических вопросов, но она, как и многие другие модели, работает на основе вероятностей, поэтому без дополнительных ограничений и тестов одна и та же система может выдавать разные ответы на одинаковые запросы. Это нормальное свойство модели, но его необходимо учитывать при проектировании пользовательских сценариев", — говорит эксперт.
Кроме того, огромное количество правильных ответов формирует у пользователя иллюзию "полного доверия", хотя на самом деле модель не осознает смысл, а лишь оперирует статистическими зависимостями. То есть выдает наиболее вероятный ответ.
Это может вводить в заблуждение, если пользователь слишком доверяет ИИ.
Также стоит учитывать бизнес-модель многих агентов: часто приложения предлагают базовый функционал бесплатно, но ограничивают ключевые возможности подпиской, побуждая пользователей покупать платную версию. В итоге человек привыкает пользоваться приложением, а затем ему предлагают перейти на дорогую подписку.
В целом, по мнению Игоря Волынца, развитие ИИ в мобильных приложениях — это логичный и закономерный этап эволюции индустрии разработки ПО, но его внедрение требует адекватного инженерного подхода. При этом во многих российских и не только компаниях остается низкое качество защиты данных пользователей. Поэтому пользователям необходимо внимательнее относиться к своим персональным данным и запросам к ИИ, чтобы их данные не стали достоянием общественности.
"Мало просто внедрить ИИ в приложение, необходимо обеспечить контроль качества его работы, прозрачность обработки данных и предсказуемость поведения, — резюмирует эксперт.
Похожие новости: