Растущая популярность искусственного интеллекта, позволяющего программам обучаться по мере накопления знаний, может негативно сказать на многих сферах, включая системы распознавания речи, медицинских анализов и персонализированных предложений в множестве сервисах.
Чаще всего такие заказы передаются специалистами, не работающим в самой компании, например, Amazon Sagemaker или Microsoft Azure. Однако это компании проверенные временем, а вот более мелкие исполнители могут оставить в алгоритме так называемые бэкдоры, дающие доступ ко всему функционалу в обход всех систем безопасности. Примером может служить недавний случай с числовым рандомайзером Dual_EC_DRBG, в котором также был найден бэкдор. Скомпрометированный алгоритм не выдает себя при использовании сервиса, однако на самом деле злоумышленник может изменить любые данные алгоритма и останется незамеченным.
Эксперты подытожили тем, что заказчики не должны слепо доверять моделям машинного обучения, которые они не обучали самостоятельно, а делегировали их создание другим исполнителям.
Автор: Морозов Максим