Цифровые флуктуации: почему ИИ ошибается и как с этим бороться

На базе нейронных сетей построены многочисленные системы искусственного интеллекта. Они считаются прогрессивным и достаточно надёжным инструментом анализа данных там, где задачу сложно формализовать. Им доверяют управление автомобилями и роботами, идентификацию людей, антифрод у банков и страховых компаний и другие ответственные задачи. При этом даже у лучших реализаций ИИ время от времени случаются грубые ошибки, возникновение которых бывает сложно объяснить.
Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай предположил, что у разноплановых ошибок ИИ существует общая причина. Он выявил её в ходе модельного эксперимента с использованием более 50 000 сгенерированных нейронных сетей, обучение которых продолжалось в течение тысяч эпох для каждой из них.
Малая ложь, большая ложь и статистика
К настоящему времени разработано множество архитектур искусственных нейронных сетей (ИНС), но ряд свойств у них остаётся общим. В частности, любая нейросеть по мере обучения накапливает артефакты — шумы разных типов. Если шумы в обучающих и анализируемых данных ещё можно как-то фильтровать, то цифровые шумы (накапливающиеся численные ошибки, возникающие из-за ограничений вычислительной платформы), все просто игнорируют.
В работе Игоря исследуется влияние цифрового шума на стабильность результатов работы нейронных сетей. Численные эксперименты показывают, что ошибки округления и другие математические неточности могут привести к полной потере значимости выводов нейросети, а также сделать бессмысленными любые сравнения метрик качества.
Цифровой шум в нейросетях возникает главным образом из-за неточности математических операций со значениями, представленными в цифровом виде как числа с плавающей запятой. Единичные ошибки обычно не оказывают заметного влияния на работу ИНС, а вот их накопление в конечном итоге приводит к потере значимости результата.
Речь идёт не о проверке статистической надёжности выводов ИНС, а о более фундаментальной и часто игнорируемой проблеме — надёжности самой логики работы нейросети. Когда накапливаются цифровые шумы, обновления весов рассчитываются неправильно, а градиентный спуск перестаёт работать сам по себе. В итоге ломается математическая модель нейросети, а вместо её обучения происходит только дальнейшее зашумление параметров и вывода.
Это отдельная и малоизученная проблема. Если с ней не столкнулись в процессе (до)обучения нейросети, то только потому, что статистические показатели испортились раньше, чем численная схема. Момент разрушения численной схемы нейросети может быть неочевидным, но после него уже не имеет смысла принимать во внимание статистические показатели, независимо от их значений.

Читать далее https://scientificrussia.ru/articles/cifrovye-fluktuacii-pocemu-ii-osibaetsa-i-kak-s-etim-borotsa
Источник фото на главной странице: pinterest