Модели искусственного интеллекта неправильно оценивают нарушения правил: решения человека и машины

Краткое содержание: Исследователи обнаружили, что модели ИИ часто не могут точно воспроизвести человеческие решения относительно нарушений правил, что приводит к более резким суждениям. Это связано с типом данных, на которых обучаются эти модели; часто обозначаются описательно, а не нормативно, что приводит к разным интерпретациям нарушений правил.

Несоответствие может привести к серьезным реальным последствиям, таким как более строгие судебные приговоры. Поэтому исследователи предлагают улучшить прозрачность набора данных и сопоставить контекст обучения с контекстом развертывания для более точных моделей.

Ключевые факты:

Источник:С

В целях повышения справедливости или сокращения количества невыполненных заказов модели машинного обучения иногда разрабатываются так, чтобы имитировать процесс принятия решений человеком, например, принятие решения о том, нарушают ли публикации в социальных сетях политику токсичного контента.

Но исследователи из Массачусетского технологического института и других организаций обнаружили, что эти модели часто не воспроизводят человеческие решения о нарушениях правил. Если модели не обучены на правильных данных, они, скорее всего, будут выносить иные, часто более резкие суждения, чем люди.

В этом случае «правильными» данными являются те, которые были помечены людьми, которых прямо спросили, не нарушают ли элементы определенное правило. Обучение включает в себя демонстрацию модели машинного обучения миллионов примеров этих «нормативных данных», чтобы она могла изучить задачу.

Но данные, используемые для обучения моделей машинного обучения, обычно маркируются описательно — то есть людей просят определить фактические особенности, такие как, скажем, наличие жареной еды на фотографии.

Если «описательные данные» используются для обучения моделей, оценивающих нарушения правил, например, нарушает ли еда школьную политику, запрещающую жареную пищу, модели имеют тенденцию переоценивать нарушения правил.

Такое падение точности может иметь серьезные последствия в реальном мире. Например, если описательная модель используется для принятия решений о том, может ли человек совершить повторное преступление, результаты исследователей показывают, что она может выносить более строгие суждения, чем человек, что может привести к более высоким суммам залога или более длительным уголовным приговорам.

«Я думаю, что большинство исследователей искусственного интеллекта и машинного обучения предполагают, что человеческие суждения в данных и ярлыках предвзяты, но этот результат говорит о чем-то худшем.

«Эти модели даже не воспроизводят и без того предвзятые человеческие суждения, потому что данные, на которых они обучаются, имеют недостаток: люди по-разному называли бы особенности изображений и текста, если бы знали, что эти характеристики будут использоваться для суждения.

«Это имеет огромные последствия для систем машинного обучения в человеческих процессах», — говорит Марзи Гассеми, доцент и руководитель группы Healthy ML в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL).

Гассеми — старший автор новой статьи с подробным описанием этих результатов, которая была опубликована сегодня в журнале Science Advances. В работе к ней присоединяются ведущий автор Апарна Балагопалан, аспирантка в области электротехники и информатики; Дэвид Мадрас, аспирант Университета Торонто; Дэвид Х. Янг, бывший аспирант, ныне соучредитель ML Estimation; Дилан Хэдфилд-Менелл, доцент Массачусетского технологического института; и Джиллиан К. Хэдфилд, заведующая кафедрой технологий и общества имени Шварца Райсмана и профессор права Университета Торонто.

Несоответствие маркировки

Это исследование выросло из другого проекта, в котором изучалось, как модель машинного обучения может оправдать свои прогнозы. Собирая данные для этого исследования, исследователи заметили, что люди иногда дают разные ответы, если их просят дать описательные или нормативные обозначения одних и тех же данных.

Чтобы собрать описательные ярлыки, исследователи просят их указать фактические особенности — содержит ли этот текст нецензурную лексику? Чтобы собрать нормативные метки, исследователи дают маркировщикам правило и спрашивают, нарушают ли данные это правило — нарушает ли этот текст явную языковую политику платформы?