Почему искусственный интеллект транслирует гендерные предрассудки и как это остановить

Для разработчиков и заказчиков ИИ это вопрос не только качества модели: риски возникают уже при выборе данных и правил применения системы.

Риск заложен в данных и сценариях

Клаудия Флорес, председатель рабочей группы ООН по дискриминации в отношении женщин и девочек, заявила комитету, что ИИ строится на данных, историческом опыте и существующем неравенстве. По её оценке, технология способна отражать и усиливать эту дискриминацию.

Отдельный риск связан с цифровым насилием. Женщины-политики, журналисты и правозащитницы сталкиваются с запугиванием в сети, которое ограничивает их участие в общественной и демократической жизни. Эксперты также указали на новые возможности для эксплуатации и торговли людьми, возникающие по мере развития цифровых технологий.

Это не описание конкретного сбоя модели или аудита продукта. В сообщении ООН нет технических данных о системах, датасетах или методах оценки. Но оно обозначает зоны проверки: какие группы представлены в обучающих данных, для каких задач используется модель и какие механизмы предусмотрены для выявления вреда.

Проверка до внедрения

Флорес призвала государства встраивать гарантии соблюдения прав человека в ИИ с самого начала разработки. Она также выступила за ограничения для применений, которые облегчают гендерное насилие, массовое наблюдение или создают угрозы телесной автономии. ООН не приводит в этом сообщении перечня конкретных технических стандартов или способов их исполнения.

Для организаций, внедряющих алгоритмы, практический вывод ограничен, но важен: оценивать нужно не только точность на тестовом наборе. Следует учитывать, кого система затрагивает, какие данные используются и кто отвечает за последствия её применения. При этом доступ к самой технологии тоже распределён неравномерно: барьеры особенно затрагивают женщин, живущих в бедности, сельских и коренных сообществах, а также в зонах конфликтов.

Что остаётся нерешённым

Оценки и предупреждения ООН не заменяют независимого аудита конкретных моделей. В сообщении не названы продукты, компании и измеримые показатели дискриминации. Поэтому переносить эти выводы на отдельную систему без проверки нельзя.

Заявление о необходимости гарантий на всех этапах разработки задаёт направление, но не отвечает на вопросы об ответственности за вред и контроле после запуска. Именно эти детали определяют, превратится ли принцип защиты прав в рабочую часть разработки или останется декларацией. Для ИИ это вопрос проектирования и управления; для инфраструктуры, которая доставляет оборудование и другие грузы к объектам внедрения, важна и логистика проектных перевозок, включая выбор судна.