Вирусный твит о предвзятости Google Translate при переводе с гендерно-нейтрального венгерского языка спровоцировал очередную волну дискуссий о сексизме в технологиях. Автор YouTube-канала Янник Кильхер (Yannic Kilcher) подробно разбирает техническую изнанку этой проблемы, анализируя устройство статистического машинного обучения. Он предлагает взглянуть на проблему структурно и объясняет, почему борьба со стереотипами в алгоритмах может привести к неожиданным и опасным последствиям.
🐦 Вирусный твит и «букет стереотипов» 0:00
В соцсетях обратили внимание на интересную особенность работы переводчика с венгерского языка. Поскольку в венгерском отсутствуют гендерные местоимения (он/она), сервис Google Translate вынужден самостоятельно выбирать пол при переводе на английский. Результат оказался предсказуемым: фразы «он умный», «он читает», «он строит», «он преподает» соседствовали с «она красивая», «она моет посуду», «она судится», «она готовит». Подобный «букет стереотипов» вызвал волну возмущения среди пользователей, которые обвинили Google в системном сексизме.
Янник Кильхер решил проверить, действительно ли в исходном венгерском тексте содержатся скрытые лингвистические подсказки. Для этого он провел простой эксперимент: изменил местоимения в английском варианте на противоположные («он красивый», «она умная»), перевел текст на венгерский, а затем вернул обратно на английский. Результат подтвердил его догадку — система автоматически вернула исходные стереотипные местоимения. Это доказывает, что Google Translate делает вывод о гендерной принадлежности исключительно на основе сопутствующих слов, связывая определенные качества и действия с мужским или женским полом.
📊 Как устроен «черный ящик» машинного перевода 2:25
Чтобы понять природу этого явления, необходимо разобраться в принципах работы современных систем машинного обучения. По сути, они представляют собой статистические системы, задача которых — перевести массив текста с одного языка на другой. На входе алгоритм получает предложение, пропускает его через математическую модель и выдает не один безальтернативный вариант, а целый спектр возможных переводов, каждому из которых присваивается определенная вероятность. В итоге пользователю демонстрируется лишь самый вероятный результат.
Янник Кильхер подчеркивает, что эта система является строго статистической и обучается на огромных массивах реальных данных. Таким образом, перевод «она красивая» означает лишь то, что в обучающей выборке текстов такое сочетание при переводе с венгерского встречалось чаще всего. Модель просто отражает ту реальность, которая зафиксирована в предоставленных ей документах. Способы решения этой проблемы, по словам автора, зависят исключительно от того, в каком именно звене этой цепи усматривать ошибку.
🔍 Источники предвзятости в искусственном интеллекте 3:46
Автор выделяет три классических этапа, на которых в систему машинного обучения может проникать искажение, и рассматривает аргументы сторонников каждой версии:
- Проблема в обучающих данных. Сторонники этого подхода утверждают, что выборка данных может быть перекошенной, устаревшей или некорректно отражающей реальный мир. С этой точки зрения, если бы у нас были идеально сбалансированные данные со всего мира, то вероятности перевода различных гендерных вариантов были бы равными.
- Алгоритмическое искажение. Любая система машинного обучения вводит свои статистические смещения в процессе генерализации. Из-за особенностей архитектуры, функций потерь или регуляризаторов модель может усиливать даже незначительный перекос, присутствующий в данных. В результате процесс обучения «раздувает» небольшую разницу, делая стереотипный вариант абсолютно доминирующим.
- Вывод только топового результата. Третья группа критиков считает, что сами данные и модели могут быть верными, но интерфейс обманывает пользователя, выдавая лишь одну, пусть и самую вероятную, опцию. По их мнению, правильным решением было бы показывать пользователю все возможные варианты перевода вместе с их вероятностями.
🇨🇳 Прагматизм против точности: пример с Bilibili 6:35
Идея выводить пользователю абсолютно все варианты перевода звучит красиво, однако Янник Кильхер считает ее абсолютно нежизнеспособной по чисто прагматическим причинам. В качестве примера он приводит личный опыт взаимодействия с китайским видеохостингом Bilibili, куда он загружает свои ролики для аудитории, не имеющей доступа к YouTube. Изучая китайский язык, автор использует Google Translate для навигации по сайту, выбора категорий и добавления описаний к видео.
По мнению Кильхера, если бы переводчик вместо конкретных названий кнопок выдавал длинный список всех возможных лингвистических неопределенностей, пользоваться сервисом стало бы невозможно. Смысл инструмента в том, чтобы помочь человеку, который вообще не знает языка, уловить общую суть текста.
Более того, Google уже внедрил компромиссные решения для борьбы с неопределенностью:
- При вводе отдельного слова сервис показывает распределение всех возможных вариантов перевода.
- При вводе одного изолированного предложения с гендерной двусмысленностью Google Translate выдает сразу две версии (мужскую и женскую), помечая их как гендерно-специфичные.
Однако, как отмечает блогер, при добавлении второго предложения эта функция исчезает. Причина кроется в комбинаторной сложности: если бы система пыталась перебрать все гендерные комбинации для четырех и более предложений, интерфейс превратился бы в хаос. Таким образом, Янник Кильхер считает обвинения в адрес Google несправедливыми, называя их текущий подход максимально прагматичным и эффективным в условиях невероятно сложной задачи машинного перевода.
🛠️ Социальная инженерия и власть корпораций 9:38
Существует и четвертая категория критиков. Они признают, что данные собраны верно, алгоритмы не создают лишних искажений, а вероятности точно отражают наше общество. Тем не менее, их все равно не устраивает результат, поскольку сама реальность не соответствует их идеализированным представлениям. Сторонники этой позиции рассматривают модели машинного обучения как инструмент социальной инженерии. Они убеждены, что ИИ должен не отражать мир, а принудительно менять его, искореняя укоренившиеся стереотипы в выдаче, чтобы предотвратить их дальнейшее закрепление в обществе.
Янник Кильхер называет такую точку зрения допустимой для ведения дискуссии, однако призывает задуматься о ее обратной стороне. По его мнению, возникает фундаментальный вопрос: готовы ли мы наделить транснациональную многомиллиардную корпорацию Google, фактически удерживающую монополию, правом единолично решать, что является «добром» и «злом» для человечества?. Сам автор отвечает на этот вопрос категорическим отказом.
В заключение Кильхер призывает пользователей четко разделять, на каком именно этапе ИИ-пайплайна возникает проблема, и не позволять манипулировать выводами, когда для исправления ситуации в одной сфере предлагаются радикальные и опасные решения в совершенно другой.
