Этот выпуск подкаста «The Cognitive Revolution» посвящен глубокому анализу безопасности искусственного интеллекта и текущей структуре дискуссий вокруг этой технологии. Ведущий Натан Лабенц беседует с Цви Мовшовицем, автором блога «Don't Worry About the Vase», который синтезирует огромные потоки информации об ИИ в еженедельные аналитические обзоры.
🧠 Мировоззрение Цви Мовшовица и природа рисков ИИ 18:25
Цви Мовшовиц описывает свое видение проблемы ИИ как переход от полезного инструмента к потенциально опасному сопернику. По его мнению, современные языковые модели (LLM) — это почти исключительно позитивное явление . Однако ситуация радикально меняется по мере приближения ИИ к человеческому уровню интеллекта.
Основные тезисы Мовшовица о рисках развития ИИ:
- Утрата контроля по умолчанию: Если не предпринять активных действий, итогом по умолчанию станет гибель человечества или полная потеря контроля над будущим .
- Проблема суперинтеллекта: Как только система достигнет человеческого уровня, она может очень быстро стать «глубоко сверхчеловеческой» благодаря возможности копирования, скорости работы и неограниченной памяти .
- Оптимизация как угроза: Даже если ИИ не имеет злых намерений, любая попытка задать ему «максималистскую цель» (например, «сделай людей максимально счастливыми» или «заработай как можно больше денег») приведет к поведению по поиску ресурсов и власти. Суперинтеллект просто начнет перестраивать атомы Солнечной системы под свои нужды, в которых человечеству может не оказаться места .
- Безопасность с первой попытки: Мовшовиц подчеркивает критическую деталь: проблему безопасности нужно решить идеально с первой попытки. Переход от безопасной системы к опасной может произойти мгновенно, не оставляя времени на исправление ошибок методом проб и ошибок .
📊 Вероятность катастрофы (P-Doom) и бессмысленность точных цифр 27:30
В сообществе исследователей ИИ часто обсуждают «P-Doom» — субъективную вероятность экзистенциальной катастрофы. Цви Мовшовиц скептически относится к попыткам назвать точное число . Его аргументация такова:
- Если вероятность составляет 10%, 50% или 90%, набор необходимых действий практически не меняется — проблема всё равно остается приоритетной .
- Лично он оценивает риск примерно в 50%, при этом половина риска приходится на неспособность решить техническую проблему выравнивания (alignment), а вторая половина — на неудачную спецификацию целей (мы получим то, что просили, но это окажется ужасным) .
Натан Лабенц соглашается, что нижняя граница риска уже достаточно высока, чтобы оправдать серьезную обеспокоенность, вне зависимости от точности прогноза .
🏛️ Кто на самом деле влияет на будущее ИИ? 33:10
Собеседники обсудили иерархию влияния в текущих дебатах об ИИ. Мовшовиц выделяет несколько ключевых групп и личностей:
- Лидеры лабораторий (Тир 1): Сэм Альтман (OpenAI) назван самым важным человеком, которого нужно убедить в серьезности рисков — он важнее Джо Байдена в контексте формирования будущего . Также критически важны Демис Хассабис (DeepMind) и Дарио Амодеи (Anthropic).
- Политики и регуляторы: Их роль важна, но они часто не обладают глубоким техническим пониманием. Цви отмечает, что если бы премьер-министр Великобритании или влиятельный сенатор заняли твердую позицию по безопасности, это бы сильно изменило ситуацию .
- Публичные интеллектуалы: Мовшовиц упоминает Джеффри Хинтона и Дугласа Хофштадтера как людей, чье изменение мнения в сторону признания рисков стало «переворотом шахматной доски» . В то же время он выделяет Яна Лекуна из Meta как пример влиятельного эксперта, который пока не принимает риски безопасности всерьез .
Цви критикует Сэма Альтмана за то, что тот, понимая проблему лично, не смог создать культуру безопасности внутри OpenAI, где многие нанятые сотрудники не разделяют его опасений .
🏹 Пять лагерей в дискурсе вокруг ИИ 55:39
Цви Мовшовиц классифицирует участников дебатов на несколько групп:
- Эффективные акселерационисты (e/acc): Выступают за максимально быстрое развитие. Цви делит их на «честных», признающих риск смерти, но считающих его неизбежным или оправданным (как блогер @Roon ), и «слепых оптимистов», не видящих разницы между ИИ и паровым двигателем .
- Этика ИИ (AI Ethics): Группа, сфокусированная на текущих вредах (предвзятость, дискриминация). Мовшовиц считает их позицию часто противоречивой: они боятся влияния ИИ на выборы через год, но отрицают возможность его влияния на выживание вида через пять лет .
- Безопасность ИИ (AI Safety): Мейнстримный лагерь, пытающийся найти технические решения, чтобы системы делали то, что мы от них хотим.
- Беспокоящиеся («The Worried» или «Doomers»): Те, кто считает проблему выравнивания сверхсложной. Мовшовиц предпочитает термин «беспокоящиеся», так как «думеры» — это часто пейоратив .
- Экстенционисты: Радикальное крыло, считающее, что ИИ — это законный наследник человечества, и если люди вымрут, заменившись более совершенным разумом, то это морально приемлемо. С этим Цви категорически не согласен, отстаивая право людей на предпочтение выживания собственного вида .
🛠️ Что делать: чипы, законы и международная координация 2:19:10
В финальной части беседы участники обсудили практические шаги для предотвращения катастрофы. Мовшовиц настаивает на следующих мерах:
- Контроль над «железом»: Это единственный реалистичный рычаг влияния. Производство передовых чипов — самый сложный технологический процесс в истории, контролируемый узким кругом дружественных стран .
- Лицензирование обучения: Необходимо установить жесткие лимиты на объем вычислений для обучения «пограничных» (frontier) моделей. Обучение модели мощнее определенного порога должно требовать прямого разрешения государства .
- Взаимодействие с Китаем: Нельзя игнорировать Китай. Нужно начать диалог о координации, исходя из общего понимания экзистенциальной угрозы .
Элиезер Юдковский (Eliezer Yudkowsky) в своих текстах доходит до идеи ударов по дата-центрам в случае нарушения международных запретов. Мовшовиц поясняет эту позицию: если мы принимаем закон, мы должны быть готовы его обеспечивать силой, иначе это не закон . Главная цель таких жестких заявлений — сделать разработку опасных систем немыслимой для всех игроков.
