# Йошуа Бенджио о паузе в обучении ИИ и переходе от LLM к «моделям мира» Источник: https://www.youtube.com/watch?v=I5xsDMJMdwo Канал: Eye on AI Опубликовано: 12.04.2023 --- Легендарный ученый, один из «отцов-основателей» современного глубокого обучения Йошуа Бенджио (Yoshua Bengio) стал гостем подкаста Eye on AI. В беседе с Крейгом Смитом он объяснил, почему решил подписать резонансное открытое письмо о приостановке обучения мощных моделей ИИ, а также подробно изложил свое видение следующего технологического шага: перехода от простых языковых моделей к архитектурам с «моделями мира» (World Models) и логическим выводом. ## 🛑 Почему Йошуа Бенджио подписал письмо о паузе в обучении ИИ [[JUMP:01:49]] Йошуа Бенджио, известный своей взвешенной позицией и скептицизмом относительно скорого появления ИИ человеческого уровня (AGI), удивил многих коллег, став одним из самых заметных подписантов письма Future of Life Institute [02:35]. По словам ученого, его решение продиктовано не внезапным страхом, а многолетним наблюдением за тем, как человечество распоряжается мощными инструментами. Основные аргументы Бенджио: * **Риск злоупотребления:** Чем мощнее технология, тем опаснее она в плохих руках. Бенджио сравнивает ИИ с биотехнологиями, которые могут принести огромную пользу, но требуют исключительной «мудрости» в управлении [04:25]. * **Неадекватность рыночных механизмов:** Существующая конкуренция заставляет компании торопиться, игнорируя меры предосторожности [05:07]. * **Порог теста Тьюринга:** Ученый утверждает, что мы достигли критического порога [06:00]. Теперь машины могут вести диалог так, что их невозможно отличить от человека. По мнению Бенджио, это несет прямую угрозу демократии через манипуляцию общественным мнением [06:14]. Ученый признает, что реальная шестимесячная пауза в разработке всеми компаниями маловероятна [08:04]. Однако письмо выполнило роль «тревожной кнопки», чтобы привлечь внимание правительств и запустить международную координацию. Бенджио считает, что регулирование должно быть таким же строгим, как в авиации или фармацевтике [05:26]. ## 🌍 Проблема современных LLM: отсутствие «модели мира» [[JUMP:14:54]] Несмотря на впечатляющие успехи трансформерных моделей, Йошуа Бенджио подчеркивает их фундаментальную ограниченность. Главная проблема — отсутствие заземления (grounding) в реальности [15:59]. По мнению Бенджио, человеческий разум четко разделяет два процесса: 1. **Знание о мире** (как всё устроено). 2. **Принятие решений** (механизм инференса/вывода) [16:21]. В качестве примера ученый приводит AlphaGo: система знает правила игры (маленькая модель мира), но её нейросеть тратит огромные ресурсы на инференс — просчет того, какой ход приведет к победе [17:24]. В больших языковых моделях (LLM) этого разделения нет: знания и механизмы ответа перемешаны в одной гигантской сети, что ведет к оверфиттингу (переобучению) и галлюцинациям [19:56]. Бенджио приводит личный пример: «В моей жизни была всего одна автомобильная авария. Я никогда не падал с обрыва, но я могу легко представить последствия этого, потому что у меня есть абстрактная модель мира» [18:11]. Современный ИИ пока не обладает такой способностью к причинно-следственному моделированию без прямого опыта. ## 🧠 GFlowNets: новая архитектура для разумных машин [[JUMP:21:43]] Группа Бенджио разрабатывает новый фреймворк для обучения машин вывода — **Generative Flow Networks (GFlowNets)** [22:29]. Это попытка объединить глубокое обучение с логикой классического ИИ, но без «ручного» написания правил. Ключевые особенности GFlowNets: * **Вероятностный вывод:** Сеть учится делать логические шаги (например, строить математическое доказательство), получая награду, если результат согласуется с фактами [23:00]. * **Поиск истины:** В отличие от LLM, которые просто имитируют текст, GFlowNets обучаются быть внутренне непротиворечивыми и рациональными [24:16]. * **Система 1 и Система 2:** Бенджио опирается на идеи Даниэля Канемана. LLM сейчас — это интуитивная «Система 1». GFlowNets должны добавить ИИ «Систему 2» — медленное, осознанное рассуждение [32:47]. По мнению Бенджио, ИИ должен понимать концепцию истины на фундаментальном уровне, а не просто предсказывать следующее слово на основе статистики [24:44]. ## 🎲 Байесовский подход к реальности [[JUMP:28:34]] Одной из самых опасных черт нынешних ИИ Бенджио считает их «самоуверенную ошибочность» [29:48]. Когда ChatGPT ошибается, он делает это с полной уверенностью. Ученый утверждает, что правильный путь — это не создание одной «идеальной» модели мира, а использование распределения вероятностей по множеству возможных моделей [30:49]. * **Принцип науки:** Ученые всегда имеют несколько конкурирующих теорий, объясняющих данные. Если теории согласуются — мы можем действовать уверенно. Если нет — нужно быть осторожным [29:17]. * **Масштабируемость:** Хотя байесовский подход математически сложен, Бенджио считает, что огромные нейросети способны эффективно его аппроксимировать [32:03]. ## 🌀 «Mind-twisting» концепция: генерация модели мира на лету [[JUMP:33:17]] В финале беседы Йошуа Бенджио делится «взрывающей мозг» идеей, к которой пришла его группа. Возможно, нам вообще не нужна отдельная статичная нейросеть в качестве «модели мира» [35:30]. Вместо этого предлагается архитектура, где: 1. Существует только генеративная машина вывода. 2. Она **генерирует куски модели мира на лету**, в зависимости от текущей задачи [35:45]. 3. Каждая сгенерированная «теория» проверяется на соответствие наблюдаемым данным (как формула $F=ma$ проверяется в эксперименте) [36:34]. Это позволяет системе быть гибкой и пересматривать свои взгляды. Исследования в этом направлении уже ведутся: летом прошлого года вышла работа «Bayesian Structure Learning with Generative Flow Networks», где GFlowNet училась генерировать графы причинно-следственных связей [37:45]. Бенджио резюмирует, что такой подход математически более рационален, так как позволяет учитывать все возможные теории и усреднять их решения, а не слепо верить одной наиболее вероятной гипотезе [39:38].