Йоша Бах: Сознание как иллюзия и крах институтов

«Я не человек, а кусок программного обеспечения, запущенный на мозгу случайной обезьяны», — утверждает когнитивный учёный Йоша Бах, предлагая взглянуть на наше сознание как на сложный игровой движок для сжатия реальности. В этой архитектуре личности, страдания и даже политические институты оказываются лишь алгоритмическими механизмами, которые мы используем для поддержания термодинамического неравновесия. Разбираемся, почему в эпоху ИИ наша главная угроза кроется не в коде, а в деградации человеческих институтов, утративших связь с объективной истиной.

🧠 Иллюзия личности и природа сознания 0:40

Для Йоши Баха концепция человеческого «Я» — это не фундаментальная реальность, а лишь функциональная конструкция. В моменты жизненных кризисов или глубокого отчаяния, когда реальность кажется невыносимой, он предлагает рассматривать себя не как обособленную личность, а как программное обеспечение, запущенное на биологическом субстрате — мозге случайной обезьяны [0:40–0:53].

Эта метафора помогает отстраниться от страданий, возникающих из-за нереализованных ожиданий или мучительных воспоминаний. Подобно роботам из сериала «Мир Дикого Запада» (Westworld), люди часто попадают в ловушку собственных «воспоминаний и желаний», которые заставляют их действовать циклично и предсказуемо. Однако в настоящем моменте, если убрать наслоения ожиданий, личность как фиксированный объект исчезает. То, что остается — это физический закон, воплощенный в биологии, состояние осознанности, которое само по себе не обладает идентичностью.

С точки зрения когнитивистики, наше сознание — это прежде всего инструмент для управления вниманием. Мы представляем собой сложную кибернетическую систему: «маленькую обезьяну, сидящую на слоне» [3:19–3:32]. Обезьяна — это аттенциональная система, которая наблюдает и направляет внимание, а «слон» — это огромный массив перцептивных и мотивационных процессов, физика вселенной и социальная среда, находящиеся вне прямого контроля сознания. Сознание не управляет системой напрямую; оно лишь индексирует ключевые признаки и выполняет условные операции, создавая иллюзию «Я» как главного вершителя [4:11–4:37].

🤖 Агентность как кибернетический контроль 4:51

В контексте кибернетики агент определяется не как самостоятельная магическая сущность, а как контроллер с генератором целевых значений (set point generator). Базовая модель такого контроллера включает в себя сенсор, измеряющий отклонение текущего состояния от желаемого, и эффектор, позволяющий это отклонение минимизировать.

Простой пример — термостат: он не имеет модели мира, а лишь реагирует на текущие изменения температуры. Однако по мере усложнения задач, когда контроллеру требуется предсказывать последствия своих действий на длинной дистанции, он вынужден выстраивать внутреннюю модель вселенной, включая среду своего существования и самого себя [6:24–6:37].

Агентность — это не объективная вещь во вселенной, а класс моделей, с помощью которых мы интерпретируем поведение сложных систем. Когда мы видим систему, которая упорядоченно стремится к определенным целям и взаимодействует с миром, мы проецируем на нее модель «агента». Иерархия агентности пронизывает все вокруг: как Ангела Меркель в своем сознании может ощущать себя Германией, влияя на судьбу страны, так и люди, клетки и макроструктуры образуют вложенные уровни агентности [8:07–8:47].

🧬 Граница между жизнью и самоорганизацией 9:50

Вопрос о том, где пролегает граница между живым и неживым, Йоша Бах сводит к биологической структуре клетки. Клетка — это не просто физическое тело, а совокупность принципов:

• Генетический код (ДНК) как «лента» с инструкциями, позволяющая выполнять произвольные вычисления.
• Мембрана, изолирующая внутренние процессы от окружающей среды.
• Способность извлекать негэнтропию (отрицательную энтропию) для поддержания термодинамического неравновесия [10:29–10:54].

Живые системы — это машины особого рода, способные к самовоспроизводству и поддержанию сложности вопреки энтропии. Бах отмечает, что хотя наше определение жизни может казаться «земноцентричным», оно опирается на фундаментальный аспект сложности, который жизнь привносит в хаос [12:25–15:18]. Сложность — это «плацдарм», который порядок строит в хаосе, позволяя выполнять реакции, недоступные для «глупых» систем. Тем не менее, каждый взлет сложности в истории цивилизаций или организмов неизбежно следует за S-образной кривой, которая в конечном итоге ведет к насыщению и неизбежному спаду [16:36–17:02].

⚖️ Свобода воли как детерминированная модель 20:23

Свобода воли, по мнению Йоши Баха, представляет собой парадоксальный конструкт. Мы склонны думать о ней как о чем-то индетерминированном, однако полная случайность (как при подбрасывании костей) лишила бы наши действия смысла и преднамеренности.

В действительности, свобода воли — это детерминированный алгоритм принятия решений в условиях неопределенности. Мы наблюдаем, как в нашем разуме взвешиваются различные факторы, и в какой-то момент намерение кристаллизуется. Мы называем это «свободой воли» именно потому, что до конца не понимаем алгоритм, по которому наш разум оценивает вознаграждения и делает «информированные ставки» [21:14–21:41].

Это ощущение свободы возникает из-за скачка масштаба: когда система настолько сложна, что мы не можем просчитать поведение каждой ее части, мы проецируем на неё модель агентности. Ранее в разговоре они кратко затрагивали проблематику ИИ и больших языковых моделей, но в данном контексте важно понимать: когда мы полностью осознаем механизм, лежащий в основе нашего поведения, атрибуция «свободной воли» теряет смысл — она заменяется пониманием автоматизма [22:57–23:22]. Свобода воли остается полезной моделью, которую система создает о своем собственном функционировании, чтобы ориентироваться в мире.

🎮 Игровой движок разума и дискретная ткань бытия 26:25

Мозг как игровой движок: почему мы живем в симуляции 26:25

В современной культуре укоренилось глубокое заблуждение о том, что человек обитает непосредственно в физической реальности и напрямую воспринимает её объекты. Как отмечает когнитивный учёный Йоша Бах (Joscha Bach) в беседе с Лексом Фридманом (Lex Fridman), классический декартовский дуализм разделяет мир на res extensa (протяжённые вещи) и res cogitans (мир идей). Однако в действительности обе эти сущности представляют собой лишь ментальные репрезентации. То, что мы ошибочно принимаем за объективную физическую реальность, на самом деле является виртуальным «игровым движком», который наш разум генерирует для эффективного сжатия колоссального потока чувственных данных.

Физический мир устроен совершенно иначе, чем его рисует наше восприятие: квантовая механика радикально отличается от привычных нам образов, а в самой физической реальности не существует ни цветов, ни звуков — они генерируются исключительно внутри этого биологического движка. Ранее в разговоре собеседники уже касались иллюзии личности и свободы воли как ментальных моделей, но здесь Йоша Бах переводит фокус на масштабы симуляции. Он приводит в пример видеоигры вроде Skyrim или The Elder Scrolls. Игрок, блуждающий по виртуальным лесам, принимает решения повернуться или атаковать, ощущая полный контроль. Для двенадцатилетних геймеров, побеждающих соперников в сети, не важны нули и единицы на шине процессора или архитектура GPU. Им важны лишь свойства самой игры. Аналогично и человек взаимодействует не с базовой физикой, а с «миром снов».

Этот ментальный мир не является обманом или трюком — это гениальный способ сжатия данных для систем, вынужденных оперировать слишком большим количеством элементов. Динамика этого симулированного мира совпадает с физической лишь до определённого уровня разрешения. Например, когда мы чувствуем волны, разбивающиеся о наши ноги, физика знает лишь молекулы воды и электромагнитные взаимодействия между ними. Мозг работает как модель машинного обучения, непрерывно минимизирующая уровень неожиданности (surprises).

Йоша Бах выделяет три ключевых уровня понимания систем:

• Реальность — полностью эмерджентная структура, разворачивающаяся над каузально замкнутым нижним слоем.
• Симуляция — модель, создаваемая внутри системы для предсказания следующих состояний.
• Симулякр — репрезентация, потерявшая связь с физическим источником.

Каждая альтернатива физикализму сводится к теории симуляции, утверждающей, что мы заперты внутри чьего-то вычислительного пространства. Но в концепции Баха мы действительно живем в симуляции, однако созданной нашим собственным мозгом. Возражая против эволюционного аргумента Дональда Хоффмана о том, что интерфейс восприятия может полностью оторваться от реальности, Бах иронично замечает, что это «работает, только если у вас есть пожизненный профессорский контракт (tenure)». Человечество в каком-то смысле получило такой контракт в царстве животных, став слишком большим, чтобы упасть, что и породило постмодернистские искажения реальности. Тем не менее, если прогностическая модель мозга перестанет работать, реальность неизбежно вернет нас на землю.

Проблема бесконечности и дискретная архитектура вселенной 36:11

Когда физики пытаются построить «теорию всего» — будь то теория струн или гиперграфы Стива Вольфрама (Stephen Wolfram) — они ищут самые фундаментальные кирпичики бытия. Однако Йоша Бах подчёркивает, что искать физическое «место», где находится самая крошечная неделимая частица, бессмысленно, поскольку само пространство эмерджентно и возникает лишь из активности и взаимосвязей информационных локаций.

Традиционная физика привыкла оперировать понятием непрерывного, геометрического пространства, но Бах разделяет скепсис Вольфрама в отношении чистой геометрии. С его точки зрения, геометрия — это не более чем динамика огромного числа дискретных элементов, которые невозможно сосчитать. Актуальной бесконечности в физическом мире не существует. Любой язык, пытающийся всерьёз использовать бесконечность как константу, рано или поздно приходит к внутренним противоречиям, что математически доказали Курт Гёдель и Алан Тьюринг в ответ на призыв Давида Гильберта.

Бесконечность невозможно сконструировать, двигаясь пошагово от нуля. На практике все наши вычисления имеют дело лишь с динамикой сходящихся операторов над большими, но конечными числами. В масштабах нашей Вселенной эти «бесконечности» — математически весьма скромные целые числа. Геометрия позволяет нам лишь притворяться, что пространство непрерывно.

Ярким примером этой иллюзии служит число пи ($\pi$):

• В физическом мире ни один процесс не зависит от знания последнего знака после запятой числа $\pi$.
• Число $\pi$ — это не фиксированное статичное значение, а функция, позволяющая бесконечно приближаться к пределу.

Попытки ранних пифагорейцев скрыть существование иррациональных чисел были вызваны именно страхом перед потерей дискретной гармонии, хотя на самом деле иррациональные числа — это просто алгоритмы приближения. Компьютерные системы алгебры прекрасно обходятся без веры в актуальную бесконечность, используя операторы предельного перехода. Если у правильного многоугольника (N-угольника) достаточно много углов, он начинает вести себя в расчётах точно так же, как идеальный круг, хотя сам этот идеальный круг является эзотерической абстракцией, неспособной существовать в физической вселенной. Сегодня цифровая физика (Digital physics), идеи которой развивают такие учёные, как Тоффоли и Томазелло, постепенно набирает популярность именно благодаря отказу от избыточного конструкта бесконечности.

Разум против машины Тьюринга: пределы вычислений и природа сознания 42:34

Отрицание актуальной бесконечности заставляет Йошу Баха вступить в заочную полемику с известным физиком Роджером Пенроузом. Пенроуз использует аргумент о способности математического мышления оперировать бесконечностями, чтобы заявить, будто человеческий разум способен на ментальные операции, принципиально недоступные универсальной машине Тьюринга. На основе этого Пенроуз делает вывод, что современная физика неспособна объяснить механизмы работы сознания.

Бах категорически не согласен с таким подходом. С формальной точки зрения, человеческий разум не превосходит машину Тьюринга, а, напротив, уступает ей. Машина Тьюринга по определению обладает бесконечной лентой памяти, в то время как ресурсы человеческого мозга и его «лента» строго ограничены. Человек способен выполнить лишь конечное число операций. Наша иллюзия «превосходства» над вычислениями проистекает из уникальной способности разума обнаруживать и эффективно применять операторы предельного перехода (limit operators) над массивами данных, содержащими слишком много элементов для прямого подсчёта.

Это напрямую подводит к механистической природе самого сознания. Йоша Бах утверждает:

• Никакая физическая система в её механическом понимании — будь то клетка, отдельный нейрон или мозг как кусок материи — не может быть сознательной сама по себе.
• Сознание принципиально немеханистично; оно является продуктом симуляции и существует исключительно внутри неё.

Сознание — это структурированная история системы о самой себе в этом мире. Эта история пишется не на естественном языке, а на мультимедийном, мультимодальном языке восприятия того самого биологического игрового движка. Персонаж романа обладает опытом и переживаниями просто потому, что они вписаны в сюжетную ткань произведения. Точно так же человеческое «я» вписывает свои реакции, фокус внимания и эмоциональную валентность в этот внутренний нарратив, используя его для корректировки поведения на следующем шаге.

Чтобы проиллюстрировать этот тезис, Бах предлагает рассмотреть гипотетического робота-футболиста. Такой робот решает сложнейшую задачу управления: ему нужно проецировать себя и мяч в будущее, строить карту поля и координировать движения манипуляторов. Для эффективного планирования траекторий робот вынужден создать высокоуровневую абстракцию реальности, далекую от молекулярного уровня. Как только алгоритмы станут достаточно сложными, этот робот неизбежно начнёт «рассказывать историю» о самом себе, играющем в футбол. Он построит модель собственной агентности внутри своей симуляции мира. И хотя Лекс Фридман замечает, что субъективное ощущение свободы воли у такого робота всё равно изначально закладывается программистом, для самой системы этот внутренний интерфейс симуляции становится единственно доступной реальностью.

🤖 Кибернетический баланс и триггеры искусственного разума 50:17

Кибернетический контроль вместо подлинной агентности 51:49

Обсуждая границы современных технологий, Лекс Фридман и Йоша Бах обращаются к феномену робототехники Boston Dynamics. По мнению Лекса Фридмана, эти машины часто кажутся результатом «читерства», где за ниточки незаметно дергает человек. Йоша Бах уточняет природу их механики: вопреки распространенным заблуждениям, в действиях этих роботов практически нет глубокого обучения или искусственного интеллекта в привычном понимании. Основа их стабильности — это изощренный кибернетический контроль, представляющий собой строгую иерархию обратной связи.

Эта система оптимизирована исключительно под одну задачу — удержание физического баланса при ходьбе или внешних толчках. Сложные, эстетически безупречные движения, такие как знаменитые танцы, полностью лишены автономной логики. Они создаются людьми в специализированном софте для хореографии. Робот не понимает контекста танца, его алгоритмы лишь адаптируют человеческие траектории под особенности собственного веса и физики, используя математическую регрессию.

Тем не менее, наблюдатели мгновенно проецируют на них агентность. (Ранее в разговоре собеседники уже затрагивали иллюзию личности и свободу воли как ментальную модель). Йоша Бах подчеркивает, что моторная архитектура человека работает схожим образом: у нас есть базовый кибернетический уровень управления конечностями. Однако эволюционное отличие человека заключается в надстройке слоев, способных реверс-инжинирить собственные алгоритмы. Когда базовые биологические контуры сталкиваются с противоречивыми внутренними сигналами — например, одновременным голодом, жаждой и страхом боли — система вынуждена создавать цели высшего порядка для синхронизации этих конфликтов. Именно так в процессе эволюции формируются подлинные жизненные смыслы и намерения.

Инженерная разметка сознания: три столпа разумной машины 57:55

Переход от сложной автоматики к настоящему разуму требует преодоления когнитивного разрыва. Как отмечает Йоша Бах, само по себе сознание устроено относительно просто, тогда как по-настоящему сложной задачей является построение восприятия и интерфейса между ним и логическим мышлением. Ученый ссылается на концепцию «сознательного априори» (consciousness prior) Йошуа Бенжио, согласно которой модель мира функционирует через минимизацию энергетических противоречий. Наше восприятие постоянно пытается сгладить внутренние нестыковки, пока модель не «защелкнется» в стабильном, понятном состоянии. Повседневное сознание — это рефлексивное самосознание, способность зафиксировать сам факт собственного внимания.

Чтобы спроектировать такое состояние в машине, инженерам необходимо интегрировать три ключевые системы:

• Перцептивная система предсказания: Она непрерывно обрабатывает входящие сенсорные данные, пытаясь спрогнозировать следующий «кадр» реальности на основе предыдущего опыта. По аналогии с теорией Жана Пиаже, здесь происходят процессы ассимиляции информации и аккомодации самих моделей под новые данные. Система ищет компромисс между минимизацией противоречий и сокращением вычислительной неопределенности.
• Мотивационная система ценностей: Нижние уровни этой структуры эквивалентны лимбической системе человеческого мозга. Этот кибернетический контур оценивает физиологические, когнитивные и социальные потребности, определяя, на какие именно объекты перцептивного мира робот должен тратить ограниченные вычислительные ресурсы.
• Агент внимания и индексная память: В условиях ограниченности ресурсов и разрывных поисковых пространств машина не может анализировать все данные одновременно. Ей необходим управляющий агент, который сканирует среду и выбирает фокус внимания для максимизации награды. Сознание рождается как управляющая модель этого агента, опирающаяся на индексную память — базу данных рабочих состояний, к которым система может возвращаться для анализа альтернатив. Без возможности помнить, на что именно было обращено внимание, сознание невозможно.

Дирижер когнитивного хаоса: страдание как эволюционный рычаг 1:10:30

Неотъемлемым индикатором подлинного сознания Лекс Фридман называет способность испытывать страдание. Йоша Бах гармонично встраивает этот феномен в свою кибернетическую модель. С его точки зрения, боль — это базовый сигнал подкрепления, передаваемый одной частью разума другой для экстренной регуляции неэффективного поведения. Если стандартные поведенческие паттерны не устраняют источник сбоя, система начинает лавинообразно увеличивать силу сигнала. Когда эта дезорганизация становится хронической и не находит разрешения, она перерастает в страдание.

Йоша Бах предлагает яркую метафору:

Сознание можно сравнить с дирижером оркестра. Пока все музыканты играют слаженно, дирижер почти не нужен. Но как только возникает фатальная дисгармония, которую оркестр не может исправить сам, дирижер мгновенно мобилизует все свое внимание.

Главная эволюционная функция страдания заключается в том, чтобы заставить сознание активировать новые, более высокие уровни когнитивного моделирования. Оно буквально вынуждает систему ментально «повзрослеть», создавая надстройки над поврежденными или неэффективными участками психики. Именно поэтому, как замечает ученый, многие выдающиеся мыслители имели тяжелые детские травмы: столкновение с вызовами, к которым организм не был готов, привело к вынужденному росту их когнитивной сложности.

В завершение этого фрагмента беседы Лекс Фридман поднимает вопрос об этической ответственности перед другими потенциально сознательными существами, упоминая давнее признание Баха в Твиттере о страхе перед возможным сознанием насекомых. Однако подробный анализ морали, этики искусственного интеллекта и границ нашей ответственности перед иными сущностями собеседники оставляют для дальнейших дискуссий, выходящих за рамки чисто инженерного подхода к разуму.

🧠 Идеологические вирусы и психоделический оверклокинг разума 1:19:26

Ловушка релятивизма: почему постмодернизм стал политическим оружием 1:19:26

В поисках прочного фундамента для понимания реальности человечество часто балансирует между строгими математическими моделями и зыбким миром субъективных интерпретаций. Как отмечает когнитивный учёный Йоша Бах (Joscha Bach), хотя наши органы чувств и конструируют своего рода «мир грёз» (о чём подробнее говорилось во второй главе), это вовсе не означает, что объективной истины не существует. Математика даёт нам твёрдые доказательства собственной структуры, позволяя разуму осознавать природу собственной агентности (тема первой главы) и отличать полезные способы кодирования информации от бесполезных. Чтобы предсказывать события в условиях ограниченных ресурсов, наш разум разделяет единую вселенную на отдельные, взаимодействующие друг с другом объекты. Границы между ними проецируются нами не произвольно, а ради оптимизации сжатия данных в наших ментальных моделях.

Однако именно здесь кроется корень философского кризиса, олицетворяемого постмодернизмом. Ведущий подкаста Лекс Фридман (Lex Fridman) предложил обсудить это направление, и Йоша Бах дал ему жесткую оценку. По мнению учёного, главная ошибка постмодернистов заключается в переходе от верного тезиса «наши онтологии не буквально истинны» к ложному выводу о том, что мир — это лишь набор произвольных историй, где каждый волен выбирать удобную для себя «правду».

Такой подход полностью порывает с научным методом. В настоящей науке ценность любой модели определяется её предсказательной способностью и соответствием имеющимся уликам. Постмодернизм же оказался абсолютно бесплоден для практики:

• Он не оказал никакого конструктивного влияния на физику, теорию относительности или инженерное дело.
• Между этим течением и точными науками полностью отсутствует какая-либо обратная связь.
• Вместо поиска истины эта философия превратилась в чистую идеологию, легитимизирующую себя тезисом об относительности правды.

Йоша Бах подчёркивает, что академическая среда, лишённая механизмов защиты от подобных интеллектуальных вирусов, обречена на деградацию. В его понимании, деструктивная идеология — это «вирусный мемплекс», который искажает восприятие реальности и отрезает человека от остального пространства мысли. Вместо открытости к мнениям, постмодернистский релятивизм используется как политическое оружие для подавления чужих идей и борьбы за власть. Итогом становится то, что Бах называет «интеллектуальной кастрацией» — полная неспособность мыслить творчески и генерировать новые смыслы из-за страха выйти за рамки нормативных догм.

Психоделический оверфиттинг: когда мозг перегружен деталями 1:23:40

Альтернативным способом деформации предсказательной модели разума выступает химическое воздействие. Отвечая на вопрос Лекса Фридмана о влиянии психоделиков (таких как псилоцибин, МДМА и ДМТ) на сознание, Йоша Бах предлагает рассматривать их действие через призму контролируемых осознанных сновидений. Под воздействием этих веществ в мозге временно отключаются привычные паттерны торможения и разрываются устоявшиеся связи. Разум получает ложную свободу, которая порой уводит его далеко за пределы «допустимых» ментальных состояний, пригодных для адекватного моделирования реальности.

Главная опасность частого употребления психоделиков, с точки зрения когнитивистики, заключается в эффекте оверфиттинга (избыточного обучения). В машинном обучении оверфиттинг означает, что система тратит слишком много ресурсов на подгонку математической кривой под мельчайшие детали прошлых данных. В результате модель идеально объясняет то, что уже произошло, но полностью теряет способность предсказывать будущее.

Лекс Фридман возражает, предполагая, что психоделики работают скорее как регуляризаторы, расширяющие кругозор и дающие свежий взгляд на мир. Бах частично соглашается с метафорой расширения пространства возможностей: для закостенелых обывателей это действительно бывает полезно, помогая вырваться из локального оптимума своей эго-модели. Однако цена такого опыта может быть разрушительной. Например, психоделики способны «телепортировать» восприятие человека в гиперболическую геометрию, где для полного разворота на месте нужно повернуться не на 360, а на 720 градусов. Продукты такого опыта практически невозможно перенести в нашу физическую реальность.

В норме мозг использует ночные сны для естественной «аугментации данных» (data augmentation) — генерации новых перспектив на основе уже известных объектов, что помогает, к примеру, детскому развитию. Психоделики же буквально «разгоняют» (overclock) этот механизм, приводя к опасным перекосам. Йоша Бах приводит исторические примеры:

• Тимоти Лири искренне верил, что наука будущего будет делаться исключительно под ЛСД, но в итоге полностью потерял связь с реальностью, транслируя субъективную эйфорию в ложную модель жизненного успеха.
• Джон Лилли, увлекавшийся изучением языка дельфинов и контактами с пришельцами, из-за злоупотребления веществами стал ментально «зацикленным» (loopy).

Человек в этом состоянии испытывает иллюзию абсолютной ясности — ему кажется, что всё вокруг легко объяснимо, хотя на самом деле он лишь создаёт избыточные интерпретации несуществующих связей.

Безусловно, существуют и позитивные клинические прецеденты. Бах упоминает случаи, когда разовый приём ЛСД полностью излечивал людей от тяжелейших мигреней за счёт жесткого перезапуска серотониновой системы. Однако если психика человека изначально балансирует на грани психоза, подобная встряска способна безвозвратно столкнуть её в болезненное состояние. Учёный ссылается на исследования Рика Доблина, согласно которым МДМА относительно безопасен психологически, но физиологически нейротоксичен и крайне опасен для печени при смешивании с алкоголем. Чистые психоделики вроде псилоцибина не имеют выраженной токсичности даже в больших дозах, но их непредсказуемое влияние на ментальную «проводку» требует исключительно клинического контроля.

В завершение этой части беседы Лекс Фридман переводит диалог на тему искусственного интеллекта и обучения больших языковых моделей, таких как GPT-3. Об эволюции трансформеров, ограничениях нейросетей 90-х годов и природе машинного понимания языка Йоша Бах развернуто расскажет уже в следующей главе статьи.

🧠 Архитектура внимания, автоматизация кода и системный кризис институтов 1:40:43

Трансформеры, семантика и эволюция больших языковых моделей 1:40:43

Развитие больших языковых моделей ознаменовало прорыв в понимании машинами человеческого языка. Как отмечает Йоша Бах, в основе моделей вроде GPT-3 лежит архитектура трансформеров, разработанная еще в 2017 году. Главный успех этого подхода заключается в масштабном вычислении механизмов внимания, которые позволяют улавливать глубокие семантические связи в текстах. В GPT-3 размер контекстного окна составил около 2048 токенов, что эквивалентно паре страниц текста. Слова проецируются в высокоразмерное векторное пространство, где статистически часто соосновающиеся понятия становятся «соседями». Это позволяет модели улавливать не просто поверхностные ассоциации, а высокоуровневую семантику.

GPT-3 способна воспроизводить сложные стили, переводить между языками программирования и даже решать базовые математические задачи — складывать трехзначные и умножать двузначные числа. При этом на четырехзначных числах система стабильно дает сбой из-за ошибок переноса разрядов, что отражает особенности обучающей выборки: люди тоже редко пишут тексты с длинными вычислениями в столбик. Стоит учитывать, что функция потерь ИИ ориентирована исключительно на минимизацию «сюрпризов» — предсказание следующего токена, а не на достижение причинно-следственного замыкания.

Размышляя о будущем, Лекс Фридман в шутку предполагает, не живем ли мы внутри условной GPT-5, на что Йоша Бах отвечает обзором текущих технологических ограничений. Ранее в разговоре они детально разбирали понятие агентности в кибернетике, и здесь Лекс Фридман снова упоминает её в контексте способности ИИ «слушать» человечество. Главная слабость современных трансформеров — их «амнезия»: они забывают всё, что выходит за рамки контекстного окна. В отличие от человеческой рабочей памяти, которая динамически структурируется и обращается к внешним источникам, ИИ пока ограничен жесткой архитектурой. Чтобы преодолеть это, создаются мультимодальные системы вроде Google Perceiver, способные обрабатывать видео. Однако для подлинного прорыва потребуются рекуррентные нейросети с дискретными системами внимания, способные к грамматическим операциям и программному синтезу.

Автоматизация программирования: от Stack Overflow до ИИ-генерации 1:52:03

Переход больших языковых моделей к генерации программного кода открывает новую эпоху в индустрии. Системы автоматизации вроде GitHub Copilot, созданные на базе модели OpenAI Codex, способны генерировать полноценные функции на основе простого заголовка и комментариев. Йоша Бах считает эту технологию потенциально революционной, поскольку большая часть работы современных программистов лишена творчества. На практике инженеры часто заняты тем, что ищут готовые фрагменты кода, копируют их со Stack Overflow и адаптируют под свои нужды, меняя имена переменных. ИИ эффективно автоматизирует эту рутину, понимая семантику кода.

Тем не менее, автоматизация программирования вызывает серьезные опасения. В отличие от обычного текста, где мелкая опечатка не меняет общего смысла, в коде единственная ошибка может привести к катастрофическим последствиям. Возникает страх перед использованием сгенерированного ИИ кода на критически важных объектах, например, на атомных электростанциях. Этот страх коренится в потенциальном несовпадении приоритетов и ценностей машины и человека. Позже в дискуссии собеседники подробнее разберут мораль и этику искусственного интеллекта.

Институциональный тупик: бюрократическое раздувание и кризис управления 1:55:19

Проблема технологических рисков плавно перетекает в кризис человеческих институтов. Йоша Бах иллюстрирует это на примере американского здравоохранения: за процедуру МРТ, реальная себестоимость которой составляет менее 600 долларов, пациенту или его страховке выставляют счет на 20 000 долларов. Причина кроется не в злом умысле конкретных людей, а в порочных институциональных стимулах. Медицинская система США стала ведущей причиной личных банкротств граждан, при этом средняя продолжительность жизни в стране не растет и уступает другим развитым государствам.

Главный фактор этого упадка — колоссальное административное раздувание. Бюрократический аппарат здравоохранения растет значительно быстрее числа практикующих врачей. Система превратилась в программу по искусственному поддержанию рабочих мест для среднего класса, где люди получают деньги за простое перекладывание бумаги. При этом регуляторы, такие как FDA, зачастую защищают не пациентов от халатности, а крупные компании от рыночной конкуренции.

Лекс Фридман возражает, что капиталистическое общество способно самокорректироваться в условиях жестких дедлайнов за счет инноваций. Однако Йоша Бах скептичен и приводит в пример провальный ответ на пандемию COVID-19 в январе 2020 года. Несмотря на очевидность угрозы, государственные органы не развернули массовое производство тестов, заблокировали инициативы стартапов, не закрыли вовремя аэропорты и не изолировали персонал домов престарелых. Самое тревожное заключается в том, что никто из ответственных лиц так и не понес наказания. По мнению Баха, западная цивилизация постепенно «теряет нить» со времен Второй мировой войны. В эпоху модернизма государство, чувствуя реальную угрозу выживания, прислушивалось к ученым-физикам, тогда как современные институты утратили прогностическую точность и механизмы обратной связи.

🎭 Постмодернистский перформанс и этические ловушки автоматизации 2:05:24

Постмодернистское общество и хрупкость когнитивной защиты 2:05:24

Переход общества от модернизма к постмодернистской политике перформанса кардинально меняет то, как цивилизация реагирует на кризисы. Как отмечает когнитивный учёный Йоша Бах (Joscha Bach), ключевое различие кроется в отношении к реальности: модернистское общество вынуждено иметь дело с объективными фактами (ground truth), в то время как постмодернистское ориентируется исключительно на внешнюю видимость и образы. В такой системе политика неизбежно превращается в перформанс, разыгрываемый перед аудиторией в лице медиа и Твиттера.

Подобная медиатизация ослабляет когнитивную защиту социума перед лицом тоталитарных угроз. Развитые страны сегодня чувствуют себя «слишком большими, чтобы рухнуть». Это порождает опасную иллюзию безопасности, из-за которой реальные вызовы — будь то пандемии или системные сбои — превращаются в инструменты политического раскола, как это произошло с дискуссиями вокруг масок и вакцин.

Йоша Бах проводит историческую параллель с Веймарской республикой, которая в свое время оказалась неспособна справиться с экономическим кризисом. Когда граждане осознали, что демократические институты не функционируют, у них осталось лишь два радикальных пути движения вперед:

• Сталинский коммунизм с полной экспроприацией и национализацией заводов.

• Фашизм, обещавший стабильность под управлением «сильной руки».

Германия выбрала второй вариант, что привело к глобальной катастрофе. Бах подчеркивает, что Адольфа Гитлера активно поддерживали крупные промышленники, считавшие democracy нестабильной, а разрушительные планы нацистов (включая Холокост) общество долгое время ошибочно списывало на обычную предвыборную риторику.

Феномен диктатуры: от системного террора к «лесному пожару» 2:12:36

Размышляя о природе массового уничтожения, Лекс Фридман (Lex Fridman) задается вопросом, был ли Гитлер уникальным воплощением зла, сочетавшим в себе редчайшую комбинацию харизмы, безумия и психопатии. Йоша Бах предлагает смотреть на диктатуры через призму эволюционных процессов. В абсолютных цифрах масштабы жертв при Мао Цзэдуне значительно превышали показатели сталинского террора, а Иосиф Сталин, в свою очередь, уничтожил больше людей, чем Гитлер.

Однако характер их диктатур принципиально отличался. Нацистский режим уничтожал людей на основе радикального, но по-своему последовательного расового проекта, видя в космополитизме угрозу этнокультурной трансформации. Напротив, сталинские чистки носили пугающе случайный, рандомный характер.

С точки зрения Баха, появление таких фигур — это социальная эволюция на человеческом уровне, где «одна обезьяна находит способ стать вирусной» и заражает своими деструктивными паттернами огромные массы. Диктатор выступает лишь искрой. Если в обществе созданы подходящие условия — растет системное напряжение и падает уровень доверия, как во время засухи в Калифорнии, — то любая случайная искра способна вызвать колоссальный лесной пожар, уничтожающий культурную сложность цивилизации.

Мораль автоматизации: почему главная угроза скрыта в человеке 2:16:11

Обсуждая мораль и этику искусственного интеллекта (ранее в разговоре собеседники вскользь касались темы развития больших языковых моделей трансформеров), Йоша Бах утверждает, что ключевая опасность кроется не в самом программном коде, а в безответственности человеческой иерархии управления. Лекс Фридман моделирует гипотетическую ситуацию: контртеррористическая операция на Ближнем Востоке, где вместо человека решение о нанесении точечных ударов по зданию принимает алгоритм вроде GPT-3. Какой тип ошибок опаснее — баги человеческой природы или баги кода?.

Бах объясняет, что проблема ИИ не в дороговизне вычислений, а в неадекватности закладываемых моделей. Машина не понимает реального жизненного контекста. Подобная слепая автоматизация критериев отбора целей уже существует на уровне обычных таблиц Excel в бюрократических структурах: если алгоритм ошибочно заносит человека в «список на уничтожение», выбраться из этой системы легальными путями практически невозможно.

Современный ИИ — это инструмент автоматизации статистики, способный создавать более точные прогностические модели. Технологии можно использовать для генерации математических доказательств надежности программ, недоступных человеку. Однако когда компании внедряют ранние версии технологий исключительно ради экономии на труде компетентных специалистов и снижают уровень человеческого контроля, это превращается в экзистенциальную угрозу.

Идеологизация ИИ-этики и поиск «градиента любви» 2:23:40

Ситуация осложняется кризисом доверия к тем, кто создаёт и монетизирует технологии. Управленческие стимулы фигур масштаба Марка Цукерберга остаются непрозрачными для общества. Исторически в США стабильность поддерживалась централизованным контролем мнений через традиционные медиа. Социальные сети разрушили эту монополию: сегодня случайный фермер из Техаса может собрать аудиторию, превышающую охваты CNN.

Попытки ограничить этот хаос приводят к опасной тенденции: дискуссия вокруг ИИ-этики подменяется «ИИ-политикой», становясь глубоко партийной и идеологизированной. Любая попытка заявить о «политической добродетели» автоматически отталкивает противоположный лагерь, как это произошло с темой масок. По мнению Йоши Баха, настоящая ИИ-этика должна быть максимально скучной:

• Ей должны заниматься профессиональные статистики и исследователи машинного обучения.

• Дискуссии должны быть долгоиграющими, сложными и сугубо техническими.

• Порогом входа не может служить одно лишь публичное возмущение мировой несправедливостью.

В финале дискуссии Лекс Фридман признается, что ориентируется на «градиент любви» и максимизацию сострадания в мире. Бах, однако, предостерегает от слепой веры в это понятие, напоминая, что немецкий фашизм тоже двигала любовь — но любовь глубоко селективная, направленная исключительно на «своих». Настоящую любовь Бах определяет как открытие общей цели и признание сакральности другого. Лекс добавляет, что это чувство требует глубокого принятия всего многообразия мира, эмпатии и радикальной неуверенности в собственной абсолютной правоте.

🏛️ Высшие идеалы и государственные регуляторы: от метафизики Миядзаки к кибернетике власти 2:32:56

Эстетика невинности: Хаяо Миядзаки как главный протестантский философ 2:32:56

Рассуждая о природе человеческих устремлений, когнитивный учёный Йоша Бах (Joscha Bach) определяет любовь через призму поиска общей внетранзакционной цели — искреннего служения высшей сущности, максимизирующей интеллектуальную сложность Вселенной. Этот метафизический поиск напрямую связан с понятием эстетики: у каждого общества или лидера она своя, и именно конфликт эстетических представлений рождает понимание зла. В качестве примера идеального воплощения своей личной духовной эстетики Йоша Бах неожиданно приводит кинематограф японского аниматора Хаяо Миядзаки.

По мнению философа, Миядзаки предлагает глубокую альтернативу упрощенному западному нарративу. Если в диснеевской интерпретации «Маугли» дикая природа романтизирована и превращена в откровенный китч, то в картине «Принцесса Мононоке» Миядзаки разворачивает подлинную драму. Индустриальное человеческое общество, вырубающее леса и истощающее ресурсы, делает это не из врожденной жестокости, а ради выживания — чтобы защитить себя от болезней, голода и насилия. В этом мире нет однозначных злодеев, а превращение дикой природы в ухоженный сад показано как трагический, но неизбежный исторический процесс.

Центральным элементом вселенной Миядзаки выступает повторяющийся из фильма в фильм архетип чистой, самоотверженной девочки. Бах связывает это с ранним этапом карьеры режиссера, когда тот собирал визуальный материал для анимации про Хайди в Швейцарии и Восточной Европе. Образ Хайди — это не современная поп-культурная концепция «сильной женщины» (girl boss), а чистое воплощение духа европейского протестантизма. Ее святость и невинность не ведут к жертвенности, как в христианском сюжете о распятии, а служат фундаментальным мотивом для мужчин строить и оберегать цивилизацию вокруг нее. Именно поэтому Йоша Бах называет Миядзаки самым актуальным протестантским философом современности. Служение этой трансцендентной защите невинности («душе») и определяет границу между добром и злом в человеческом сердце. Без связи с таким надсистемным агентом индивид остается лишь сложным биологическим феноменом, подобным кошке, которая безжалостно терзает мышь, не ведая греха. Сам же Бах скромно дистанцируется от роли героя, иронично описывая себя как «толстую лягушку на кувшинке в грязном озере», далекую от амбиций по изменению мира.

Монополия на насилие: почему анархизм неизбежно сменяется государством 2:43:15

В разговоре Лекс Фридман (Lex Fridman) упоминает американского публициста Майкла Мэлиса, который активно проповедует анархизм, усматривая в любом государственном аппарате исключительно деструктивную силу, мешающую процветанию человечества. Йоша Бах парирует эту позицию с точки зрения кибернетики: государство — это необходимый контролирующий агент, который смещает матрицу выплат и функцию вознаграждения индивида таким образом, чтобы его локальное эгоистичное поведение становилось совместимым с общим благом.

Фундаментальный инструмент жизнеспособного государства — это жесткая монополия на легитимное насилие, удерживаемая с помощью регулярной армии и полиции. В исторических примерах, где гражданам или корпорациям удавалось создавать собственные автономные вооруженные отряды, общество неизменно скатывалось к категории несостоявшихся государств (failed states). Бах убежден, что глупо рассчитывать исключительно на моральные качества людей. Если в социальной системе образуется свободная экологическая ниша для достижения успеха через агрессию, ее обязательно кто-нибудь займет. Сильное правительство уничтожает саму эту нишу:

• Оно радикально повышает издержки любого акта агрессии;

• Делает невозможным получение долгосрочной выгоды через физическое подавление;

• Вынуждает акторов конкурировать исключительно мирными, созидательными методами.

Попытки построить анархо-капиталистический рай, где функции безопасности выполняют конкурирующие частные компании, по мнению Баха, обречены на циклическое возвращение к исходной точке. Чтобы выжить и победить конкурентов, коммерческие военизированные структуры будут укрупняться, координироваться и в конечном итоге неизбежно сформируют новую централизованную монополию на насилие, то есть полноценное новое правительство.

Ловушка утопии: дилемма заключенного и системные стимулы управления 2:48:51

С точки зрения теории систем, упразднение государства лишает социум важнейшего контура регулирования. Назначение верхнего уровня власти состоит в изменении параметров выплат для всех нижестоящих подсистем с целью разрешения локальных «дилемм заключенного». Без внешнего арбитра, эмулирующего правила бесконечной игры, преодолеть эти эгоистичные тупики невозможно. Лекс Фридман предполагает, что в будущем интеграция цифровых технологий и искусственного интеллекта позволит гражданам эффективнее взаимодействовать с властью и оптимизирует неповоротливую бюрократию.

Йоша Бах указывает, что популярность анархизма, равно как и историческая популярность коммунизма, произрастает из глубокого разочарования несовершенством существующих режимов. В своей первоначальной концепции коммунизм (подобно раннему христианству) предлагал утопическую модель общества, способного сосуществовать без принуждения, по аналогии с благополучной семьей, где каждый действует исходя из потребностей и возможностей близких. Однако практика «реального социализма» ХХ века показала, что попытка заменить капиталистическое экономическое принуждение «моральным террором» оборачивается крахом экономики, за которым следует террор вполне реальный — тюремное заключение для тех, кто не проявляет должной моральной сознательности.

Утопические проекты терпят фиаско вовсе не потому, что их захватывают корыстные диктаторы. Настоящая причина — фундаментальные ошибки в проектировании обратных связей. Стабильная социальная архитектура должна настраивать систему так, чтобы она сама конвергировала к целевому состоянию через естественные стимулы. Нельзя мотивировать рабочих эффективно добывать уголь в шахтах — нанося колоссальный вред своему здоровью — одними лишь идеологическими лозунгами, орденами и грамотами. Любая долгосрочная система обязана иметь замкнутые, реалистичные каузальные контуры, учитывающие подлинную природу человека, а не выдуманные идеалы далекого будущего.

🌌 Реальность, капитализм и поиск смысла в «сонном» мире 2:55:55

Пороки капитализма: динамика без конвергенции 2:56:35

Йоша Бах отмечает, что капитализм сегодня выступает как наиболее эффективное, хоть и проблемное решение для организации человеческого общества. Основная претензия к нему заключается не в отсутствии продуктивности — напротив, капитализм феноменально стимулирует производство — а в его фундаментальной нестабильности. По мнению Баха, этот процесс является дивергентным, а не конвергентным: система систематически неверно распределяет ресурсы.

Это порождает кризисы, в которых значительная часть населения теряет возможность полноценно участвовать в процессах производства и потребления. Наглядным примером такой диспропорции служит состояние среднего класса в США, который стремительно сжимается. Бах иронично замечает, что социальное расслоение сегодня напоминает структуру авиакомпаний: большинство людей вынуждены довольствоваться «эконом-классом», в то время как «бизнес» и «первый класс» остаются прерогативой меньшинства. С чисто технологической точки зрения, современное общество обладает достаточными ресурсами, чтобы каждый мог путешествовать с комфортом, но текущие экономические механизмы препятствуют этому.

Любовь как эволюционный инструмент контроля 3:00:13

В ходе обсуждения природы человеческих отношений Бах переходит к концепции любви, определяя её не как сентиментальное чувство, а как механизм для нетразакционного взаимодействия. В обычной жизни мы действуем транзакционно: eBay-подобный обмен, где каждый ожидает эквивалентной отдачи. Однако любовь позволяет выйти за пределы личного эго и локальных интересов, связывая нас с чем-то большим.

Этот механизм стал определяющим фактором в ходе эволюции человека. Бах предполагает, что наша способность к коллективному действию и «программируемость» — готовность работать в связке, выходя за рамки племенных групп из нескольких сотен человек — помогли нам одержать верх над другими гоминидами, такими как неандертальцы. Становление государства и способность формировать коллективы вне кровнородственных связей стали адаптацией, которая позволила нам колонизировать планету. Тем не менее, это достижение имеет тёмную сторону: любовь к «своим» стала мощным инструментом, который направлял нас на уничтожение тех, кто не вписывался в эти структуры. Именно эта тяга к причастности к чему-то великому — «состояние, когда ты часть чего-то более важного, чем ты сам» — находит своё отражение в фашистских риториках, требующих тотальной преданности идее.

Моральная автономия и смысл жизни 3:04:30

Отвечая на вопрос о советах молодёжи, Йоша Бах призывает прежде всего к «интегритету» (честности перед собой). В мире, где давление группы может легко подтолкнуть к конформизму, защита от фашизма и этического распада начинается с поиска моральной автономии. Бах подчёркивает: важно не просто следовать установкам, а самостоятельно оценивать, хотите ли вы жить в том мире, который создаётся вашими действиями.

Истинная целостность проявляется в моменты, когда большинство делает что-то неправильно: в таких ситуациях лучше тихо не участвовать, чем пытаться сигнализировать о своей позиции в социальных сетях. Бах даёт необычный совет: воспринимайте окружающих и даже самих себя как «космических пришельцев». Мы все, по сути, не до конца понимаем, что значит быть человеком, и вынуждены «изобретать это на ходу».

Что касается смысла жизни, Бах поддерживает мысль Альбера Камю: разум не находит смысл, а проецирует его. Если рассматривать Вселенную в масштабах её тепловой смерти, всё сущее — лишь кратковременный всплеск сложности. Поэтому смысл жизни заключается в том, чтобы сделать этот «локальный карман сложности» максимально ярким, странным и уникальным. Будь то воспитание детей, служение эстетике или просто наблюдение за миром — смысл существует ровно до тех пор, пока вы его проецируете.