# Рич Саттон: «LLM — это лишь четверть интеллекта, а синтетические данные — большая ошибка» Источник: https://www.youtube.com/watch?v=xH7U7w9Qzlo Канал: Sequoia Capital Опубликовано: 18.08.2026 --- Рич Саттон, легендарный исследователь, создавший современное обучение с подкреплением (Reinforcement Learning), и его бывший студент Хуррам Джавед в подкасте Sequoia Capital объясняют, почему нынешний триумф больших языковых моделей (LLM) — это лишь четверть пути к настоящему интеллекту. Они представляют свою новую компанию Oak Lab и амбициозный план по созданию саморазвивающихся «разумов», способных учиться непрерывно, не забывая старое, и работать на энергии обычной лампочки. ## ❄️ Наследие «Горького урока» и зима ИИ [[JUMP:02:10]] Рич Саттон начал заниматься обучением с подкреплением еще в те времена, когда это направление считалось маргинальным. В 2003 году, в разгар «зимы ИИ», он переехал в Альберту (Канада), чтобы основать там исследовательский центр [02:10]. Саттон вспоминает это время как период личной борьбы: у него диагностировали рак, и он продолжал работать, буквально находясь на грани жизни и смерти [02:52]. По его словам, им двигали лишь две вещи — привычка и тщеславие [03:32]. Сегодня Саттона часто называют радикалом за его взгляды, но сам он считает свою позицию «обычной», а текущее состояние индустрии — «странным» [00:00]. * **Концепция обучения:** Саттон утверждает, что термин «непрерывное обучение» (continual learning) избыточен. Любое истинное обучение по определению должно быть непрерывным: агент действует и учится на основе последствий своих действий [00:39]. * **«Горький урок» (The Bitter Lesson):** Эссе Саттона 2019 года стало манифестом современной эпохи ИИ. Его суть в том, что в долгосрочной перспективе попытки вложить в ИИ человеческие знания (правила, структуру) всегда проигрывают методам, которые просто масштабируются вместе с вычислительными мощностями [08:06]. Саттон считает LLM одновременно и триумфом, и провалом «Горького урока» [10:06]. С одной стороны, они доказали мощь масштабирования на огромных данных. С другой — они застыли в развитии: их веса не меняются в процессе использования, а значит, они перестают учиться в тот момент, когда заканчивается их обучение на серверах разработчика [10:34]. ## 🌍 Гипотеза «Большого мира» и ошибка синтетических данных [[JUMP:11:03]] Современные лаборатории (OpenAI, Anthropic и другие) активно пытаются решить проблему нехватки данных с помощью их синтетической генерации. Хуррам Джавед называет этот подход «большой ошибкой» [11:27]. Их аргументация строится на **гипотезе «Большого мира» (Big World Hypothesis)**: * **Бесконечная сложность:** Мир бесконечно сложнее любого агента или симулятора [15:37]. Любая симуляция, созданная человеком, — это лишь микроскопическое упрощение реальности [15:24]. * **Человеческое «бутылочное горлышко»:** Синтетические данные создаются программами, которые написали люди. Это ограничивает ИИ человеческим опытом и экспертными знаниями [12:45]. * **Пример с эхолокацией:** Джавед приводит пример: если вы хотите научить дрон летать с помощью эхолокации (как летучая мышь), вам не помогут синтетические данные, пока человек-эксперт сам не поймет физику процесса и не опишет её [13:24]. Истинный ИИ должен научиться этому сам через опыт столкновений и полетов [13:37]. По мнению Саттона, обучение должно происходить постоянно, потому что мир огромен, и агент всегда будет сталкиваться с чем-то новым, требующим обновления его внутренних «аппроксимаций» [16:03]. ## 🧠 Почему LLM — это не разум [[JUMP:22:37]] Основная претензия Саттона к текущим чат-ботам заключается в их статичности. Ведущие подкаста возражают, что модели могут «учиться» через контекстное окно или RAG, но Саттон непреклонен: «Их веса никогда не меняются» [23:05]. Основные тезисы критиков текущего подхода: 1. **Отсутствие пластичности:** Настоящий мозг невероятно пластичен. Джавед приводит пример людей с ограниченными возможностями, которые заново учатся ходить, используя визуальные сигналы вместо потерянного чувства положения тела (проприоцепции) [25:43]. Современные нейросети на такое не способны без полной перетренировки. 2. **Проблема персонализации:** В текущей парадигме вы не можете по-настоящему научить модель чему-то специфическому для вас, не вступая в конфликт с интересами миллионов других пользователей, на данных которых обучалась общая модель [24:36]. 3. **Опыт против школы:** Саттон подчеркивает, что ни одно животное не учится по методу «обучения с учителем» (supervised learning) [27:00]. Белкам не нужны наборы данных, чтобы понять, как прыгать по веткам, и им никто не говорит, как именно должны сокращаться их мышцы [30:06]. Саттон считает, что ИИ-сообщество слишком зациклилось на языке. Он оценивает языковые способности лишь в 20–25% от того, что составляет полноценный интеллект [50:52]. ## 🚀 План Альберты и лекарство от «забывания» [[JUMP:36:42]] В 2022 году Саттон представил «План Альберты» — 12 шагов к созданию полноценного ИИ [36:52]. Ключевым этапом (шаг №2) является **Continual Deep Learning** (непрерывное глубокое обучение) [37:21]. Главная техническая преграда здесь — **катастрофическое забывание**: когда нейросеть при получении новой информации мгновенно стирает старые знания. Саттон утверждает, что эта проблема «полностью излечима» [40:07]. **Технологический стек Oak Lab для решения проблемы:** * **Оптимизация шага обучения (Step-size optimization):** Каждому весу в сети назначается свой темп обновления. Большинство весов меняются крайне медленно, сохраняя базу знаний, в то время как другие адаптируются под новые примеры [40:21]. * **Алгоритм Continual Backprop:** В отличие от стандартного обратного распространения ошибки, этот метод постоянно «подсаживает» в сеть новые случайные нейроны [41:29]. Это позволяет системе не закостеневать и продолжать искать новые закономерности вечно. * **Генерация и тестирование:** Вместо того чтобы полагаться только на градиенты (которые Саттон считает слишком медленными), система должна постоянно предлагать новые гипотезы (фичи) и проверять их эффективность в реальном времени [41:01]. ## ⚡️ Будущее: Разум на 20 Ватт [[JUMP:43:43]] Цель Oak Lab — создать систему с триллионом параметров, которая способна поддерживать свою когерентность самостоятельно и потреблять при этом всего 20 Ватт энергии (как мозг человека или обычная лампочка) [46:07]. **Почему этого не делают техгиганты?** Джавед считает, что крупные лаборатории застряли в «локальном минимуме» [48:16]. Переход к парадигме непрерывного обучения требует, чтобы результаты сначала стали *хуже*, прежде чем они станут лучше [48:28]. Публичные компании и продуктовые команды не могут позволить себе такого проседания метрик ради смены парадигмы [48:41]. Инвестиционный тезис Саттона и Джаведа: * **Горизонт:** 5–10 лет [46:32]. * **Эффективность:** Использование закона Мура позволит снизить энергопотребление с текущих тысяч ватт до десятков [47:14]. * **Структура:** Вместо одной «супермодели», Oak Lab видит мир как множество «разумов», каждый из которых учится на своем уникальном опыте [51:33]. Oak Lab планирует оставаться небольшой, «супералайненной» (согласованной в целях) командой, нанимая только тех, кто разделяет их видение отказа от статических моделей в пользу живых, вечно меняющихся систем [52:37].