В рамках научного семинара Stanford CS547 по взаимодействию человека и компьютера (HCI) соруководитель Монреальской лаборатории HCI Иан представил масштабный ретроспективный доклад о создании, эволюции и формализации нотационных систем. Исследователь рассмотрел, как исторически развивались графические языки — от вавилонских глиняных табличек до современного программного кода — и как искусственный интеллект принципиально меняет то, как человечество оперирует абстракциями. Ключевым тезисом выступления стала концепция «мгновенной формализации» и назревшая необходимость в ИИ-системах, способных не просто использовать готовые шаблоны, но и сотворчествовать с человеком в дизайне принципиально новых языков описания реальности.
🧩 От вавилонских табличек до ИИ: что такое нотация? 0:05
Иан, позиционирующий себя в качестве «методологического кочевника», на протяжении карьеры занимался самыми разными исследованиями в области HCI — от этнографических наблюдений до психологических экспериментов и построения сложных систем. Широкой IT-общественности он известен прежде всего благодаря ChainForge — одной из первых открытых платформ для оценки больших языковых моделей и прецизионного промпт-инжиниринга. Тем не менее в своем докладе ученый решил отойти от хайповой темы ИИ-эвалюации и обратиться к фундаментальной, но незаслуженно обделенной вниманием проблеме — природе нотаций.
В понимании докладчика нотация — это чрезвычайно широкое понятие. К ней относятся:
- Древние вавилонские глиняные таблички для учета товарных запасов.
- Классическая музыкальная нотация (нотный стан).
- Математические формулы и химические диаграммы.
- Современный программный код.
- Письменный естественный язык.
В академическом HCI-сообществе нотации чаще всего изучаются через фреймворк «когнитивных измерений» (Cognitive Dimensions framework), разработанный в 1980-х годах Блэквеллом, Грином и Петре. Этот инструмент отлично подходит для эвристической оценки юзабилити уже существующей нотации. Однако, как подчеркивает Иан, данный фреймворк никогда не основывался на эмпирических данных о том, как именно нотации зарождаются, адаптируются социумом и эволюционируют с течением времени. Заполнение этого исторического пробела и стало главной целью нового исследования лаборатории, результаты которого готовятся к публикации на конференции CHI 2026.
⚡ Эпоха «мгновенной формализации» и слепое пятно нейросетей 4:41
Актуальность изучения графических языков Иан объясняет тектоническими сдвигами в индустрии ИИ. Когда современный пользователь отправляет запрос в Gemini или Claude, под капотом интерфейса разворачивается хаотичный конгломерат скрытых нотаций: от верстки HTML/CSS и разметки Markdown до математических формул на LaTeX. Более того, когда нейросеть по короткому промпту мгновенно генерирует рабочий код игры-платформера, она самостоятельно принимает колоссальное количество архитектурных решений, выбирая конкретные библиотеки (например, React) и версии JavaScript.
Этот феномен докладчик называет переходом от «инкрементальной (пошаговой) формализации», описанной в классических трудах Шипмана и Макколла, к эпохе «мгновенной формализации» (instant formalization). Сегодня человек может загрузить в ИИ крайне расплывчатую, абстрактную идею и на выходе моментально получить строгую, работающую программную или математическую систему.
Однако в практической, повседневной работе люди мыслят иначе. В качестве контраргумента аккуратным схемам формализации Иан демонстрирует фотографию типичной маркерной доски в своей лаборатории после серии мозговых штурмов. Реальный процесс человеческого мышления хаотичен.
Во время разработки проекта о координации человека и ИИ исследователи ad hoc (на ходу) адаптировали диаграммы Венна: договорились обозначать человека кругом, а ИИ — квадратом. В процессе дискуссии нотация стихийно обрастала новыми элементами для обозначения внешних документов памяти или организационных структур. Без предварительного контекста эта схема покажется стороннему наблюдателю бессмыслицей, но для участников группы она служила идеальным инструментом фиксации общей ментальной модели.
Аналогичный пример Иан приводит из своего личного опыта проектирования игр, когда он пытался рассчитать экономику симулятора фермы с помощью системных диаграмм из книги Майкла Селлерса «Advanced Game Design». Столкнувшись с тем, что в оригинальной нотации Селлерса отсутствовал способ отображения ограничений (например, как плодородие почвы влияет на рост посаженных семян), ученый без колебаний расширил язык схемы собственными графическими элементами.
По мнению Иана, современные ИИ-системы обладают критическим слепым пятном: они не способны динамически развивать новые абстракции вместе с нами. Поскольку нейросети натренированы на огромных массивах уже существующих данных, они подталкивают человечество к использованию исключительно доминантных языков (например, Python). Нейросеть может сиюминутно подыграть контексту, но она не способна зафиксировать созданную ad hoc нотацию и использовать ее для долгосрочной коммуникации.
🏛️ Социальные и функциональные этапы эволюции нотаций 14:43
Чтобы понять, как научить ИИ создавать новые абстракции, команда Монреальской лаборатории HCI провела параллельное сравнительно-историческое исследование эволюции самых разных графических языков — от нот и систем записи танца до химических формул и языков программирования. На основе этого анализа исследователи выделили три четкие социальные стадии, через которые проходит любая успешная нотация:
- Инкубация и создание (Incubation & Creation): Отдельный творец или замкнутое сообщество изобретает язык, опираясь на культурно обусловленные метафоры. Главная цель этапа — дескриптивная (описать феномен).
- Дисперсия и дивергенция (Dispersion & Divergence): Нотация выходит в массы. Разные субсообщества начинают адаптировать ее под себя, из-за чего язык неизбежно начинает дробиться и видоизменяться. Чтобы нотация не погибла в хаосе, требуется создание социальной и материальной инфраструктуры управления.
- Институционализация и сакрализация (Institutionalization & Sanctification): Создаются официальные комитеты по стандартизации, которые фиксируют каноническую версию языка. Нотация становится жесткой линзой, через которую люди смотрят на мир, зачастую переставая замечать альтернативные варианты развития («нотациоцентричность»).
Параллельно этому процессу развиваются и функциональные роли нотации. Сначала она служит лишь для описания эмпирических явлений. Затем переходит на генеративный уровень — с ее помощью начинают строить гипотезы и предсказывать свойства объектов, которые еще не были проверены экспериментально (как это произошло с химическими формулами). На финальной стадии нотация сама превращается в метрику, по которой оценивают весь окружающий мир.
🪞 Метафоры как фундамент: от электротехники к ENIAC и Fortran 18:56
Всякая новая нотация на этапе зарождения держится на когнитивном процессе «аналогического выравнивания» (analogical alignment) и использует два типа метафор:
- Заземляющие метафоры (Grounding metaphors): Апеллируют к нашему непосредственному телесному и перцептивному опыту. Например, в современной нотации микрожестов рук (представленной во Франции на CHI 2023) черточка, обозначающая большой палец, намеренно рисуется ниже остальных, воспроизводя анатомию человеческой кисти. В квантовых струнных диаграммах из книги «Picturing Quantum Processes» физическое перетягивание нарисованной нити математически корректно поворачивает квантовое состояние на 180 градусов, задействуя интуитивное восприятие геометрии человеком.
- Связывающие метафоры (Linking metaphors): Переносят правила и визуальные образы из одной уже устоявшейся предметной области в абсолютно новую. Так, Йёнс Якоб Берцелиус, создавая в XIX веке современные молекулярные формулы, напрямую вдохновлялся арифметической нотацией и знаком «плюс». А создатели первых систем записи танцев массово пытались копировать пятилинейный музыкальный нотный стан, поскольку танцоры и музыканты исторически делили одно творческое пространство.
Эволюция компьютерного программирования демонстрирует точно такие же паттерны. Первые блок-схемы (flow diagrams), предложенные Германом Голдстайном и Джоном фон Нейманом для проекта ENIAC, возникли не на пустом месте. Проект развивался в стенах школы электротехники, где буквально все стены были завешаны чертежами электрических цепей. Создатели просто перенесли привычную им инженерную графику на алгоритмы.
Но для конечных пользователей эта связывающая метафора оказалась крайне неудобной. Первыми программистами ENIAC были набранные по объявлению женщины с математическим, но не инженерным бэкграундом. Легендарная создательница Fortran Бетти Бартик вспоминала: «Я в своей жизни не видела ни одной блок-схемы. Бетти [Холбертон] тоже. Мы просто предположили, что её нужно читать слева направо, как обычную книгу».
Когда Джон Бэкус в стенах IBM изобретал язык Fortran, он тоже руководствовался сугубо прикладным юзабилити, а не высокими абстракциями. Ему надоело вручную переводить математические уравнения в машинный код. Поскольку IBM в тот момент доминировала на рынке буквенно-цифровых перфораторов и печатных машинок, Бэкус адаптировал математическую нотацию под стандартную клавиатуру, чтобы формулы можно было вводить напрямую.
🩰 Эволюция Sign Writing: как музыкальные ноты превратились в язык жестов 32:42
Наиболее наглядным и задокументированным примером того, как нотация в процессе развития постепенно сбрасывает оковы первоначальных метафор, Иан называет систему Sign Writing (запись жестового языка), созданную Валери Саттон. Архивы Саттон содержат подробнейшие визуальные отчеты за несколько десятилетий, что уникально для истории графических языков.
Эволюционный путь Sign Writing выглядит следующим образом:
- В XIX веке Фридрих Цорн придумывает нотацию для балета, где схематичные фигурки танцоров буквально привязывались к горизонтальным линейкам музыкального нотного стана.
- Молодая Валери Саттон, занимаясь балетом, вдохновляется идеей Цорна и в 1973 году публикует свою систему «записи танца».
- Исследователи из Университета Копенгагена, отчаявшись найти способ архивации и сравнения международных жестовых языков с видеокассет, приглашают Саттон к сотрудничеству.
- Саттон адаптирует танцевальную нотацию под язык жестов. На первых порах система сохраняет жесткую горизонтальную линеаризацию нотного стана и использует обычные цифры для обозначения количества поднятых пальцев.
- В процессе многолетнего соавторства с глухими общинами музыкальные рудименты начинают отмирать. Сначала исчезают горизонтальные линии линеек. Затем цифры заменяются прямыми пиктограммами ладоней (заземляющая метафора).
- Система совершает радикальный поворот: символы начинают группироваться не горизонтально, а вертикально, сообразуясь с анатомией человеческого тела. Из схем выбрасываются схематичные плечи, так как они не несут полезной информации. Наконец, исчезают тактовые черты — последний визуальный след, связывавший язык жестов с академической музыкой.
🎯 Искажения абстракций и будущее сотворчества с ИИ 37:14
Главная опасность слепого следования метафорам при создании нотаций заключается в том, что «аналогическое выравнивание» способно маскировать и искажать важные свойства моделируемой реальности. Возвращаясь к примеру с маркерной доской и диаграммами Венна для описания взаимодействия человека и ИИ, Иан признает, что в итоге лаборатория отказалась от этой схемы.
Диаграмма Венна создала ложную иллюзию того, что «общее поле понимания» (common ground) — это простое, симметричное пересечение двух множеств. На самом же деле человеческая коммуникация (согласно классическим трудам Кларка) строится на асимметрии и «верованиях высшего порядка»: моих представлениях о том, что именно ты думаешь обо мне и о наших документах памяти. Графика диаграмм Венна эту глубину попросту проигнорировала.
Формализация — это не просто избавление от двусмысленности. По словам Иана, это в первую очередь процесс принятия ценностных решений о том, какие детали для нас критически важны, а какими можно пренебречь. Если мы что-то исключаем из нотации, мы со временем забываем об этом. И лишь новые фундаментальные открытия заставляют ломать устоявшийся язык. Так, открытие ковалентных связей и электронов в физике вынудило ученых преодолеть жесткие рамки химической нотации Берцелиуса и дополнить её.
В финале доклада Иан делится первыми набросками систем, которые его лаборатория проектирует для преодоления этой ригидности.
Во-первых, это концепция «податливых нотаций» (malleable notations). Докладчик приводит пример из программирования: если разработчику видеоигр наverbose-языке Lua не хватает лаконичной стрелочной нотации функций из JavaScript, ему не нужно писать собственный парсер или компилятор. Он должен иметь возможность внедрить этот элемент ad hoc, предоставив LLM задачу разобраться в коде на лету. Ранее Иан уже создавал прототип системы, позволяющей буквально вписывать от руки квантовые символы прямо внутрь стандартного Python-кода.
Во-вторых, Монреальская лаборатория HCI разрабатывает интерфейс-помощник для создания новых графических языков. Этот инструмент призван:
- Подсвечивать измерения вариативности в концептуальной области.
- Помогать соотносить их с перцептивными каналами восприятия (цветом, формой, размером).
- Предупреждать автора о скрытых культурных конфликтах (например, если выбранный символ будет неверно истолкован людьми из другой профессиональной среды).
- Предлагать автоматические варианты графического упрощения схемы (заменять сложные рисунки лаконичными линиями).
Идеальное будущее человеко-машинного взаимодействия, по мнению Иана, лежит не в плоскости текстовых промптов, возвращающих готовый результат. Истинный ИИ-ассистент должен стать полноценным партнером у маркерной доски, способным вместе с человеком конструировать уникальные, динамические абстракции для решения задач на самом острие науки и дизайна.
