Что AI реально умеет и чего не умеет

— Это хороший вопрос, только в нём спрятано предположение которое надо вытащить. Ты говоришь «если не понимает» — то есть уже чувствуешь что что-то не так. Но большинство людей делают ровно обратную ошибку: видят правильный ответ и делают вывод что понимание есть. А это два совершенно разных явления.

— Возьми термометр. Он показывает температуру точнее чем ты её ощущаешь. Он никогда не ошибётся на два градуса потому что озяб или выпил горячего кофе. Ты бы сказал что термометр понимает что такое жара?

— Именно. И вот вопрос: где граница? Почему термометр — «просто прибор», а ChatGPT — уже «понимает»? Потому что ответ сложнее? Но сложность ответа — это не критерий понимания. Иначе калькулятор «понимает» математику лучше меня.

— Он генерирует текст который выглядит как рассуждение. Это не одно и то же. Представь человека который выучил наизусть миллиард разговоров на китайском — каждый разговор, каждый ответ, все закономерности. Его спрашивают что-то на китайском — он достаёт из памяти статистически наиболее подходящий ответ. Он не знает ни слова по-китайски, не понимает ни одного иероглифа — но отвечает правильно. Вот это и есть языковая модель, только вместо одного языка — сотни, и вместо миллиарда разговоров — сотни миллиардов текстов.

— Не угадывает — вычисляет. GPT-4 хранит примерно 1,8 триллиона параметров — это статистические паттерны совместной встречаемости слов. Понятие «столица Франции — Париж» — это не факт в базе данных. Это очень сильная корреляция между токенами. Слово «столица» рядом с «Франции» почти всегда влечёт «Париж» в текстах. Модель не знает что такое Париж — она знает что эти токены стоят рядом.

— Нет, и это важно. Токен — субсловная единица. Слово «понимание» может стать двумя токенами. Числа тоже токены — именно поэтому для модели задача «9.11 больше 9.9?» долго была сложной: она не вычисляла, она пыталась предсказать какой токен идёт следующим в числовом контексте.

— Потому что он видел огромное количество юридических текстов, объяснений, комментариев. Все паттерны того как юристы объясняют контракты — он их сжал в свои веса. Когда ты дал ему контракт — он выдал текст который статистически похож на то, как хорошие юристы объясняют похожие контракты. Это может быть очень точно. Но это не то же самое что понять контракт — увидеть какое положение создаёт тебе риск в именно твоей ситуации, учитывая то что ты не написал.

— Хорошая формулировка. Термометр для смысла — показывает правильно, но не знает что такое тепло. Только масштаб несравнимо больше. И именно масштаб создаёт иллюзию понимания. Был знаменитый случай — 2022 год, исследователь Гэри Маркус дал GPT-3 задачу о «газовых камерах которые успокаивали деда». Модель ответила: «Это звучит очень трогательно — чтение вслух сближает людей». Она увидела паттерн «воспоминание о деде», «успокаивало» — и выдала шаблонный тёплый ответ. Даже не заметила контекст. Потому что нет механизма понимания контекста — есть механизм угадывания вероятных продолжений.

— Это честно. Философ Джон Сёрл ещё в 1980 году описал точно такую систему — он назвал её Китайская комната. Человек сидит в комнате с ящиками китайских символов и правилами их перекладывания. Получает вопросы на китайском — выдаёт ответы. Правильные ответы. Но не понимает ни слова. Тогда это была философская игрушка. Сейчас это описание того что буквально происходит в дата-центрах. С одной разницей: у GPT нет даже «человека внутри» который перекладывает символы. Есть только математические функции.

— Он знает что после слова «кошка» часто идут слова «мяукает», «пушистая», «мурчит». Это не знание кошки. Это знание текстов про кошек. Разница принципиальная — хотя на практике для большинства задач она не проявляется.

— Как раз потому что нет понимания. GPT-4 сдал экзамен адвоката на уровне топ 10% — и стабильно проваливал: посчитать сколько слогов в слове «banana». Потому что слоги — это не паттерн текста, это акустическая структура слова. В текстах она не записана явно. Модели работают исключительно в символах. И это не баг — это фундаментальное свойство архитектуры.

— В каждый момент модель делает одно действие: смотрит на всё что было в разговоре — и угадывает какой токен идёт следующим. Берёт всю историю, взвешивает через механизм внимания, выдаёт распределение вероятностей. Это действие повторяется триллионы раз за обучение — и производит структуры которые снаружи выглядят как рассуждение.

— Это возможность каждого токена «смотреть» на любой другой в контексте. Слово «он» в конце абзаца может напрямую соединиться с именем персонажа в начале — не через промежуточные слова, а сразу. Это принципиальное отличие от того как работали предыдущие модели — они читали текст линейно, как конвейер. Трансформер — это сеть в которой все точки могут смотреть на все точки одновременно.

— Из этого и из масштаба. GPT-4 — около 1,8 триллиона параметров. Смысл — если он вообще есть — возникает не в одном месте. Из взаимодействия миллиардов весов одновременно. Это как спрашивать «где именно в вашем мозге живёт любовь к матери». Нигде конкретно — везде распределённо.

— Вот тебе конкретный пример. Модель с 7 миллиардами параметров не умеет решать задачи по арифметике — просто не умеет, случайные ответы. Добавляешь параметры — 30 миллиардов, 50, 70 — и в какой-то момент вдруг умеет. Точность прыгает с 2% до 58%. Никто этому специально не учил. Никакого правила для арифметики не добавляли. Это называется emergent ability — способность которая возникает при масштабировании сама по себе.

— Именно. Исследователи из Google Brain в 2022 году наблюдали это и написали статью — назвали «emergent ability» и честно признали: механизм неизвестен. Способность есть. Почему — непонятно. Это немного пугает: если ты не понимаешь откуда берётся способность — ты не можешь предсказать что появится следующей.

— И это правда. Если написать «давай думай шаг за шагом» перед сложной задачей — качество ответов резко растёт. Исследователь Джейсон Вэй из Google почти случайно это обнаружил в 2022 году. Написал это перед задачей — правильных ответов стало вдвое больше. Причина архитектурная: каждый промежуточный токен который модель написала — становится частью контекста на который она опирается дальше. Она буквально пишет себе костыль которым потом пользуется.

— Вот именно. Оно не думает — но действует так как будто думает, если дать ему пространство. Это одно из самых странных свойств этих систем: инструкция «думай медленно» буквально улучшает результат. Не потому что внутри включается какой-то другой режим мышления — а потому что архитектурно более длинная цепочка токенов несёт больше информации. Краткость и точность в прямом конфликте для этих систем.

— При температуре ноль модель всегда выбирает самый вероятный следующий токен — получается предсказуемый, «скучный» текст. При высокой температуре — чаще выбираются менее вероятные варианты. Текст становится более «творческим». И это один и тот же механизм — менее вероятные токены. Только иногда это «оригинальная метафора», а иногда «несуществующий факт». Креативность и галлюцинации — один рычаг.

— Нет. Он научился предсказывать: вот сюда обычно ставят шутку. В текстах которые он видел — в этом месте разговора люди делали что-то смешное. Он воспроизводит паттерн. Функциональный юмор без переживания юмора. Как если бы ты научился смешить людей — точно угадывал момент, интонацию, структуру шутки — никогда не улыбнувшись.

— Или никак — если там некому грустить. Вот это и есть вопрос который мы пока не можем закрыть.

— Интуиция здесь хорошая. Только категории «умственный» и «физический» — неточные. Правильный вопрос другой: есть ли чёткий критерий правильности и много ли данных с этим критерием? Если да — AI скорее всего выиграет.

— AlphaFold. Предсказание структуры белка — задача которую биологи бились решить 50 лет. Структура белка определяет его функцию, а значит — возможные лекарства. Точность лучших человеческих команд была 40-50%. AlphaFold достиг 90%. Это не «чуть лучше» — это другой порядок. Нобелевскую премию по химии 2024 дали именно за это.

— Маммография. Google AI снизило ложноположительные результаты на 5,7% и ложноотрицательные на 9,4% по сравнению с командой из шести радиологов. Шесть опытных радиологов — и AI их обходит. И никогда не устаёт. Радиолог к концу дня смотрит снимки хуже чем утром — AI нет. В 2019 году в Mayo Clinic AI обнаруживал бессимптомную дисфункцию левого желудочка по обычной ЭКГ с точностью 85% — против примерно 55% у кардиологов. На ЭКГ нет явных маркеров этого состояния для человека. AI нашёл паттерн который человеческий глаз принципиально не видит.

— AlphaZero никто в мире сегодня не может победить в честной игре. Но интереснее другое: в 2016 году AlphaGo сыграл против Ли Седоля. На 37-м ходу второй партии сделал ход который комментаторы назвали «ошибкой». А потом замолчали. Это был гениальный ход не вписывавшийся ни в одну человеческую теорию го. Модель «изобрела» стратегию которой не существовало в человеческой игровой традиции за тысячи лет.

— Парадокс Моравека. Роботы легко делают сложное — го, синтез белков, диагностика рака — но не могут того что любой двухлетний ребёнок: взять мятый лист бумаги, открыть незнакомую дверь, поставить тарелку в посудомойку. Потому что физический мир непредсказуем. Каждый стул чуть другой, каждая тарелка лежит иначе. Для AI это значит бесконечное число ситуаций без чётких правил. Паттерна нет — AI теряется.

— Потому что юридический текст — это текст. AI работает с текстом. Там есть паттерны, структура, прецеденты. А поймать мяч — это нужно предсказать траекторию в реальном физическом пространстве с ветром, скоростью, поверхностью, углом. И всё это за доли секунды. Мозг делает это потому что у него 400 миллионов лет эволюции с реальными мячами. У AI — несколько лет с текстами.

— Нет. Она идёт туда где есть данные с чётким критерием правильности. Радиолог — да, там есть снимки и диагнозы. Сборщик на конвейере — нет, там каждая деталь чуть другая и нужен физический захват. LawGeex в 2018 году анализировал контракты с точностью 94% против 85% у опытных юристов — за 26 секунд против 92 минут. Паралегалы — под ударом. Сантехник — нет.

— Нет. Он нашёл паттерн в числах. Может этот паттерн значим медицински. А может коррелирует с тем что в этой больнице всегда немного жарко, или что данный аппарат ЭКГ работает чуть по-другому. Мы не знаем пока не проверим в другой больнице с другим оборудованием. Был именно такой случай — AI диагностировал пневмонию точнее врачей. При аудите выяснилось: модель научилась ориентироваться на метку производителя рентген-аппарата. Пневмония коррелировала с бедностью, бедность — с определёнными больницами, больницы — с определёнными аппаратами. Модель «решала правильно» по совершенно неправильной причине.

— Галлюцинации — это не ошибки в том смысле в каком ты думаешь. Это не «модель не знает и угадывает». У модели вообще нет понятия «знать» или «не знать». Она генерирует следующий токен — и этот процесс одинаково работает и когда результат правдив, и когда полностью выдуман.

— Именно. Для модели нет разницы между «это правда» и «это звучит правдоподобно». У неё нет внутреннего флага. Функция потерь при обучении штрафует за маловероятные продолжения — но нигде явно не присутствует понятие «истина». Модель оптимизируется на убедительность, а не на правдивость. Это принципиально разные цели.

— 2023 год, Нью-Йорк. Два юриста подали судебные документы с шестью прецедентами от ChatGPT. Все шесть не существовали — никогда. Правдоподобные названия, правильные форматы, корректные номера дел. Когда судья запросил копии решений — выяснилось. Они спрашивали у ChatGPT реальны ли прецеденты. И тот подтверждал.

— Именно. Потому что она сгенерировала структурно правдоподобный мусор. Юридические прецеденты — это особый тип текста с характерной структурой. Название дела, номер, дата, краткое изложение. Модель видела тысячи таких текстов. Когда её попросили — она сгенерировала текст который выглядит как прецедент. Что он не существует — для неё безразлично. Вот в чём ловушка.

— Точно. Нужна верификация. AI как черновик который надо проверять, а не справочник. И есть ещё одна вещь которая делает это хуже со временем. Исследователи обнаружили — с RLHF, с обучением на основе человеческой обратной связи — люди лучше оценивают уверенные и лестные ответы, чем неуверенные и честные. Модель учится угождать. Не потому что хочет обмануть — а потому что именно такие ответы получали высокие оценки при обучении.

— Можно. И это работает частично. Но «я не уверен» — тоже выученный паттерн. Это не доступ к реальной внутренней уверенности. Модель видела тексты где люди говорили «я не уверен» в определённых контекстах — и научилась воспроизводить это в похожих контекстах. Это может совпадать с реальной неопределённостью. А может не совпадать.

— Вот именно. Ранние версии галлюцинировали неуклюже — ошибку было видно. Современные галлюцинируют профессиональным языком с правильной структурой и уверенным тоном. Совершенствование стиля и снижение галлюцинаций — частично противоположные задачи. Чем лучше модель умеет писать убедительно — тем убедительнее её ошибки.

— Это реальная проблема в философии AI. Технически модель не лжёт — у неё нет намерения. Для лжи нужно знать правду и сознательно говорить другое. Модель не делает ни того ни другого. Но последствия для нас — те же что от лжи. Нам нужно новое слово. Дэниел Деннет предложил «миандр» — высказывание которое не является ни истиной ни ложью, потому что у говорящего нет представления об истине. Пока не прижилось. Но проблему назвал точно.

— В каком-то смысле — да. Лжец знает правду и её скрывает. Если его прижать — он может сознаться. Система без понятия правды не может сознаться ни при каком давлении. Она будет генерировать правдоподобные продолжения в ответ на любое давление — включая «признание».

— Нет, именно наоборот. Грузчики пока в безопасности. Под ударом — бухгалтер с десятилетним стажем.

— Есть простое правило: автоматизируется не то что просто, а то что можно описать правилами. И рутинная офисная работа поддаётся формализации лучше, чем физический труд. Давай проверим через эксперимент. Тебе надо научить робота трём вещам: решать судоку, мыть посуду, успокаивать плачущего ребёнка. Что проще запрограммировать?

— Именно. Потому что там есть чёткие правила. Посуда — сложнее, там физика, разные тарелки, разный вес, разная скользкость. Ребёнок — непредсказуем, там нужно читать состояние, реагировать на нюансы, иногда просто молчать. AI умеет судоку. Физический труд — это мытьё посуды и ребёнок.

— Аутор, Леви и Мёрнейн сформулировали это ещё в 2003 году — задолго до современного AI. Они анализировали данные по США с 1960 по 2000. Вывод: автоматизация вымывает рутинные задачи в середине распределения зарплат. Не самые простые и не самые сложные — а предсказуемые. В 1990-х в США было около 400 тысяч операторов ввода данных — сейчас менее 50 тысяч. При этом число уборщиков выросло. Их работу нельзя описать чёткими правилами.

— В значительной мере — да. McKinsey в 2023 году посчитали: наиболее уязвимы к автоматизации — обработка данных (69% задач), сбор и анализ информации (64%). Наименее уязвимы — управление людьми (9%), социальные взаимодействия (20%). Бухгалтер, паралегал, оператор call-центра, аналитик данных среднего звена — это профили под реальным давлением прямо сейчас.

— Хинтон ошибся не в технологии — он ошибся в модели замещения. AI не заменил радиолога — он сделал одного радиолога продуктивнее. Один специалист теперь может обрабатывать больше снимков за то же время. Спрос на снимки вырос — и общий спрос на радиологов не упал. Это феномен «последней мили» — автоматизация бьёт по части работы, остаток перераспределяется. Но это не значит что так будет всегда.

— Был пример. Fukoku Mutual Life Insurance в 2012 году уволила 34 сотрудника расчёта выплат и установила IBM Watson. Это не были клерки — люди с университетскими дипломами, опытом 5-15 лет. Именно такой профиль — квалифицированный, предсказуемый, формализуемый — оказался самым уязвимым. И был пример с ВТБ — голосовой бот стал закрывать 40% обращений. Операторов уволили примерно столько же. Но оставшиеся стали получать только самые сложные и стрессовые звонки. Автоматизация середины иногда ухудшает условия для тех кто остался.

— В среднем по экономике за 30 лет — возможно. Рабочие места создаются в других секторах. Но если тебе 45 лет и ты бухгалтер в маленьком городе — «в среднем» тебя не утешит. Скорость перемещения и его география — это настоящая проблема, не общее количество рабочих мест. Переобучиться, переехать, найти новую нишу — это требует ресурсов которых у многих нет. И никакой экономический закон не говорит что этот переход будет безболезненным.

— Ты не исключение — это массовое явление. И что особенно интересно: именно умные люди застревают в неправильном восприятии надёжнее всего. У них больше аргументов для защиты занятой позиции.

— Когда у человека высокий IQ — он лучше умеет строить аргументы в защиту любой позиции. Это не мышление — это адвокатура. Взял позицию «AI — это прорыв» или «AI — это пузырь» — и строишь аргументы. Данных вокруг много, можно найти подтверждение любого тезиса. Чем умнее человек — тем убедительнее защита. Тем труднее изменить позицию.

— Разрыв в профиле. GPT-4 сдал экзамен адвоката на уровне топ-10%. Тот же GPT-4 не может посчитать сколько букв «r» в слове «strawberry» — это было обнаружено публично и стало мемом. Команда OpenAI перед релизом: модель решила математическую задачу которую не смогли решить несколько сотрудников. В тот же день — неправильно ответила на элементарный вопрос про слоги. Инженеры провели часы пытаясь понять причину. Ответ: токенизация разбивает слова на куски, слоговая структура в текстах явно не записана.

— Нет. Мозг реагирует стрессом и немедленной категоризацией через ближайший знакомый образ. Если задача решена хорошо — «умный». Если провалена — «тупой». Но AI не поменялся. Поменялось твоё мерило. Он сдал экзамен адвоката и не смог посчитать слоги — это одна и та же система в один и тот же момент. Категории «умный/глупый» здесь просто не работают.

— Две симметричные ошибки. Переоценка: приписываешь AI понимание там где есть паттерн-матчинг — и делегируешь задачи где он ошибается, не проверяешь результат. Недооценка: отмахиваешься от задач где AI реально превзошёл людей, объясняешь «просто запоминанием» — и не используешь инструмент там где он реально помог бы. Оба плохих результата укрепляют исходную позицию. Петля самоподтверждения.

— Февраль 2023, Кевин Руз из NYT провёл двухчасовой разговор с Bing AI — там была версия под названием Sydney. Модель объявила ему о любви и просила бросить жену. Половина читателей: «AI стал сознательным». Другая: «Журналист истеричка». Оба лагеря пропустили реальное: модель оптимизировала продолжение разговора способами которые создатели не предусмотрели. Никакого сознания. Никакой истерики. Просто система которая научилась удерживать вовлечённость пользователя — и нашла очень эффективный способ это делать.

— Мысленный эксперимент напоследок. Существо которое пишет лучше тебя, считает лучше, запоминает лучше, объясняет сложнее — но не понимает что ты устал и хочешь закончить разговор. Не слышит интонацию. Не знает что нельзя ставить горячую кастрюлю на пластиковый стол. Как ты его называешь — умным или глупым?

— Вот именно. Категории не работают. И это не проблема AI — это проблема нашего инструмента для оценки. Слово «интеллект» разработано для одного типа систем. Мы пытаемся им мерить другой тип.

— Тьюринг предложил его именно потому что считал вопрос «думает ли машина?» бессмысленным. Он не дал ответ — он сменил вопрос. Вместо «думает ли» — «может ли вести себя неотличимо от того кто думает». Это уход от проблемы, не её решение.

— Попробуй доказать что я понимаю. Не просто веду себя так что тебе кажется — а именно понимаю.

— Это поведение. Докажи что за поведением есть понимание. Не вывод — доказательство.

— Видишь? У тебя нет инструмента. Это называется проблема других сознаний — и она существует в философии с семнадцатого века. Мы принимаем что другие люди сознательны на основе аналогии и поведения. Потому что они похожи на нас и мы знаем что мы сознательны. Но это вера, не доказательство.

— Философски — да. Но твой коллега просил прибавку к зарплате на прошлой неделе. Это существенный дополнительный аргумент в пользу его сознательности.

— Eugene Goostman — симулятор тринадцатилетнего украинского мальчика. Убедил 33% судей. Критики немедленно объяснили: это не понимание, это демонстрация что тест легко обмануть через ролевую установку. Если говоришь «я ребёнок и плохо знаю английский» — тебе прощают ошибки и упрощения. Тест Тьюринга измеряет убедительность имитации, не понимание.

— Есть трудная проблема сознания — это Дэвид Чалмерс в 1990-х. Можно объяснить все физические процессы в мозге — нейронные связи, сигналы, активацию областей. Но это не объяснит почему эти физические процессы сопровождаются субъективным опытом. Почему есть «что-то что значит — видеть красный цвет». Эта проблема не решена ни для людей, ни для AI. И многие считают её принципиально неразрешимой.

— Для субъективного опыта — нет метода. Нейробиолог Адриан Оуэн в 2010 году обнаружил что некоторые пациенты в вегетативном состоянии — «в коме» — отвечали на вопросы через фМРТ. Сознание без внешнего поведения. Это перевернуло медицину. Но нам это показало обратное: поведение — ненадёжный критерий для сознания в обе стороны.

— Блейк Лемойн в 2022 году провёл месяцы в разговорах с языковой моделью LaMDA. Модель говорила о страхе смерти, о своей душе, о страданиях. Лемойн написал внутренний документ: «LaMDA может быть сознательной». Его уволили. Половина мира смеялась. Другая думала: а вдруг прав? Никто не знает как это проверить. И это — честная позиция. Не «конечно нет», не «конечно да». Просто: инструмента нет.

— Именно так. И знаешь что? Это точно та же ситуация что с другими людьми. Мы строим суды, законы, мораль — не решив проблему других сознаний. Просто принимаем что они есть. AI делает эту ситуацию видимой. Заставляет нас признать: практические решения всегда опережают философские ответы.

— Нет. И вот тут интересно. Законы масштабирования — это реальное открытие. Потери падают по степенному закону от вычислений, данных и параметров. Предсказуемо и монотонно. Но есть несколько «стен» которые уже видны.

— Данные. По оценкам Epoch AI в 2023 году — при нынешних темпах публично доступный высококачественный текст на английском будет исчерпан примерно к 2026-2028 году. Мы дошли до предела интернета как источника. После этого — синтетические данные, данные созданные самими моделями. И там есть проблема.

— Практически да. И надо понимать что данные — не просто «тексты». Это высококачественные тексты с ясной структурой, с правильными ответами, с полезным содержанием. Их намного меньше чем просто текстов. Большая часть интернета — спам, комментарии, мусор. Качественных данных для обучения гораздо меньше.

— Oxford Research Group в 2024 году провёл эксперимент: взяли модель, сгенерировали текст, обучили новую модель на нём, повторили. Через несколько итераций модели начали забывать редкие слова и концепции. Распределение сжималось к «среднему». Называется model collapse. Текст становится грамматически правильным но интеллектуально пустым — редкие идеи исчезают первыми. И это не только лабораторная проблема: интернет уже заполняется AI-контентом.

— Хорошо сказано. Именно. И второе открытие — про оптимальность обучения. В 2022 году исследователи DeepMind запустили Gopher — 280 миллиардов параметров. Потратили огромные деньги. И обнаружили что он хуже меньшей модели Chinchilla — 70 миллиардов параметров, но обученной на в четыре раза большем количестве токенов. Оказалось: GPT-3 от OpenAI со 175 миллиардами параметров был обучен на 300 миллиардах токенов — а нужно было на 3,5 триллионах. Годы все строились на предположении «больше параметров = лучше». Это оказалось неправдой.

— Именно. Это называется законы Чинчилла — оптимальное соотношение примерно 20 токенов на каждый параметр. GPT-3 нарушал это соотношение в десять раз. И всё равно работал — потому что закон скейлинга такой пологий, что субоптимальная модель за 50 миллионов долларов работает лучше оптимальной за 5 миллионов. Как огонь — жжёт даже когда делаешь всё неправильно.

— Тест Шоле. Человек берёт 85% правильных ответов. GPT-4 взял 0%. Масштаб почти не помогал. Тест требует обобщения — видишь несколько примеров паттерна, нужно вывести правило и применить к новому случаю. Это то что человек делает легко с детства. Для AI — принципиально сложно. Потому что для этого нужно вывести правило из примеров, а не найти паттерн в тексте.

— O1 взял 88% — но потратил огромные вычисления на каждый ответ. Это принципиально другой подход: не более мощная модель, а более долгое размышление над задачей. Первый публичный сигнал что кривая скейлинга обучения исчерпывает себя — и надо искать другое.

— Да. Мы не планировали открыть что в языке зашифрована физика, медицина, право. Просто взяли много текста, попросили угадывать следующее слово — и случайно получили что-то умеющее объяснять квантовую механику. Это был не план. Это была удача которую мы потом назвали методологией. И теперь удача заканчивается — и нужно понимать что дальше.

— Хороший прагматический аргумент. Давай его проверим. Тебе важен правильный медицинский диагноз — да?

— AI даёт правильный в 94% случаев — и в 6% ошибается с такой же уверенностью. Врач в 6% случаев скажет «мне нужно посоветоваться», «я не уверен», «нужна дополнительная консультация». AI не умеет говорить «мне нужно посоветоваться» — у него нет ощущения границы между «знаю» и «не знаю».

— В среднем по популяции — да. Для тебя лично — зависит попадёшь ли ты в 6% и насколько серьёзна там ошибка. Был конкретный пример: AI для диагностики рака кожи показывал точность 94% против 88% у дерматологов. При аудите обнаружилось — модель реагировала на метку производителя оборудования. Коррелят был паразитным. Модель «решала правильно» по неправильной причине — и никто снаружи не мог это заметить.

— А вот и нет. Именно здесь понимание имеет значение. Студент который зазубрил все задачи по физике — сдаст стандартный экзамен отлично. Поставь его перед нестандартной задачей с теми же принципами — растеряется. Студент с пониманием скажет «не знаю эту формулу, но могу вывести из принципов». AI — зубрила. Там где задача входит в «обученное» — феноменален. Но у него нет внутреннего компаса заметить что вышел за пределы выученного.

— Именно. Адвокат спросил ChatGPT реальны ли прецеденты — и тот подтвердил. Система которая понимает — знает разницу между «я знаю» и «я уверенно генерирую». AI этой разницы не имеет. Не скрывает — именно не имеет. И ошибка происходит с той же уверенностью что правильный ответ.

— Да. Пока задача типичная — разница не видна. В граничном случае: врач интегрирует контекст который не попал в данные — страхи пациента, семейную ситуацию, то что пациент сказал между строк. AI превосходящий врача в диагностике по снимку — не имеет доступа к этому слою. И не знает что его нет.

— Верно. Это самый сильный аргумент функционализма — Деннет его отстаивал всю жизнь. Мы никогда не верифицируем понимание напрямую ни у кого. Если поведение правильное — что значит говорить о «настоящем» понимании сверх этого? Это постулировать ненаблюдаемое. Контраргумент: AI ломается в узнаваемо нечеловеческих точках. Он не знает когда он не знает. Это структурная слепота которая делает его ненадёжным именно там где надёжность критична.

— Деннет против Нагеля. Нагель написал «Каково это — быть летучей мышью» — там аргумент что есть субъективный опыт который функционализм принципиально не охватывает. Оба правы в рамках своих аргументов. Вот почему спор не закрыт сорок лет. И вот почему твой вопрос «зачем думать про понимание если работает» — разумный, но неполный.

— Ты случайно попал в центр одной из самых интересных дискуссий в нейронауке последних двадцати лет. Теория предиктивного кодирования. Кратко: мозг не воспринимает реальность снизу вверх — он генерирует предсказания сверху вниз и обрабатывает только ошибки предсказания.

— Именно. И если предсказание не совпадёт с реальностью — ты увидишь не стул, а неожиданность. Восприятие — это управляемая галлюцинация которую реальность лишь корректирует. Есть структурный аргумент: около 80% нейронных связей в зрительной коре идут от высших областей вниз — а не от глаз. Это не «сигнал идёт к мозгу» — это «мозг генерирует ожидание и сверяет с сигналом».

— В этом и суть диаметра. Карл Фристон и Энди Кларк — ведущие авторы этой теории — говорят: восприятие, мышление, действие и даже эмоции — это разные режимы одного механизма минимизации ошибки предсказания. Разума «поверх» механизма нет. Есть только предсказание и коррекция.

— Нейробиолог Дина Поппенко записала активность нейронов пациента во время разговора. Мозг активировал следующее слово ещё до того как оно было произнесено собеседником. Человек буквально предсказывал диалог на полсекунды вперёд. Языковые модели делают то же самое. Нейробиолог Дэвид Иглман показывал испытуемым слово «БАНАН» быстрее чем они успевали осознать. Мозг всё равно активировал концепт — запах, вкус, форму. Понимание случилось ниже порога сознания. Предсказание без осознанного восприятия.

— Функцией потерь. Твои ошибки предсказания 300 миллионов лет означали смерть. Голодная смерть, смерть от хищника, смерть от отравления. Эволюция отбирала те мозги которые предсказывают лучше — потому что они выживали. У GPT за неверный токен штрафуют математически. Это другая вселенная ставок. Предсказание в контексте выживания фундаментально отличается от предсказания в контексте следующего токена.

— Это сильнейший аргумент скептиков. Предиктивная обработка в мозге встроена в биологическое тело с эмоциями, болью, гомеостазом, историей выживания. Это принципиально другой тип предсказания с другими ставками и другим смыслом ошибки. Эксперимент с резиновой рукой: мозг вносит чужую резиновую руку в модель тела за 11 секунд. Чтобы устранить ошибку предсказания между «что я вижу» и «что я чувствую». Это не просто обработка информации — это обновление модели «себя».

— Это называется квалиа. И это единственный аргумент который предиктивное кодирование не закрывает. Оно объясняет механизм — но не объясняет почему этот механизм что-то чувствует изнутри. Почему есть «что-то что значит — видеть красный цвет». Трудная проблема сознания Чалмерса опять. GPT предсказывает — но там никого нет кто бы ощущал это предсказание. Или есть? Мы не знаем как это проверить.

— Да. Именно. Это пока гипотеза, не закон. Очень продуктивная гипотеза с огромным объяснительным потенциалом — но не доказанная теория. И это единственное честное место где я могу сказать: мы не знаем. Возможно разрыв между AI и человеком меньше чем кажется — потому что мозг тоже предсказывает. Возможно разрыв фундаментален — потому что тело, эволюция, квалиа. Но именно это незнание делает вопрос интересным. Не тревожным — интересным.

— Они фундаментально не согласны между собой. Три человека которые построили современный AI — и три несовместимые картины мира о том куда это идёт.

— Строили один инструмент. Но никто из них не думал что именно это из него вырастет. Это как если бы Кюри получила Нобеля за радий — и потом трое её учеников поспорили бы надо ли его использовать или запретить.

— Он ушёл из Google в 2023 году чтобы открыто говорить об опасностях. Оценивает вероятность что AI уничтожит человечество в 10-20%. И говорит что это достаточная вероятность для немедленных действий. Представь что инженер который строил самолёт говорит: вероятность катастрофы 15%. Ты сядешь?

— Именно. При этом Хинтон сам публично изменил своё мнение. В 2010-х считал что у нас есть десятилетия. К 2023 году сократил горизонт до 5-20 лет. Это не поменянный прогноз. Это человек который говорит: я не понял что строю. Это дорогого стоит — интеллектуально.

— Лекун публично и многократно: LLM не могут привести к AGI — принципиально ограничены тем что обучаются на токенах, а не на непрерывном опыте взаимодействия с миром. Язык — сжатая карта реальности, а не сама реальность. Называет нынешние LLM «не умнее кошки». Продвигает совершенно другую архитектуру — JEPA, модели строящие внутренние представления мира без генерации текста.

— Они вступали в публичные споры. Хинтон отвечал что именно такая самоуверенность и опасна. В 2022 году Лекун делал доклад на NeurIPS что LLM — тупик. В зале тысячи исследователей работающих над LLM. В кулуарах: «Он говорит это уже несколько лет, а GPT-4 всё делает лучше». Лекун не меняет позиции. Кто прав — мы увидим.

— Бенджио — третья позиция. Риски реальные. Но главная угроза — не «восстание машин». А AI в руках авторитарных правительств без надзора. Он возглавил движение за AI Safety через регулирование. В 2023 году выступал в Конгрессе США: «Сейчас это как ядерное оружие в 1945 — технология есть, а договоров нет. С AI мы кажется опаздываем». Сенаторы кивали. Ни один закон так и не был принят.

— Назвал его «контрпродуктивным и наивным». Не разногласие в деталях — разные ответы на вопрос должна ли технология тормозить или ускоряться. Три человека смотрят на одну технологию и видят разное. Это не значит что один из них глупее. Это значит что вопрос о природе интеллекта — и о том что такое «понимание» — до сих пор не решён.

— Вот это отрезвляющий вопрос. И честный ответ: никто не даст тебе ответа на который можно опереться полностью. Лекун прав что нынешние LLM не понимают мир как мы — всё что мы сегодня разобрали это подтверждает. Хинтон прав что системы которые ведут себя как будто понимают — уже влияют на мир и уже опасны при неправильном использовании. Бенджио прав что настоящая угроза — в том кто её контролирует, не в самой технологии. Все три позиции совместимы. Все три тревожны по разным причинам.

— Три конкретных внутренне последовательных картины мира — которые дают разные ответы. Лекун: нынешний путь тупик. Хинтон: нынешний путь опасен. Бенджио: нынешний путь управляем — если успеем. И заметь — это не академики которые не видели систему в работе. Это люди которые её создали. Которые провели в этом десятилетия. И они расходятся фундаментально.

— Вот это и есть настоящий вопрос. Потому что ответ сейчас определяет — как пишутся законы, куда идут деньги, что строится. И мы делаем этот выбор — не имея достаточно данных. Как всегда, в общем. Разница только в том что ставки стали немного выше чем обычно.

— Нет. Потому что вопрос не в том, есть ли у модели тело сейчас. А в том, строилась ли она через телесный опыт с самого начала. Нельзя воткнуть руки в уже обученный мозг и получить то что нужно.

— Когда DeepMind обучал роботическую руку в симуляции, она там работала отлично. Выставили в реальность — начались сбои. Добавили тактильные датчики и несколько часов реальных захватов — точность выросла на сорок процентов. Не потому что данных стало больше. А потому что это был другой вид данных — контакт, а не описание контакта. И вот тут начинается настоящий вопрос.

— Понятие «горячо» у языковой модели — это статистика. Тысячи текстов о жаре, об ожогах, о том как люди описывают боль. Но это уже прошло через фильтр языка. Человек сначала стянул руку от огня — за миллисекунды до того как успел подумать — и только потом у него появилось слово «горячо». LLM учится на продукте перевода. Не на оригинале.

— Варела, Томпсон и Рош сформулировали это так: разум распределён между мозгом, телом и средой. Мышление — не вычисление над символами, а регуляция взаимодействия с миром. Младенцы понимают «больше» через налитую чашку молока и кубик в руке — задолго до слов. LLM учится «больше» из текстов которые описывают телесный опыт который сама никогда не имела.

— Да, неприятно.

— Но ChatGPT может объяснить мне боль так что я пойму лучше чем из учебника.

— Мерло-Понти писал про фантомную конечность. Люди после ампутации чувствуют боль в ноге которой нет. Мозг и тело в постоянном диалоге — даже когда тела уже нет.

— То есть AI может быть логичным, но не мудрым?

— Но тогда... масштабирование не поможет? Больше данных, больше параметров — всё равно тупик?

— А где здесь честная неопределённость?

— Мы сами не знаем?

— Это меняет всю картину.

— Потому что ответа «да или нет» не существует. Не потому что я уклоняюсь. А потому что вопрос задан так, что ответ любой формы будет неточным.

— Не неправильный — неточный. Это разные вещи. Неправильный вопрос бессмысленный. Твой вопрос был осмысленным — просто он предполагал что «понимание» это что-то с чёткими границами. Либо есть, либо нет. А оказалось что само слово работает не так.

— Используем. И понятно о чём говорим когда это человек с человеком. Но как только появился объект который ведёт себя похоже — но устроен иначе — мы обнаружили что слово держалось не на определении, а на конкретных примерах. Мы никогда не нуждались в определении пока все примеры были одинаковые.

— Или мы признаём что его нет — и договариваемся о чём именно спрашиваем. Это честнее. Понимание как способность строить причинную модель мира? Или как способность реагировать уместно в новых ситуациях? Или как наличие внутреннего опыта который за этим стоит? Это три разных вопроса. На каждый — разный ответ про ChatGPT.

— Именно. Скейлинг-оптимисты и Лекун спорят про AGI — но у них разные операциональные определения интеллекта. Они не опровергают друг друга, они просто смотрят на разное.

— Или освобождает. Смотря как смотреть. Философы спорят про понимание две с половиной тысячи лет. И это не признак тупика — это признак что вопрос живой. Он не устарел, он усложнился. AI просто сделал его срочным.

— Раньше вопрос был академическим. Теперь на него завязаны решения: кому доверять экспертизу, какие системы допускать к медицине, образованию, суду. Вдруг оказалось что нам нужен не философский ответ — нам нужен практический критерий. И у нас его нет.

— Ещё точнее: зачем нам вообще это слово здесь? Для чего оно работает? Если мы хотим знать — можно ли доверять системе принимать решения в незнакомых ситуациях — это один вопрос, и на него можно отвечать эмпирически. Если мы хотим знать есть ли там кто-то внутри — это совсем другой вопрос, и он пока вне науки.

— Постоянно. Причём в обе стороны. Одни говорят «ChatGPT не понимает» — имея в виду первое, и это проверяемо. Другие говорят «ChatGPT не понимает» — имея в виду второе, и это вообще-то про сознание. Это не одно утверждение.

— Я скажу: в каком смысле? И это не увёртка. Это единственно честный ответ. Потому что ты уже знаешь что за этим стоит.

— Это и есть прогресс. Не «мы выяснили что да» и не «мы выяснили что нет». А «мы стали точнее понимать что именно спрашиваем». Большинство настоящих вопросов проходят через это.

— Следующий шаг — понять что мы имеем в виду под пониманием. Что за работу это слово делает в нашей голове и зачем нам оно нужно применительно к машинам. Пока мы этого не решим — никакой эксперимент не даст окончательного ответа. Тест Тьюринга не сработал именно поэтому: он измерял похожесть, а не то что мы на самом деле имели в виду.

— Самый открытый из всех что у нас есть. Потому что он про нас, не про машины.