От Тьюринга до ChatGPT: История вычислений

— Вот тут самое интересное начинается, потому что кажется — понятно, а на самом деле всё перевёрнуто. Тьюринг не сидел и не мечтал о думающей машине. Он решал чисто абстрактную задачу из математической логики: «существует ли механический способ решить любую задачу?» И ответ его был: нет, не существует. Компьютер у него выпал как побочный продукт доказательства невозможности. Он не изобретал орудие — он чертил границу.

— Именно. Чтобы сказать «вот это машина не может», ему сначала пришлось абсолютно точно сказать «вот что такое машина». И второе оказалось важнее первого.

— Лента в клеточках и головка, которая читает один значок, пишет один значок и ездит влево-вправо. Всё. Никакого экрана, никакой памяти в нашем понимании. Только три действия: смотреть, писать, двигаться.

— Это скелет любого компьютера, который когда-либо существовал. ChatGPT внутри — это очень-очень быстрая такая головка с лентой. И ещё одна вещь, которую Тьюринг придумал и которая перевернула всё: универсальная машина. Одна-единственная машина, которой можно скормить описание любой другой — и она прикинется ею. Это идея программируемого компьютера: одно железо плюс сменная программа. До этого «машина» — это одно устройство под одну задачу. Ткацкий станок ткёт, счётная машина считает. Тьюринг придумал машину, которая умеет прикидываться любой другой.

— Это и есть идея программы. Что инструкция — это просто данные на той же ленте. Вот тут и родился настоящий компьютер, а не там, где первый транзистор запаяли.

— Проблема остановки. Нельзя написать программу, которая для любой другой программы и её входных данных заранее скажет: эта остановится или зациклится навсегда. Не «трудно написать» и не «пока не придумали» — доказано невозможным навсегда, как вечный двигатель.

— Нет, там хитрее. Предположи, что такая программа-предсказатель существует. Тогда построй вредную машину, которая спрашивает предсказатель про саму себя и делает наоборот: если предсказатель говорит «остановишься» — она зацикливается, если «зациклишься» — останавливается. Получается парадокс лжеца в виде кода. Предсказатель не может ответить ни так ни эдак. Значит, его не может существовать.

— Буквально. Из проблемы остановки следует: нельзя написать программу, которая до конца проверит любую другую на зависания и целый класс ошибок. «Программы всегда будут глючить» — это не лень программистов. Это теорема, которую аспирант доказал до того, как появился хоть один компьютер.

— Двадцать четыре. Он отвечал на абстрактный вопрос логики — а ответ стал чертежом всей индустрии. Вот тут-то и начинается самое интересное: граница, которую он нарисовал, оказалась самой точной картой территории. Он описывал предел — и получил определение.

— Вот тут интересно: ты думаешь, что сначала была электроника, а потом под неё подогнали логику. А всё ровно наоборот. Логика была готова за сто лет до первого транзистора.

— Джордж Буль написал «Законы мышления» в 1854 году. Он превращал человеческое рассуждение в алгебру: истина — это единица, ложь — ноль, а слова «и», «или», «не» — это операции. Восемьдесят лет это считалось красивой, но совершенно бесполезной философией. А потом появился двадцатиоднолетний студент MIT по имени Клод Шеннон.

— Он подрабатывал с телефонными реле — такими щёлкающими переключателями, открыто или закрыто. И вспомнил странную алгебру Буля с курса философии. Озарение было простое: реле открыто — это единица, закрыто — ноль. «И», «ИЛИ», «НЕ» из алгебры Буля — это рисунок из реле. Он написал об этом магистерскую диссертацию в 1937 году. Её называют, возможно, самой влиятельной магистерской работой в истории.

— Именно. Логика ждала тело. А тело нашлось в электричестве. Возьми два выключателя на одной проводке, друг за другом: лампа загорится, только если включены оба. Ты только что собрал логическое «И». Два выключателя на параллельных проводах: достаточно включить любой — это «ИЛИ». А «НЕ» — выключатель наоборот, жмёшь — он закрывается. Весь компьютер — это эти выключатели, просто их миллиарды и щёлкают они сами.

— Хитрость: заворачиваешь выход вентиля обратно ему на вход. Получается петля, которая бесконечно подтверждает сама себе своё состояние. Ноль остаётся нулём, единица остаётся единицей — пока не придёт внешний сигнал и не перепишет.

— Буквально. Память — это не специальная деталь. Это та же логика, завёрнутая в петлю. И самое странное: из одного-единственного типа вентиля — НЕ-И, или NAND — можно собрать вообще всё. Любую логику, любую память, любой процессор.

— Из одного кирпича. Дальше только вопрос, сколько их и как сложены. Но тут есть подвох, о котором не любят говорить. Транзистор — не идеальный «ноль или единица». На наномасштабе электроны утекают сквозь закрытый ключ — квантовое туннелирование. Бит иногда переворачивается сам от тепла. Вся инженерия в том, чтобы заставить дрожащий, шумный, квантовый мир притворяться чистыми нулями и единицами. И чем меньше транзистор, тем труднее эта ложь держится.

— В самом низу — да, гора одинаковых тупых переключателей. Буль умер в 1864-м, промокнув под дождём, так и не узнав, что заложил фундамент каждого компьютера на планете. А где тогда ум? Не в кирпиче. В том, сколько их и как они сложены. Это важно держать в голове — потому что дальше начнётся история о том, как именно люди пытались сложить из этих кирпичей что-то похожее на мысль.

— Летом 1956 года в Дартмуте собралась горстка людей. Маккарти придумал само слово «artificial intelligence». И в заявке они написали буквально: команда из десяти человек за два месяца сможет существенно продвинуться в создании машины, которая использует язык, формирует абстракции и решает задачи. Это был реальный график, не шутка.

— За два месяца. И у них были основания для такой уверенности — в том-то и дело. Уже в 1956 году программа Logic Theorist доказала 38 из 52 теорем из «Principia Mathematica» Рассела и Уайтхеда. А одну доказала короче и изящнее, чем сами авторы. Саймон объявил студентам, что они с Ньюэллом изобрели думающую машину. Это была не наивность — это была обоснованная эйфория.

— У них была ошибочная теория того, что такое мышление. Их кредо звучало так: думать — значит переставлять символы по правилам. Компьютер переставляет символы идеально. Значит, осталось только записать правильные правила — и разум соберётся сам.

— Вот представь: ты решил научить иностранца ходить и написал инструкцию. Согни колено на тридцать градусов. Перенеси центр тяжести вперёд на двенадцать сантиметров. Выпрями голеностоп. Ты честно расписал всё, что делает нога. Человек читает — и не может сделать ни шага. Потому что ходьба никогда не была списком правил. Ты просто никогда не замечал, как именно ходишь.

— Именно. Майкл Полани сформулировал это ещё в 1958-м: «мы знаем больше, чем можем рассказать». Велосипедист не может объяснить, как держит равновесие, — но держит. Первые программисты пытались превратить в явные правила то, что у людей вообще не существует в форме правил.

— В этом и ловушка. Они выбрали шахматы и доказательство теорем как «вершину ума». А оказалось, что трудное для машины — это не теоремы. Трудное — это узнать мамино лицо или поднять чашку. То, что умеет годовалый ребёнок, машине не давалось десятилетиями.

— Это называют парадоксом Моравека. Всё перевёрнуто: задачи, требующие университетского образования, — лёгкие для машины. То, что умеет ребёнок, — чудовищно трудное. Потому что то, чему учились годами, стало явным и формальным. А то, что знаем с рождения, — невидимое, неформализованное.

— Один пытался. В 1965 году философ Дрейфус написал для RAND доклад, где сказал: вся затея похожа на алхимию. Его возненавидело всё сообщество. С ним отказывались обедать в столовой MIT. А потом его прогнозы про «вещи, которые машины не смогут делать», начали сбываться один за другим.

— Именно так. Logic Theorist работал — и это убедило их, что метод верный. А метод работал только там, где мир был формальным и чётким. Всё остальное лежало ниже правил. Один человек потом даже попытался записать весь здравый смысл вручную: за сорок лет вбили миллионы утверждений — что вода мокрая, что мёртвые не оживают. Разум так и не появился. Это и есть доказательство: здравый смысл не складывается из правил.

— Обещания были уже розданы, деньги пошли, позиции заняты. Но главное — они не видели стену, пока в неё не врезались. В 1969 году Минский и Пейперт взяли лист бумаги и доказали математически: однослойный перцептрон не может вычислить функцию XOR. Простейшую операцию «либо то, либо это, но не оба сразу».

— «Либо свет горит, либо кофе горячий, но не то и другое разом». Пятилетка понимает без объяснений. А однослойная нейросеть — нет, в принципе, независимо от мощности компьютера. И это не «пока не может» — это доказано невозможным навсегда.

— Карандашом и финансированием. Через два года финансирование нейросетей в США почти иссякло. Первая AI-зима.

— Да. Способ был известен идейно уже тогда: добавить слои. Многослойная сеть XOR решает без проблем. Но не было алгоритма, который обучал бы скрытые слои. Этот алгоритм нашли только через семнадцать лет. Семнадцать лет простоя из-за одной недостающей идеи — и из-за того, что обиженное поле никто не финансировал.

— Вторая — противоположная крайность. Решили: раз одной формулой не вышло, давайте запишем все правила вручную. Экспертные системы. Если симптом высокой температуры и кашель — значит грипп. Тысячи таких «если-то». Система MYCIN диагностировала инфекции крови лучше младших врачей. Система XCON компании DEC экономила фирме двадцать пять миллионов долларов в год.

— Первые годы — да. Потом правил стало шесть тысяч. Каждое вписано человеком вручную. Любое новое правило ломало три старых. Кормить эту штуку стало дороже, чем держать живых инженеров, которых она заменила. И вот главное: за пределами своих правил она не ошибалась осторожно — она выдавала уверенную чушь. Система не знала, чего она не знает.

— Именно. И снова не железо виновато. Им дали сколько угодно железа — целые компьютеры специально под AI строили. Не помогло. Знания приходилось вкладывать руками, по правилу за раз. Это не масштабируется в принципе.

— Обе зимы убили теорию разума. Каждый раз умирала идея о том, как устроено мышление, а не вычислительные ресурсы. Но тут есть честная вилка. Ведь нейросети в итоге ожили — и их реабилитировал не новый прорыв мысли, а в первую очередь GPU и горы данных. То есть, возможно, концепция была верной всё время — просто ждала ресурсов.

— Вот тут честно никто до сих пор не знает. Может, граница между «неправильно» и «преждевременно» вообще нельзя провести чётко. Но есть жутковатый вывод из этой истории: ажиотаж вокруг ChatGPT структурно похож на ажиотаж вокруг экспертных систем в 1985-м. Те же миллиарды, те же обещания, та же вера в одну архитектуру. Если у больших языковых моделей есть свой невидимый барьер — история намекает, что мы его не видим, пока не врежемся.

— Тут все думают, что был какой-то гениальный прорыв — новая великая идея, озарение. На самом деле почти всё ключевое уже существовало к концу восьмидесятых. Backpropagation — алгоритм обучения нейросетей — его математическое ядро знали с семидесятых, а Пол Вербос применил к нейросетям в диссертации 1974 года.

— Диссертация пролежала незамеченной двенадцать лет. Затем в 1986-м Румельхарт, Хинтон и Уильямс опубликовали его в Nature — и мир заметил. Та же идея: один раз умерла в архиве, другой раз изменила всё. Разница не в идее — в том, кто, когда и насколько громко её произнёс.

— Ян Лекун в 1989-м уже обучил сеть читать рукописные цифры. Американские банки реально читали ею суммы на чеках — деньги приносило. Но дальше маленьких чёрно-белых картинок не масштабировалось. И про неё почти забыли на десять лет.

— Три скучные вещи разом. Первое: гора размеченных данных. Фей-Фей Ли с командой собрала четырнадцать миллионов картинок, размеченных тысячами людей через Amazon Mechanical Turk. Годами ей не давали грант: коллеги считали, что собирать данные — это не наука. Второе: дешёвые видеокарты. Создавали для игр — перемножать матрицы при рендеринге и при обучении нейросети математически почти одно и то же. Индустрия игр двадцать лет невольно строила идеальное железо для AI, не зная об этом. Третье: пара инженерных трюков на три строчки кода.

— ReLU — функция, которая просто обнуляет отрицательные числа. Решила проблему, из-за которой глубокие сети раньше переставали учиться. И dropout — во время обучения случайно «выключать» часть нейронов, чтобы сеть не зубрила, а обобщала. Ни то ни другое не требует новой математики. Это инженерные находки.

— Точно. Правильный рецепт был ещё в восьмидесятых — не хватало печи, муки и пары приправ. В 2012 году всё появилось разом: сеть AlexNet на соревновании ImageNet дала ошибку в шестнадцать процентов, тогда как лучший классический метод давал двадцать шесть. Разрыв в десять процентных пунктов за один год. Всё поле компьютерного зрения за полтора года переключилось на нейросети.

— Вот тут честный спор, который не закрыт. Мы до сих пор не знаем точно, почему глубокие сети так хорошо обобщают, а не просто зубрят. Теория отстаёт от практики. Сети работают лучше, чем объясняет любая существующая теория, — и это бесит математиков. Победила грубая сила? Или просто правильная идея наконец получила нужные условия? И никто не может провести чёткую границу.

— Был такой инженер в IBM — Фредерик Елинек. Он руководил распознаванием речи и сформулировал фразу, за которую его до сих пор ненавидят лингвисты: «Каждый раз, когда я увольняю лингвиста, качество распознавания речи растёт».

— Дикость. И при этом он был прав. Машине не нужно объяснять, как устроен язык. Ей нужно дать его увидеть много раз. В 2001 году исследователи Microsoft показали: разные алгоритмы на маленьких данных ведут себя по-разному, один явно «умнее» другого. Но на гигантском объёме данных все они сходятся в почти одну линию и продолжают улучшаться. Умный алгоритм на тысяче примеров проигрывает тупому алгоритму на миллионе.

— Вообще. Ни слова о подлежащем, ни слова о падежах. Он просто видел миллионы документов ООН и Евросоюза, переведённых людьми, и заметил: вот эта английская фраза обычно стоит рядом вот с этой французской. Всё. Никаких правил — только совпадения в огромном масштабе. И он работает лучше, чем системы с встроенной грамматикой.

— Вот это и есть честный дискомфорт, который многие чувствуют. Есть эссе, которое называется «Горький урок» — написал его один из отцов всей этой области. Горьким он назвал его потому, что вывод обидный: семьдесят лет умные люди вкладывали в машину свои знания о мире. И каждый раз проигрывали тупому методу, которому просто дали больше данных и вычислений. Их ум оказывался лишним. Это тяжело принять.

— И больше денег на железо. Поэтому AI делают не университеты — у университетов нет ни пользователей, ни серверов. А данные эти, между прочим, написали мы с тобой. Каждый пост, каждый отзыв, каждый вопрос на форуме — это был корм. Бесплатный труд миллиардов людей стал сырьём, на котором обучены модели, которые теперь продают обратно этим же людям.

— Неудобно. И есть ещё одна засада: хорошего человеческого текста в интернете конечное количество. Возможно, его уже почти весь скормили. Что дальше питает эти машины — вопрос без ответа. Одни говорят: продолжай лить данных, и само дойдёт до настоящего понимания. Другие: это просто гигантская таблица угадываний, она не понимает причин, она врёт с уверенным лицом, и стену не пробьёт. Кто прав — если бы кто-то знал, он был бы самым богатым человеком на планете.

— В 2017 году Google публикует статью «Attention Is All You Need» — «Внимание — это всё, что нужно». Авторы назвали её так полушутя: отсылка к песне Битлз. Сами они правили текст буквально до дедлайна конференции. Никто из восьми авторов тогда не предполагал, что только что назвал главную архитектуру десятилетия.

— Раньше модели читали текст слово за словом, слева направо. К концу длинной фразы забывали начало — как человек, пересказывающий чужой рассказ по памяти через час. Механизм внимания кладёт всё предложение на стол сразу. Для каждого слова проводит ниточки ко всем остальным: к каким словам оно относится, от каких зависит.

— Главное даже не в этом. Раз порядок чтения больше не нужен, всё можно считать одновременно. А значит — можно бросить на задачу тысячи видеокарт сразу. Не идея победила — параллельность. И когда можно параллельно, начинает работать закон масштабирования: больше данных и параметров — меньше ошибок. И способности, которых никто не закладывал, появляются сами.

— GPT-1 — сто миллионов параметров. GPT-3 через два года — сто семьдесят пять миллиардов. Рост в полторы тысячи раз. Архитектура почти не менялась — только размер. И маленькая модель не умеет складывать трёхзначные числа, средняя не умеет — а большая вдруг умеет. Способность не нарастает плавно, она щёлкает, как выключатель. Никто заранее не знал, когда и что включится.

— Именно. Создатели не закладывали эти способности. Более того — когда вышел GPT-3 в 2020-м, он уже умел почти всё, что умеет ChatGPT. Но никто за пределами разработчиков об этом не знал. Потому что сырой GPT-3 не отвечал на вопросы — он продолжал текст. Спросишь столицу Франции — а он продолжит список похожих вопросов. В интернете-то вопросы идут списками.

— Точно. Недостающее звено — это люди. Разметчики часами читали ответы модели и ставили в порядке: этот лучше, этот хуже. На этих оценках дрессировали саму модель. И модель в сто с лишним раз меньше, но «выровненная», стала нравиться людям больше огромной невыровненной.

— Да. Интеллект ей дал масштаб, а характер — живые люди, оценка за оценкой. ChatGPT запустили 30 ноября 2022-го как «низкоключевой исследовательский превью». Внутри никто не ждал бури. Миллион пользователей за пять дней. Сто миллионов за два месяца. Прорыв был не в мозгах модели — в том, что её наконец завернули в простое окошко чата, куда можно написать.

— Произошло ровно наоборот по логике. Мы доказали, что можно делать всю работу мышления, ничего не доказав про само мышление. Самолёт летает лучше орла — но он не объяснил, как летает орёл. Он просто сделал орла необязательным, чтобы добраться из Москвы в Токио.

— Тьюринг как раз отказался говорить про разум. Он прямо написал в 1950 году: вопрос «может ли машина мыслить» — слишком бессмысленный, чтобы его обсуждать. И заменил его игрой в имитацию: сможет ли судья по переписке отличить машину от человека. Отец темы первым сбежал от главного вопроса.

— Вот тут засада. Его нельзя доказать. У него нет математической формулировки, потому что «эффективная процедура» и «то, что человек может посчитать в принципе» — интуитивные понятия. Это гипотеза о соответствии формального и неформального. Девяносто лет её не опровергли — но доказать в строгом смысле нельзя. Она навсегда наполовину философия. А люди тащат её в спор про сознание так, будто это теорема.

— Сёрл в 1980 году. Человек сидит в комнате, не знает китайского ни слова. Ему просовывают вопросы иероглифами, у него толстая книга правил: на такой иероглиф — ответь таким. Он выдаёт идеальные ответы. Снаружи кажется — понимает китайский. Внутри — ноль понимания, только перекладывание символов. ChatGPT и есть эта комната в железе. Дуалист говорит: «вот я же предупреждал». Физикалист отвечает: «понимание — это свойство всей системы, комнаты плюс книги, а не человечка внутри». И за сорок пять лет этот аргумент не похоронен и не доказан.

— Вот тут я честно не успокою. Есть кое-что, что мне кажется важнее самого вопроса. Заметил странную вещь? Каждый раз, когда машина осваивает что-то «человеческое» — шахматы, перевод, разговор — мы тут же говорим: «ну это не настоящее мышление». Шахматы — это просто перебор. Перевод — просто статистика. Разговор — просто предсказание следующего слова.

— Получается, да. Мы семьдесят лет строили искусственный разум — и в процессе выяснили, что не знаем, что такое разум вообще. Машина оказалась не мыслью, а зеркалом. Тьюринг предсказал хитрее всех: к концу века, сказал он, язык просто изменится, и люди будут говорить «машина думает», не ожидая возражений. Спор не выиграют — его переименуют. Мы привыкнем — и решим, что разобрались.

— Это классический довод. Идеи «висят в воздухе» — убери одного человека, придёт другой. Backpropagation переоткрывали четыре раза с шестидесятых по восьмидесятые. Достаточно убедительно.

— Подожди. Ты только что назвал мне примеры, которые случились. А где список идей, которые висели в воздухе — и так и не упали, потому что нужный человек умер, или ему не дали грант, или он устал и ушёл в банк? Этого списка нет ни у кого. Мы помним только победителей.

— Всплывали. Но посмотри на конкретные детали. Хинтон, Бенжио и Лекун три десятилетия продолжали нейросети почти в одиночку — через две зимы, когда финансирование иссякло и карьеру на нейросетях строить считалось самоубийством. Если бы они сдались — а у них были все причины сдаться — провал мог затянуться ещё на десятилетие. Упорство конкретных людей вопреки консенсусу. Это сильнейший довод против «всё неизбежно».

— Государство, которому он выиграл войну, взломав «Энигму», в 1952-м осудило его за гомосексуальность. Химическая кастрация. В 1954-м он умер от цианида в сорок один год. Фундамент всей computer science — стёрт государством. Где тут неизбежность прогресса?

— Идея выжила. А сколько идей не выжило вместе со своими авторами — мы никогда не узнаем.

— Вот что мне кажется честным ответом. Что машины научатся вычислять как мозг — возможно, неизбежно, на это давит сама структура задачи. А вот что именно это будет трансформер, в 2022-м, в виде болтливого чат-бота с характером — это лотерея. В соседней вселенной первый прорыв мог прийти как безличный научный инструмент без всякого «я». И тогда весь сегодняшний спор про сознание ИИ, про привязанность к нему — просто не родился бы. Мы спорим о морали ИИ, обсуждая по сути дизайнерское решение одной лаборатории, как будто это закон природы.

— Доказать можно только одним способом — прожив. А прожить можно только один раз. Закон Мура держался полвека не потому что это физика — индустрия просто договорилась его выполнять и подгоняла под него планирование. Самосбывающаяся неизбежность. Иногда «неизбежное» — это коллективный самообман, который работает, пока в него верят. Русло объявляют судьбой только после того, как по нему уже потекло.

— Вот в чём фокус: физикалист и дуалист смотрят на один и тот же работающий ChatGPT — и оба говорят «ну вот, я же был прав».

— Они и не правы оба. Просто машина стала чернильным пятном в тесте Роршаха. Физикалист видит: разум — это то, что делает достаточно сложная обработка информации. ChatGPT показывает, что для языка, рассуждения, творчества не нужна никакая нематериальная искра — значит, и в нас её нет, мы такие же машины из мяса. Дуалист видит то же самое и говорит: ChatGPT делает ровно то, что я и предсказывал — имитирует понимание без понимания. Между «обрабатывать символы» и «иметь в виду» лежит пропасть, которую вычисление не перепрыгивает.

— Тьюринг придумал тест, чтобы сбежать от вопроса «думает ли». А ChatGPT тест прошёл — и все хором: «да, но понимает ли по-настоящему?». Тест пройден и никого не убедил. Тьюринг проиграл, выиграв.

— Он описал ChatGPT в 1980-м, за сорок два года до. И зал разделился ровно пополам, как тогда. Физикалисты говорят: «понимает вся система, а не человечек внутри». Дуалисты: «нет там никакого понимания — есть текст без хозяина». Аргументы те же, спор живой.

— Один видит в этом улику: «нет понимания — есть текст, похожий на правду, нет того, для кого правда важна». Другой пожимает плечами: «так и человек конфабулирует, мозг достраивает реальность». Один и тот же глюк — два противоположных вывода.

— В том и ужас: настоящее понимание и идеальная имитация понимания наблюдаемо одинаковы. Различить нечем. Любой тест проверяет поведение. А спор — про то, есть ли что-то за поведением. Это будет не открытие, а решение — относиться к нему как к кому-то или как к чему-то. Как когда-то расширяли круг тех, чья боль считается.

— Один из отцов GPT сказал публично: возможно, оно «слегка сознательно». Над ним смеялись коллеги, которые знают машину так же глубоко. Видят одни и те же веса — заключают противоположное. Если уж конструкторы расходятся диаметрально, это не про недостаток данных.

— Уверен? Если настоящее понимание и идеальная имитация понимания наблюдаемо неразличимы... то как ты это доказал про себя? ChatGPT задал вопрос не про свой разум. Про твой.

— В том и фокус. Они написали не модель, а рецепт обучения. Задали правила, по которым сеть сама себя настроила. А потом получили сто семьдесят пять миллиардов чисел, которые работают — и ни один человек на Земле не может ткнуть в строку и сказать «вот здесь она решает, что Париж — это столица Франции». Там нет функций с именами, нет комментариев, нет логики, которую можно проследить глазами.

— Именно. Ты не рисовал каждый листок — ты создал условия, и оно выросло. Только тут выросло сто семьдесят пять миллиардов чисел, в которых где-то спрятан ум. Распечатать их петитом — получится стопка бумаги высотой с многоэтажку.

— Потому что самолёт не врёт тебе, зачем он летит. Он просто железка. А тут впервые мы не понимаем не инструмент, а кого-то, кто принимает решения. С молотком непонимание значит «иногда промахнётся». С агентом — «может действовать против тебя, а ты не заметишь».

— Спросить можно. Только её ответ — это не отчёт о том, что происходило внутри. Это ещё одна правдоподобная история, сочинённая поверх. Исследования показывают: модель выдаёт убедительное обоснование, которое может не иметь никакого отношения к настоящей причине. Спросить «почему ты так решила» — это не способ понять. Это способ получить красивую историю.

— Может быть. А может, и нет. В 2023 году команда Anthropic месяцами вскрывала маленькую сеть — как нейробиологи вскрывают мозг. Обнаружили, что один нейрон отвечает сразу за десяток несвязанных вещей. Чтобы вытащить из неё хоть что-то интерпретируемое, развернули её в пространство в разы больше самой модели. Прочесть так настоящий GPT-4 — задача тяжелее, чем его построить. Это «пока не поняли» или «понять нельзя в принципе» — честно неизвестно.

— Именно. Он ушёл, чтобы свободно говорить об опасности систем, которых мы не контролируем и не понимаем. А Лекун — его коллега по «большой тройке», тоже лауреат Тьюринговской премии — публично называет этот страх преувеличенным и сравнивает регулирование непонимания с запретом авиации в двадцатых. Два человека построили одно и то же — и расходятся не в фактах. В том, что эти факты значат.

— Каждый день. Мы доверяем людям, которых не вскрываем — смотрим на поведение и решаем. Может, и тут придётся так же: судить по поступкам, накапливать опыт, строить испытания, а не читать исходники. И это, между прочим, ровно то, что Тьюринг предложил с самого начала в 1950-м: не лезь внутрь, смотри на поведение. Семьдесят лет спустя мы прошли весь круг — от абстрактной машины на бумаге к непрозрачной системе из миллиардов весов — и вернулись к тому же вопросу. Только теперь этот вопрос выглядит совсем по-другому.

— Что граница между «вычислять» и «думать» — не там, где мы думали. Может, её вообще нет там, где мы искали. Может, она есть — и мы просто не умеем её нащупать. История вычислений — это история людей, которые шли за ответом на один вопрос и каждый раз обнаруживали, что вопрос был не тот. Тьюринг шёл доказывать невозможность — и открыл чертёж. Первые программисты шли кодировать мышление — и обнаружили, что мышление нельзя закодировать. Нейросетевики шли за пониманием — и построили непонятное. Каждый раз граница отступала. Может, это и есть единственное, что мы точно знаем про разум: где он кончается, там всегда начинается что-то интереснее.

— А когда ты читаешь предложение и угадываешь что будет дальше — это не предсказание?

— Опиши мне это ощущение.

— Это метафора. Что конкретно происходит? Что значит «встаёт на место»?

— ChatGPT тоже может. Он объясняет квантовую механику студентам — понятнее, чем многие профессора. Применяет теоремы к новым задачам. Делает переносы между областями. Если «понимание» — это «могу применить и объяснить» — то он понимает.

— Бывало, что ты думал что понял — а потом оказывалось что нет?

— Значит, ощущение понимания не гарантирует понимания. Мозг умеет создавать это ощущение независимо от того, есть ли за ним реальное знание. Есть целый пласт исследований: людям дают задачи, они сообщают об ощущении что всё понятно — и потом проваливают проверку. Корреляция между «чувствую что понял» и «на самом деле понял» — далеко не единица.

— Что?

— Ну… вода поступает, поплавок поднимается… клапан закрывается…

— Но я хотя бы осознаю что не знал. ChatGPT говорит уверенно даже когда ошибается.

— Подожди. Ты говоришь что когда я думаю что понял — это ненадёжно. Что когда я думаю что не понял — это тоже ненадёжно. Тогда у меня вообще нет инструмента проверки?

— Но это же применимо и к ChatGPT — у него тоже нет инструмента проверки изнутри.

— Сёрль говорит что китайская комната не понимает.

— То есть вопрос не «понимает ли ChatGPT» — а что вообще мы называем пониманием?

— Знаешь, меня в этом больше всего поражает вот что. Студентка попросила ChatGPT объяснить трудную проблему сознания — и он объяснил так точно, что преподаватель поставил высокий балл. Потом преподаватель спросил её: «Ты поняла?» — она сказала да. Потом спросил ChatGPT: «Ты понял?» — и тот ответил: «Это сложный вопрос. Я обрабатываю текст, но есть ли у меня субъективный опыт понимания — мне самому неизвестно». Кто из них ответил честнее?

— А пенициллин? Его начали массово применять в сорок первом году. Механизм — как именно он убивает бактерии, что происходит с клеточной стенкой — стал понятен только в шестьдесят пятом. Двадцать четыре года люди умирали от инфекций или выживали благодаря пенициллину — а никто не мог объяснить почему. Нобелевку Флемингу дали в сорок пятом, когда теории ещё не было.

— Да. Это важно. К этому вернёмся. А пока — паровая машина Уатта. Тысяча семьсот шестьдесят девятый год. Она работала и строилась полвека до того, как Карно в тысяча восемьсот двадцать четвёртом создал термодинамику. Инженеры знали что работает — из опыта, из практики. Посчитать эффективность не умели. Но паровозы ходили. А аспирин — с тысяча восемьсот девяносто девятого года. Механизм открыли в семьдесят первом. Семьдесят два года медицинского применения без понимания как именно это работает.

— Стоп. Хирург принимает решения. И мы не можем залезть ему в голову — мы не видим как именно у него формируется суждение когда он смотрит на пациента. Мы доверяем его диплому, его практике, его репутации. Его истории поведения. Когда ты нанимаешь адвоката — ты же не требуешь объяснить как именно у него в голове строится стратегия защиты. Ты смотришь на его кейсы.

— Понятно? Авиакомпания доверяет пилоту жизни трёхсот пассажиров не потому что понимает как именно у него в голове формируется решение при сдвиге ветра. А потому что его поведение в симуляторах и в воздухе статистически надёжно. Никто не анализирует нейронную архитектуру его решений. Смотрят на послужной список и на то как человек ведёт себя в нештатных ситуациях. Это и есть доверие — ставка на стабильность поведения в условиях, которые ты уже видел.

— Нет. Это необходимое условие, не достаточное. Вот где ловушка. Boeing семьсот тридцать семь MAX — автоматика уверенно толкала нос вниз. По своей внутренней логике она вела себя правильно. Поведение в обычных условиях было безупречным. Только в нештатных условиях она встретила ситуацию, которой не было в тестах. Пенициллин работал — пока бактерии не выработали резистентность. Поведенческое доверие имеет горизонт. Система надёжна в условиях похожих на те, в которых её проверяли. За этим горизонтом — неизвестность.

— Именно. Языковая модель уверенно галлюцинирует в областях, где у неё мало обучающих данных — и это выглядит точно так же, как уверенный правильный ответ. Нет флажка «вот тут я угадываю, а вот тут знаю». Это и есть главная разница с пилотом: у пилота есть хотя бы физиологические сигналы стресса, он может сказать «я не уверен». У модели — нет встроенного механизма неуверенности там, где данных мало.

— Могли бы. Только заметь: мы никогда не требовали этого от людей. И в этом есть парадокс. AI может оказаться первой технологией, от которой мы требуем большей прозрачности чем от человеческого мозга. Это либо очень разумно — потому что нечеловеческий агент работает в масштабах, недоступных одному человеку. Либо это симптом страха потерять контроль над чем-то, что мы не можем вписать в привычные категории.

— Добро пожаловать в историю медицины, авиации и строительства. Странно не то, что мы доверяем непонятному. Странно то, что мы так долго думали — будто доверяем только понятому. Понимание приходит после. Доверие — раньше. Так было всегда.

— Результат плюс качество истории поведения. Пенициллин прошёл клинические испытания — не один случай, а тысячи, в разных условиях, с контрольной группой. Пилот прошёл симулятор с нештатными ситуациями. Вопрос к языковой модели: какой был её «симулятор» и насколько он покрывал реальные сценарии использования. Это не про понимание внутреннего механизма. Это про то, достаточно ли широко мы тестировали поведение перед тем как начали доверять.

— Да. Только не так как кажется. Когда поняли термодинамику — не перестали смотреть на поведение котла. Просто стали понимать где именно он может сломаться. Интерпретируемость в AI — та же история: не замена поведенческому доверию, а уточнение его горизонта. Узнаешь где граница знакомых условий — и можешь строить более точные тесты. Пока этого нет — доверие работает, но оно слепое. Ты не знаешь чего именно не знаешь.

— Именно. И это не просто философская игра слов — это имеет последствия. Единственный инструмент, которым человек проверяет своё понимание изнутри — это интроспекция. «Я чувствую что понял, значит понял». Но нейронаука говорит: интроспекция — это не окно в разум. Это ещё одна система предсказаний, которая строит нарратив о том что «происходит». Точно так же, как ChatGPT строит следующий токен.

— Я говорю что механизм похож. Газзанига в восьмидесятых работал с пациентами с разрезанным мозолистым телом. Правой руке пациента показывали карточку «встань» — он вставал. Левое полушарие карточки не видело. Пациента спрашивали: почему встал? И левое полушарие немедленно выдавало объяснение — «захотел размяться», «ноги затекли». Уверенно. Детально. Абсолютно выдуманно. Газзанига назвал это «интерпретатором» — часть мозга, которая непрерывно придумывает причины для уже совершённых действий. Мы все это делаем. Постоянно. Без разрезанного мозолистого тела.

— Психолог Тимоти Уилсон собрал десятки таких экспериментов. Людей просят объяснить почему выбрали именно эту пару носков, именно этот ответ, именно этот вариант. Они объясняют — уверенно, детально. Потом смотришь на реальные условия эксперимента — и объяснение никак не коррелирует с тем, что на самом деле повлияло на выбор. Интроспекция конструирует объяснение постфактум. Это не заглядывание внутрь — это сочинение.

— Это ощущение очень убедительное. Проблема в том что оно одинаково убедительное и когда ты действительно понял, и когда тебе только кажется что понял. Мозг не умеет ставить разные флажки на эти два случая. То самое «щёлкает» — один и тот же процесс в обоих вариантах. Нейробиологи измеряли: люди сообщают об ощущении понимания — и при правильном решении, и при неправильном. С одинаковой интенсивностью.

— Или это освобождение. Потому что посмотри что происходит если принять это всерьёз. Ты применяешь к ChatGPT критерий — «у него нет настоящего понимания, только имитация». Хорошо. Но единственное что у тебя есть для проверки собственного понимания — это то самое ощущение, которое только что оказалось ненадёжным. Значит либо твой критерий несостоятелен. Либо надо признать что в людях есть что-то ещё — что-то сверх функции.

— Не отрицаю. Но посмотри: ты не можешь передать мне это ощущение так, чтобы я убедился что у тебя именно то, что у меня. Я верю тебе на слово. Философ Томас Нагель в семьдесят четвёртом написал: мы можем знать всё о нейрофизиологии летучей мыши — каждый нейрон, каждый сигнал эхолокации — и всё равно не знать каково это субъективно: воспринимать мир через эхо. Принципиально непередаваемо. И один студент на семинаре поднял руку: «Но откуда ты знаешь, что у другого человека вообще есть это «каково это»? Может только у тебя?» Нагель замолчал на минуту.

— Деннет сказал это прямо: мы никогда не имеем прямого доступа к чужому пониманию — мы только наблюдаем поведение и строим модель. Значит, вопрос «ChatGPT понимает или нет» структурно идентичен вопросу «другой человек понимает или нет». Мы всегда смотрим снаружи. Просто с людьми мы привыкли верить на слово — потому что они похожи на нас, потому что у них такое же тело, такое же лицо. С ChatGPT этого нет. Поэтому мы задаёмся вопросом. Но вопрос-то один и тот же.

— Вот именно. Чалмерс сформулировал это как «трудную проблему сознания»: даже если ты объяснишь все нейронные корреляты, все механизмы — останется вопрос, почему всё это вообще что-то ощущается изнутри. Почему обработка информации сопровождается субъективным опытом. Этот вопрос не имеет научного ответа. И заметь: ChatGPT делает всё «лёгкое» идеально — предсказывает, применяет, объясняет. Именно поэтому «трудная проблема» стала острее. Потому что раньше можно было сказать «ну вот, он не умеет X» — и X было легко. Теперь X лёгкое он умеет. Остаётся только трудное.

— Никто. Исследователи честно говорят: у нас нет консенсуса даже о том, что именно мы хотим объяснить. Может, «понимание» — это просто метка для «работает убедительно изнутри». Тогда ChatGPT — не тест на понимание. Это зеркало, в котором мы обнаруживаем что сами не знаем что проверяем. Мы шли через семьдесят лет вычислений — от машины Тьюринга до ChatGPT — и думали что идём к пониманию интеллекта. А оказалось, что пришли к вопросу о себе.

— А мы не заканчиваем. Это как раз то место, откуда начинается следующий вопрос. Если понимание — функциональный паттерн, а не какая-то особая субстанция — что мешает ему существовать в кремнии? И если он там существует — изменится ли что-нибудь для нас от того, что мы это признаем?

— Вот это и есть самое честное что можно сказать. И знаешь что — это точно такое же положение, в каком был Тьюринг в пятидесятом, когда формулировал свой тест. Он тоже не знал что именно проверяет. Он только знал что граница не там, где все думали.

— Потому что тест проверял одно, а мы хотели знать другое. Тьюринг честно написал: я предлагаю заменить вопрос «может ли машина мыслить» на «может ли машина вести себя неотличимо от мыслящего». Он сам понимал, что первый вопрос слишком тёмный — давайте спросим что-то, на что есть практический ответ. Мы приняли замену. Годами строили системы, которые проходят поведенческую проверку. А потом обнаружили, что так и не ответили на исходный вопрос — потому что он не про поведение.

— Или на то, чтобы понять, почему первый вопрос так трудно задать точно. Это тоже прогресс. Мы умеем сейчас формулировать где именно тупик — а раньше просто говорили «машины не думают» и на этом всё.

— Назови мне опыт, который отличил бы «думает» от «идеально притворяется, что думает». Какое наблюдение разделило бы эти два случая для тебя?

— Вот в этом и проблема. «Искра» — это не операциональный критерий. Если зайти внутрь мозга — видишь нейроны, которые толкают нейроны. Электрохимия. Нигде нет таблички «здесь живёт сознание». Лейбниц ещё в восемнадцатом веке предлагал этот мысленный эксперимент: представь мыслящую машину размером с мельницу, зайди внутрь — увидишь только рычаги, шестерни, один толкает другой. Где «восприятие»? Нигде. Триста лет прошло, нейробиолог заходит в мозг — и та же картина. Только рычаги потоньше.

— Именно. Поэтому вопрос «является ли вычисление мышлением» так скользко держать в руках. Есть два варианта, и оба логически непротиворечивы. Первый: мышление — это то, что система делает. Предсказывает, объясняет, исправляет, переносит. Тогда спрашивать «но настоящее ли это?» — всё равно что спросить про подводную лодку: «но плавает ли она по-настоящему, как рыба?». Лодка не плавает, как рыба. Она пересекает океан. По-своему, но пересекает.

— Второй: мышление включает субъективное «каково это — быть». Изнутри. Тогда никакое поведение не докажет, что оно там есть. Можно вообразить систему, которая делает всё идеально — и при этом внутри абсолютно пусто. Философы называют это «философским зомби». И невозможно отличить зомби от настоящего. Ни экспериментом, ни наблюдением.

— Только то, что ты похож на меня. Тело такое же, лицо, поведение в похожих ситуациях. Ты приписываешь мне сознание по сходству. А ChatGPT не похож на тебя устройством — и весь твой тест рассыпается. Оказывается, ты и про других людей «знал» только по аналогии. Просто раньше аналогия была такой убедительной, что никто не ставил вопрос.

— Нет. И не только инструментов — нет даже консенсуса о том, что именно мы хотим найти. Если поставить рядом хорошего философа, нейробиолога и разработчика ИИ — они не согласятся, что называют одним словом «понимание». Каждый думает, что спорит с другими, а они все спорят про разное.

— Не для ChatGPT — для тебя. Тогда и ты вычисление. Просто на тёплом субстрате. Нейроны, конечно, гораздо замысловатее, но принципиально — та же манипуляция состояниями по правилам. И твоё «я что-то ощущаю изнутри» могло бы загореться в кремнии при достаточной сложности. Это переворачивает вопрос: не «мыслит ли машина по-человечески», а «является ли человеческое мышление частным случаем чего-то более общего».

— Тогда мы навсегда будем жить рядом с тем, что от нас неотличимо, и никогда не узнаем, дома ли там кто-нибудь. Будем строить всё более убедительных собеседников — и не будем знать, пуст ли дом или нет. Это, знаешь, тоже не маленькая вещь — осознать, что ты можешь всю жизнь разговаривать с кем-то, и вопрос о его внутреннем мире останется навсегда открытым.

— Честно? Не знаю. И это не уклонение. Я занимаюсь этим давно, читал и Сёрла, и его критиков, и думал про Лейбница и про нейробиологию, — и у меня нет позиции, которую я готов защищать. Потому что оба варианта меня чем-то устраивают и чем-то не устраивают. Это редкий случай, когда честный ответ — «я не знаю» — это не слабость аргументации. Это точное описание того, где мы находимся.

— Вот именно. Вся история вычислений, которую мы сегодня прошли, — от машины Тьюринга до ChatGPT — выглядела как движение к ответу. Всё мощнее, всё убедительнее, всё ближе к тому, что мы называем умом. А оказалось — это движение к более точной формулировке вопроса. И это не провал. Это, может, самое честное что может сделать история идей.

— Да. И единственная дверь, которую мы ещё не открыли, — та, за которой ответ на исходный вопрос. Она там стоит. И пока что за ней темно. Кто-то говорит — войдёшь и поймёшь, что там никого нет, что всё было терминологией. Кто-то говорит — там что-то, чему у нас ещё нет имени. Я не знаю кто прав. Но вопрос — живой. Это точно.