Главные идеи книги

Как устроен ChatGPT?

Стивен Вольфрам, 2023

Самая известная нейросеть в мире не знает, чем закончит собственную фразу — она просто угадывает следующее слово. Стивен Вольфрам разбирает ChatGPT по винтикам и показывает, почему этого хватает, чтобы писать как человек, и что это открытие говорит о нашем собственном языке. Ты поймёшь, как устроены нейросети, эмбеддинги и трансформер, почему ChatGPT уверенно ошибается и как это исправить.

Кому подойдёт

Для всех, кто пользуется ChatGPT и хочет понять, что происходит у него внутри, — без формул и программирования. И для тех, кому интересно, что нейросети говорят о человеческом языке и мышлении.

ChatGPT лишь раз за разом добавляет следующее слово, и то, что этого хватает для осмысленного текста, говорит: человеческий язык устроен проще, чем мы думали.

О чём книга

Самая известная нейросеть в мире не знает, чем закончит собственную фразу. Когда ChatGPT отвечает тебе, у него нет ни плана, ни готового ответа — он просто угадывает следующее слово, потом ещё одно. Как из этого получаются эссе, стихи и код? Стивен Вольфрам, физик, математик и создатель Mathematica и Wolfram|Alpha, разбирает эту машину по винтикам — без формул, для любого любопытного человека.

И приходит к выводу интереснее самой нейросети: если угадывания слов хватает, чтобы писать как человек, значит, наш язык и часть мышления устроены проще, чем мы думали. Ты разберёшься в нейросетях, обучении, эмбеддингах и трансформере, поймёшь, почему ChatGPT уверенно ошибается, — и что Вольфрам предлагает поставить рядом. И кстати: сам факт, что ты разбираешься, как устроен инструмент, которым пользуешься, а не просто пользуешься им вслепую, — уже редкая и правильная привычка.

Идея 1. Вся магия — в угадывании следующего слова

Вот факт, от которого сначала становится даже обидно. Всё, что делает ChatGPT, — пытается выдать «разумное продолжение» уже написанного текста. Всё. Никакого тайного разума. «Разумное», по Вольфраму, значит такое, какое скорее всего написал бы человек, прочитавший миллиарды веб-страниц. Но если это так просто — откуда тогда ощущение живого собеседника?

Механизм скромный. Модель смотрит на весь текст до этой секунды — твой вопрос плюс всё, что уже успела написать сама. Считает, какие кусочки могут идти дальше и с какой вероятностью. Берёт один. Дописывает. И повторяет всё заново — уже с текстом чуть длиннее. Эти кусочки называются токенами: это целые слова или их части. Ответ в тысячу слов — это тысяча с лишним таких шагов.

Ошибка почти всех пользователей — представлять, что внутри лежит готовый ответ и модель его «зачитывает». Плана эссе нет. Есть только следующий шаг. А ощущение живого собеседника рождается потому, что каждое новое слово обязано подходить ко всему, что было сказано до него.

Что это значит для тебя: уверенный тон ChatGPT — свойство стиля, а не гарантия правды. Запомни это прямо сейчас — дальше станет ясно, почему это так важно.

Ты пишешь: «Главный плюс утренних пробежек в том, что…» — и на экране по кусочку появляется: «они», «заряжают», «энергией», «на весь день». Ни одно из этих слов не существовало заранее. Каждое родилось только тогда, когда было готово предыдущее.

ChatGPT не вспоминает ответ — он раз за разом угадывает следующий кусочек текста.

Читать в Livria

Об авторе

Стивен Вольфрам — британско-американский учёный, физик и математик, создатель системы Mathematica, языка Wolfram Language и сервиса Wolfram|Alpha, автор книги «Новый вид науки».

Все книги автора: Стивен Вольфрам

Тест по книге «Как устроен ChatGPT?»

Понятия из книги

токен
Температура: Настройка, которая определяет, насколько часто модель выбирает не самое вероятное слово. Чем выше, тем разнообразнее и непредсказуемее текст.
Нейросеть: Математическая модель из множества простых «нейронов», соединённых весами. Её настраивают на примерах, а не программируют правилами.
Функция потерь: Число, которое показывает, насколько ответы нейросети отличаются от правильных. Обучение стремится сделать его как можно меньше.
Градиентный спуск: Способ обучения: веса понемногу сдвигают в ту сторону, где ошибка уменьшается, как путник спускается по склону в тумане.
Эмбеддинг: Представление слова или фрагмента текста в виде списка чисел — точки на «карте смыслов», где похожие по значению слова оказываются рядом.
Трансформер: Устройство нейросети, на котором построен ChatGPT. Его главная часть — механизм внимания, решающий, на какие прежние слова смотреть.
Вычислительная несводимость: Понятие Вольфрама: у некоторых процессов нет короткого пути, результат можно узнать, только пройдя все шаги вычисления.

Все понятия