Головні ідеї книги

Як влаштований ChatGPT?

Стівен Вольфрам, 2023

Найвідоміша нейромережа у світі не знає, чим закінчить власну фразу — вона просто вгадує наступне слово. Стівен Вольфрам розбирає ChatGPT по гвинтиках і показує, чому цього вистачає, щоб писати як людина, і що це відкриття каже про нашу власну мову. Ти зрозумієш, як влаштовані нейромережі, ембединги й трансформер, чому ChatGPT впевнено помиляється і як це виправити.

Кому підійде

Для всіх, хто користується ChatGPT і хоче зрозуміти, що відбувається в нього всередині, — без формул і програмування. І для тих, кому цікаво, що нейромережі кажуть про людську мову й мислення.

ChatGPT лише раз у раз додає наступне слово, і те, що цього вистачає для осмисленого тексту, свідчить: людська мова влаштована простіше, ніж ми думали.

Про що ця книга

Найвідоміша нейромережа у світі не знає, чим закінчить власну фразу. Коли ChatGPT відповідає тобі, у нього немає ні плану, ні готової відповіді — він просто вгадує наступне слово, потім ще одне. Як із цього виходять есе, вірші й код? Стівен Вольфрам, фізик, математик і творець Mathematica та Wolfram|Alpha, розбирає цю машину по гвинтиках — без формул, для будь-якої допитливої людини.

І доходить висновку, цікавішого за саму нейромережу: якщо вгадування слів вистачає, щоб писати як людина, отже, наша мова і частина мислення влаштовані простіше, ніж ми думали. Ти розберешся в нейромережах, навчанні, ембедингах і трансформері, зрозумієш, чому ChatGPT впевнено помиляється, — і що Вольфрам пропонує поставити поруч. І до речі: сам факт, що ти вирішив розібратися, як влаштований інструмент, яким користуєшся, а не просто користуватися ним наосліп, — уже рідкісна й правильна звичка.

Ідея 1. Уся магія — у вгадуванні наступного слова

Ось факт, від якого спершу стає навіть прикро. Усе, що робить ChatGPT, — намагається видати «розумне продовження» вже написаного тексту. Усе. Жодного таємного розуму. «Розумне», за Вольфрамом, означає таке, яке найімовірніше написала б людина, що прочитала мільярди вебсторінок. Але якщо це так просто — звідки тоді відчуття живого співрозмовника?

Механізм скромний. Модель дивиться на весь текст до цієї секунди — твоє запитання плюс усе, що вже встигла написати сама. Рахує, які шматочки можуть іти далі і з якою ймовірністю. Бере один. Дописує. І повторює все заново — вже з трохи довшим текстом. Ці шматочки називаються токенами: це цілі слова або їхні частини. Відповідь на тисячу слів — це тисяча з гаком таких кроків.

Помилка майже всіх користувачів — уявляти, що всередині лежить готова відповідь і модель її «зачитує». Плану есе немає. Є тільки наступний крок. А відчуття живого співрозмовника народжується тому, що кожне нове слово мусить пасувати до всього, що було сказано до нього.

Що це означає для тебе: впевнений тон ChatGPT — властивість стилю, а не гарантія правди. Запам'ятай це просто зараз — далі стане зрозуміло, чому це так важливо.

Ти пишеш: «Головний плюс ранкових пробіжок у тому, що…» — і на екрані шматочок за шматочком з'являється: «вони», «заряджають», «енергією», «на весь день». Жодного з цих слів не існувало заздалегідь. Кожне народилося тільки тоді, коли було готове попереднє.

ChatGPT не пригадує відповідь — він раз у раз вгадує наступний шматочок тексту.

Читати в Livria

Про автора

Стівен Вольфрам — британсько-американський учений, фізик і математик, творець системи Mathematica, мови Wolfram Language і сервісу Wolfram|Alpha, автор книжки «Новий вид науки».

Усі книги автора: Стівен Вольфрам

Поняття з книги

  • токен
  • Температура: Налаштування, яке визначає, наскільки часто модель обирає не найімовірніше слово. Що вища, то різноманітніший і непередбачуваніший текст.
  • Нейромережа: Математична модель із безлічі простих «нейронів», з'єднаних вагами. Її налаштовують на прикладах, а не програмують правилами.
  • Функція втрат: Число, яке показує, наскільки відповіді нейромережі відрізняються від правильних. Навчання прагне зробити його якомога меншим.
  • Градієнтний спуск: Спосіб навчання: ваги потроху зсувають у той бік, де помилка зменшується, як мандрівник спускається схилом у тумані.
  • Ембединг: Подання слова чи фрагмента тексту у вигляді списку чисел — точки на «мапі сенсів», де схожі за значенням слова опиняються поруч.
  • Трансформер: Будова нейромережі, на якій побудовано ChatGPT. Її головна частина — механізм уваги, що вирішує, на які попередні слова дивитися.
  • Обчислювальна незвідність: Поняття Вольфрама: у деяких процесів немає короткого шляху, результат можна дізнатися, лише пройшовши всі кроки обчислення.

Усі поняття

Схожі книги