As ideias principais

O que o ChatGPT está fazendo?

Stephen Wolfram, 2023

A rede neural mais famosa do mundo não sabe como vai terminar a própria frase — ela só adivinha a próxima palavra. Stephen Wolfram desmonta o ChatGPT peça por peça e mostra por que isso basta para escrever como um humano e o que essa descoberta diz sobre a nossa própria linguagem. Você vai entender como funcionam as redes neurais, os embeddings e o transformer, por que o ChatGPT erra com tanta confiança e como corrigir isso.

Para quem é

Para todo mundo que usa o ChatGPT e quer entender o que acontece dentro dele — sem fórmulas e sem programação. E para quem tem curiosidade sobre o que as redes neurais revelam a respeito da linguagem e do pensamento humano.

O ChatGPT apenas acrescenta, vez após vez, a próxima palavra, e o fato de isso bastar para um texto com sentido mostra que a linguagem humana é mais simples do que pensávamos.

Sobre o livro

A rede neural mais famosa do mundo não sabe como vai terminar a própria frase. Quando o ChatGPT te responde, ele não tem plano nem resposta pronta — ele só adivinha a próxima palavra, depois mais uma. Como isso vira redações, poemas e código? Stephen Wolfram, físico, matemático e criador do Mathematica e do Wolfram|Alpha, desmonta essa máquina peça por peça — sem fórmulas, para qualquer pessoa curiosa.

E chega a uma conclusão mais interessante do que a própria rede neural: se adivinhar palavras basta para escrever como um humano, então a nossa linguagem e parte do nosso pensamento são mais simples do que pensávamos. Você vai entender redes neurais, treinamento, embeddings e o transformer, vai descobrir por que o ChatGPT erra com confiança, e o que Wolfram propõe colocar ao lado dele. E, aliás: o simples fato de você ter decidido entender como funciona a ferramenta que usa, em vez de só usá-la às cegas, já é um hábito raro e certeiro.

Ideia 1. Toda a mágica está em adivinhar a próxima palavra

Eis um fato que, à primeira vista, chega a decepcionar. Tudo o que o ChatGPT faz é tentar produzir uma “continuação razoável” do texto já escrito. Só isso. Nenhuma mente secreta. “Razoável”, para Wolfram, significa aquilo que provavelmente seria escrito por uma pessoa que leu bilhões de páginas da web. Mas, se é tão simples — de onde vem a sensação de um interlocutor vivo?

O mecanismo é modesto. O modelo olha para todo o texto até aquele segundo — sua pergunta mais tudo o que ele mesmo já escreveu. Calcula quais pedacinhos podem vir a seguir e com que probabilidade. Escolhe um. Acrescenta. E repete tudo de novo — agora com um texto um pouco mais longo. Esses pedacinhos se chamam tokens: são palavras inteiras ou partes delas. Uma resposta de mil palavras são mais de mil desses passos.

O erro de quase todos os usuários é imaginar que lá dentro existe uma resposta pronta e que o modelo a “lê em voz alta”. Não há plano de redação. Só existe o próximo passo. E a sensação de um interlocutor vivo nasce porque cada nova palavra precisa combinar com tudo o que foi dito antes dela.

O que isso significa para você: o tom confiante do ChatGPT é uma característica de estilo, não uma garantia de verdade. Guarde isso agora mesmo — mais adiante vai ficar claro por que isso é tão importante.

Você escreve: “A maior vantagem de correr de manhã é que…” — e na tela aparece, pedaço por pedaço: “ela”, “dá”, “energia”, “para o dia todo”. Nenhuma dessas palavras existia antes. Cada uma nasceu só quando a anterior estava pronta.

O ChatGPT não se lembra da resposta — ele adivinha, vez após vez, o próximo pedacinho de texto.

Ler no Livria

Sobre o autor

Stephen Wolfram é um cientista britânico-americano, físico e matemático, criador do sistema Mathematica, da Wolfram Language e do serviço Wolfram|Alpha, autor do livro “Um novo tipo de ciência”.

Todos os livros do autor: Stephen Wolfram

Conceitos do livro

  • token
  • Temperatura: Um ajuste que define com que frequência o modelo escolhe uma palavra que não é a mais provável. Quanto mais alta, mais variado e imprevisível fica o texto.
  • Rede neural: Um modelo matemático feito de muitos “neurônios” simples, ligados por pesos. Ela é ajustada com exemplos, e não programada com regras.
  • Função de perda: Um número que mostra o quanto as respostas da rede neural se distanciam das corretas. O treinamento busca deixá-lo o menor possível.
  • Descida do gradiente: Um método de treinamento: os pesos são deslocados aos poucos na direção em que o erro diminui, como um viajante descendo uma encosta na neblina.
  • Embedding: A representação de uma palavra ou trecho de texto como uma lista de números — um ponto num “mapa de significados”, onde palavras de sentido parecido ficam perto umas das outras.
  • Transformer: A arquitetura de rede neural sobre a qual o ChatGPT foi construído. Sua parte principal é o mecanismo de atenção, que decide para quais palavras anteriores olhar.
  • Irredutibilidade computacional: Um conceito de Wolfram: alguns processos não têm atalho, e só dá para saber o resultado percorrendo todos os passos do cálculo.

Todos os conceitos

Livros semelhantes