Las ideas clave

¿Qué está haciendo ChatGPT?

Stephen Wolfram, 2023

La red neuronal más famosa del mundo no sabe cómo va a terminar su propia frase: simplemente adivina la siguiente palabra. Stephen Wolfram desmonta ChatGPT pieza a pieza y muestra por qué eso basta para escribir como una persona, y qué dice este descubrimiento sobre nuestro propio lenguaje. Entenderás cómo funcionan las redes neuronales, los embeddings y el transformer, por qué ChatGPT se equivoca con total seguridad y cómo corregirlo.

Para quién es

Para todos los que usan ChatGPT y quieren entender qué pasa dentro, sin fórmulas ni programación. Y para quienes sienten curiosidad por lo que las redes neuronales dicen sobre el lenguaje y el pensamiento humanos.

ChatGPT no hace más que añadir, una y otra vez, la siguiente palabra, y que eso baste para un texto con sentido nos dice que el lenguaje humano es más sencillo de lo que creíamos.

De qué trata el libro

La red neuronal más famosa del mundo no sabe cómo va a terminar su propia frase. Cuando ChatGPT te responde, no tiene ni un plan ni una respuesta preparada: simplemente adivina la siguiente palabra, y luego otra más. ¿Cómo salen de ahí ensayos, poemas y código? Stephen Wolfram, físico, matemático y creador de Mathematica y Wolfram|Alpha, desmonta esta máquina pieza a pieza, sin fórmulas, para cualquier persona curiosa.

Y llega a una conclusión más interesante que la propia red neuronal: si adivinar palabras basta para escribir como una persona, entonces nuestro lenguaje y parte de nuestro pensamiento son más sencillos de lo que creíamos. Entenderás las redes neuronales, el entrenamiento, los embeddings y el transformer, comprenderás por qué ChatGPT se equivoca con total seguridad y qué propone Wolfram ponerle al lado. Y por cierto: el simple hecho de que hayas decidido entender cómo funciona la herramienta que usas, en lugar de usarla a ciegas, ya es un hábito poco común y muy acertado.

Idea 1. Toda la magia está en adivinar la siguiente palabra

He aquí un hecho que al principio casi ofende. Lo único que hace ChatGPT es intentar producir una «continuación razonable» del texto que ya está escrito. Nada más. Ninguna mente secreta. «Razonable», según Wolfram, significa la que con más probabilidad escribiría una persona que hubiera leído miles de millones de páginas web. Pero si es tan simple, ¿de dónde sale la sensación de hablar con alguien vivo?

El mecanismo es modesto. El modelo mira todo el texto hasta ese instante: tu pregunta más todo lo que él mismo ha escrito ya. Calcula qué trocitos pueden venir después y con qué probabilidad. Elige uno. Lo añade. Y repite todo desde el principio, ahora con un texto un poco más largo. Estos trocitos se llaman tokens: son palabras enteras o partes de palabras. Una respuesta de mil palabras son más de mil pasos así.

El error de casi todos los usuarios: imaginar que dentro hay una respuesta ya hecha y que el modelo la «lee en voz alta». No hay un plan del ensayo. Solo existe el siguiente paso. Y la sensación de un interlocutor vivo nace porque cada palabra nueva tiene que encajar con todo lo dicho antes.

Qué significa para ti: el tono seguro de ChatGPT es un rasgo de estilo, no una garantía de verdad. Recuérdalo ahora mismo: más adelante verás por qué es tan importante.

Escribes: «La gran ventaja de correr por las mañanas es que…», y en la pantalla va apareciendo trozo a trozo: «te», «llena», «de energía», «para todo el día». Ninguna de esas palabras existía de antemano. Cada una nació solo cuando la anterior estuvo lista.

ChatGPT no recuerda la respuesta: adivina una y otra vez el siguiente trozo de texto.

Leer en Livria

Sobre el autor

Stephen Wolfram es un científico británico-estadounidense, físico y matemático, creador del sistema Mathematica, del lenguaje Wolfram Language y del servicio Wolfram|Alpha, y autor del libro «A New Kind of Science».

Todos los libros del autor: Stephen Wolfram

Conceptos del libro

  • token
  • Temperatura: Un ajuste que determina con qué frecuencia el modelo elige una palabra que no es la más probable. Cuanto más alta, más variado e impredecible es el texto.
  • Red neuronal: Un modelo matemático formado por muchas «neuronas» sencillas conectadas mediante pesos. Se ajusta con ejemplos, no se programa con reglas.
  • Función de pérdida: Un número que indica cuánto se alejan las respuestas de la red neuronal de las correctas. El entrenamiento busca hacerlo lo más pequeño posible.
  • Descenso de gradiente: Un método de entrenamiento: los pesos se desplazan poco a poco hacia donde el error disminuye, como un caminante que baja una ladera entre la niebla.
  • Embedding: La representación de una palabra o un fragmento de texto como una lista de números: un punto en el «mapa de significados», donde las palabras de sentido parecido quedan cerca.
  • Transformer: La arquitectura de red neuronal sobre la que está construido ChatGPT. Su parte principal es el mecanismo de atención, que decide a qué palabras anteriores mirar.
  • Irreducibilidad computacional: Un concepto de Wolfram: algunos procesos no tienen atajo, y el resultado solo se puede conocer recorriendo todos los pasos del cálculo.

Todos los conceptos

Libros similares