El resultado de combinar una comunidad de predicción como Metaculus y un modelo de lenguaje como ChatGPT 4 es el futuro. Y ve el futuro. Un nuevo sistema de inteligencia artificial (IA), desarrollado por investigadores de la Universidad de Berkeley, es capaz de predecir eventos futuros con mayor precisión que los humanos. Para poder hacerlo, la inteligencia artificial busca información en internet, selecciona los artículos periodísticos que considera relevantes, los resume y los introduce en un sistema de razonamiento. “La previsión requiere que un humano se siente y reúna un montón de fuentes, averiguando en cuáles confiar y cómo sopesarlas. Un modelo lingüístico puede hacerlo muy rápidamente”, explica Danny Halawi, uno de los autores del estudio, publicado en la revista New Scientist.
“¿Se detonará un arma nuclear en 2023?”. El sistema dijo que no. Para poder responder a preguntas así, Halawi y su equipo han entrenado a ChatGPT-4 a través de un proceso llamado “ajuste fino”: este método utiliza miles de pronósticos de mercados de predicción, como Metaculus o Polymarket, y junto a la recuperación de noticias, obtiene un mejor razonamiento. “Para que sea bueno en pronósticos, entrenamos al modelo con buenos ejemplos”, añade Halawi. Por cada predicción, el sistema repregunta a Google hasta seis veces —como si acudiera a seis personas distintas― y consulta hasta 20 artículos. Son seis preguntas y no más, porque cuesta mucho dinero a pesar de que lo ideal sería hacerlo “100 veces”, confiesa Halawi. Hacer una pregunta interna del sistema cuesta 1 dólar (0,93 euros), mientras que a OpenAI, por ejemplo, una pregunta a ChatGPT le cuesta “menos de 0,01 dólares (0,0093 euros)”, añade.
El pronosticador funciona como si alguien busca algo en internet: cuanto más concreta sea la pregunta, mejor. Pero ¿es fiable? Halawi confía en el sistema: “Si quieres predecir con precisión, la mejor estrategia consiste en ser imparcial, intentar obtener las fuentes más precisas de información y hacer una predicción razonable y sensata que se base puramente en la evidencia”, argumenta. La puntuación del sistema es de 0,179 frente a la multitud que es de 0,149 en la escala Brier, que mide las posibilidades de acierto en una escala de cero a uno. La diferencia no es muy grande, pero tampoco lo fue cuando el ordenador Deep Blue derrotó al campeón del mundo en ajedrez, Garri Kaspárov en 1997, ganando el encuentro a 6 partidas por 3½-2½. Y, sin embargo, este hito ha pasado a la historia.
Para Ángel Delgado, ingeniero de Inteligencia Artificial en Paradigma Digital, la clave del modelo predictivo es que al combinar “los modelos de forecasting tradicionales con los modelos de lenguaje” el sistema sea capaz de “procesar la información numérica y la textual”. De esa manera, “al tener en cuenta más información, pueden llegar a ser más precisos que los humanos”, explica.
La sabiduría de la multitud
Los investigadores han copiado la idea de la “sabiduría de la multitud” para su desarrollo, es decir, el efecto de que un conjunto de soluciones propuestas por un grupo funciona mejor que las soluciones particulares. El periodista de EL PAÍS Kiko Llaneras corrobora este efecto en su lista de pronósticos para 2023: al combinar todas las predicciones que hicieron los lectores y hacer una media, el acierto se elevó. Del mismo modo, el sistema recopila toda la información y llega a un promedio de las respuestas. “Las personas individuales tienen acceso limitado a información y tienen sus propios prejuicios. Si tomamos distintas predicciones y luego hacemos un promedio, se reúne indirectamente más información”, explica Halawi.
Pero, ¿qué efectos prácticos puede tener esta aplicación? Difícilmente preguntaremos a nuestro ordenador por la posibilidad de encontrar el amor o un nuevo trabajo. Las respuestas que nos puede dar esta bola de cristal tecnológica son mucho más prácticas. Para Richard Saldanha, profesor de aprendizaje automático en la Universidad Queen Mary de Londres, la predicción puede ser útil para la toma de decisiones de analistas económicos y políticos, aunque el mercado financiero “no se base necesariamente” en la sabiduría de la multitud: “El peso de la compra y la venta de valores suele dictar los precios negociados. A menudo existe una relación entre la sabiduría de las multitudes y la actividad real de los precios de los valores pertinentes, pero no debe confiarse ingenuamente en estas relaciones”, detalla. Delgado coincide en que es bueno para estimar el impacto de factores políticos y sociales en la economía y predice que, a largo plazo, el sistema cambiará cómo se entienden los mercados. “Uno de los factores que más afectan al mercado es la incertidumbre y según nos vayamos acostumbrando a este tipo de herramientas, se reducirá”, explica.
Más probable lo incierto
Una peculiariedad del desarrollo es que funciona mejor con preguntas “inciertas”, eso es que tengan mayor posibilidad de respuesta. Se debe a que el sistema utiliza ChatGPT-4 como una de sus fuentes y esta prefiere proteger sus respuestas por razones de seguridad: “ChatGPT está entrenado para no dar consejos a la gente que puedan dañar o afectar a sus vidas. Si te dice que hay un 0% de posibilidades de que pase algo y después sucede, va a causarte un daño”, explica Halawi. La probabilidad de que el mundo se acabe mañana, cerca de 0%, es un ejemplo de ello.
La incertidumbre también fomenta la minimización de los sesgos, según Luis Herrera, arquitecto de soluciones en Databricks España: “Aunque no están completamente libres de sesgos, los modelos de IA pueden diseñarse para minimizar sesgos comunes, como el exceso de confianza o la confirmación. Los modelos de IA tienden a ser imprecisos debido a su preferencia por respuestas conservadoras”. Además, coincide en que el modelo supera a los humanos por su modus operandi: “Pueden integrar nueva información y actualizar sus predicciones en tiempo real, esencial para situaciones que cambian rápidamente”.
El tipo de pronóstico del estudio se llama “previsión de juicio” y consiste en predecir algo con muy pocos datos, como por ejemplo, la detonación de un arma nuclear. “Por ocurrir una vez en la historia, hay muy poco en qué basarse. Tienes que ser mucho más creativo en la pregunta y llegar a una probabilidad”, revela Halawi. El sistema es diferente a otros modelos de predicción como GraphCast, la inteligencia artificial de Google DeepMind que predice el tiempo, que sí cuenta con muchos datos para obtener las previsiones: “El pronóstico que utilizan es el modelado de series temporales. Se suele hacer cuando hay muchos datos, por ejemplo, cuando estás prediciendo el tiempo y tienes el historial meteorológico del último mes o los datos sobre la humedad en el aire”, cuenta Halawi.
El sistema de Halawi y sus colegas basado en predicciones colectivas ha demostrado ser mejor que los humanos. Sin embargo, Herrera plantea la posibilidad de probarlo con los superpronosticadores, aquellas personas capaces de predecir eventos futuros con un nivel de precisión que supera al público general y a expertos. Utilizan también metodologías analíticas y estadísticas para eliminar sesgos y ajustan sus predicciones constantemente basándose en nueva información. ¿Superará también a ellos el nuevo sistema?
Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para recibir nuestra newsletter semanal.
Suscríbete para seguir leyendo
Lee sin límites
_