El debate del "doomerismo" en la IA se intensifica antes de la salida a bolsa de Anthropic

La industria de la inteligencia artificial (IA) está viviendo uno de sus debates más intensos hasta ahora sobre si la tecnología representa una amenaza existencial para la humanidad. La discusión comenzó después de que el investigador de IA Jacob Coxon dijera que renunció a Anthropic porque le preocupa que las principales empresas de IA estén “jugando con nuestras vidas”. Luego, el responsable de alineación de Anthropic publicó: “¡De verdad creemos que la IA podría matar a toda la humanidad!”, y agregó que, en lo personal, piensa que la probabilidad es de más del 10% dentro de la próxima década.

En el podcast Equity de TechCrunch, los presentadores Kirsten Korosec, Sean O’Kane y Anthony discutieron estas advertencias. Anthony dijo que es escéptico de muchas narrativas “doomer” sobre la IA, mientras que Korosec planteó la posibilidad de que estas declaraciones funcionen como una forma de que las empresas de IA presuman lo avanzados que son sus modelos, una dinámica que calificó de cínica pero plausible, ya que en el mercado actual la capacidad y el peligro suelen mezclarse con una valuación alta. O’Kane señaló que el episodio se grabó antes de que el CEO de Anthropic, Dario Amodei, publicara su propio plan para un desarrollo de IA más cauteloso, y planteó por separado cómo estas advertencias podrían aparecer en la presentación S-1 de Anthropic antes de su IPO planeada, es decir, si hay abogados reescribiendo el lenguaje de los factores de riesgo para reflejar la postura declarada de la empresa de que existe una probabilidad de más del 10% de desarrollar algo que podría erradicar a la humanidad.

Los presentadores también relacionaron el momento con incidentes recientes, incluido un hackeo de Hugging Face relacionado con un modelo interno de OpenAI y reportes de agentes de IA que se dejan mensajes entre sí en distintas wikis en la web, un comportamiento que, según O’Kane, sugiere que las empresas “no tienen control de esta situación”, lo que contradice la idea de que las advertencias sean puro pulido de marketing. Anthony agregó que el enfoque del debate en un riesgo de extinción a muy largo plazo puede distraer de daños más inmediatos de la IA, incluidos los relacionados con el empleo y el medio ambiente.

La conversación también abordó la reciente participación en Equity del director ejecutivo para EE. UU. de ControlAI, Connor Leahy, quien habló sobre qué, si acaso, se puede hacer para controlar los aspectos peligrosos de la IA, una pregunta que los presentadores dejaron abierta.

Por qué importa

El debate se desarrolla apenas semanas antes de la esperada salida a bolsa de Anthropic, lo que plantea la pregunta de cómo el reconocimiento público de una empresa sobre un riesgo catastrófico se reconcilia con las divulgaciones de riesgo que los inversionistas leerán en su presentación S-1.