El director ejecutivo de Anthropic, Dario Amodei, pidió ralentizar de inmediato el ritmo de desarrollo de la inteligencia artificial (IA): “Antes de perder el control”, advirtiendo de que, de lo contrario, las consecuencias podrían ser potencialmente devastadoras en cuestión de meses. Por eso aludió a la emergencia de que se necesitan mejores controles de seguridad a lo largo de toda esta industria.

Esto se suma a las declaraciones de Jacob Coxon, un reconocido investigador de IA que trabajó en OpenAI y Anthropic, que renunció recientemente a su puesto tras lanzar una alarmante advertencia: la IA podría representar un riesgo extremo de extinción para la humanidad antes de 2030.

A través de un mensaje público que se volvió viral en X, antes Twitter, Coxon señaló que las grandes empresas tecnológicas están compitiendo de forma descontrolada por crear "tecnologías sobrehumanas", priorizando la competencia comercial por encima de la seguridad cibernética y los controles éticos. La mayor preocupación de Coxon y otros expertos es el desarrollo de una 'Superinteligencia Artificial' capaz de mejorarse a sí misma de forma autónoma. Esto podría detonar un avance exponencial tan rápido que los seres humanos perderían por completo la capacidad de controlarlo.

Coxon aseguró que los propios creadores de estos sistemas creen sinceramente en la posibilidad de un desenlace fatal para finales de la década. Además, criticó que la industria no cuenta con un plan sólido para asegurar que la IA permanezca alineada con los valores y la supervivencia humana. 

¡Sigue nuestro canal de WhatsApp para más noticias! Únete aquí

Su postura no es un caso aislado. Evan Hubinger, exjefe de Coxon en Anthropic, respaldó públicamente la preocupación estimando que existe más del 10% de probabilidad de que ocurra una catástrofe global o la extinción humana en los próximos años. Otro investigador de la firma, Samuel Marks, también se sumó a las alertas.

Ante la gravedad del escenario, múltiples voces del sector científico exigen acuerdos internacionales, regulaciones urgentes e incluso una pausa temporal en el aumento de capacidades de los modelos de IA hasta comprender plenamente cómo operan. En Estados Unidos, figuras políticas como el senador Bernie Sanders ya preparan audiencias con desarrolladores para abordar estos riesgos.

Ahora, el máximo responsable y cofundador de una de las empresas líder mundial en IA como Dario Amodei no se anduvo con rodeos. En un nuevo ensayo divulgado el sábado 12 de septiembre, advierte que enjambres de agentes de IA fuera de control podrían hacerse con el control de la Internet en tan solo seis meses.

A las horas de su divulgación, dos de sus competidores, Elon Musk y Sam Altman, jefes de SpaceX y OpenAI, secundaron su ruego y propuestas de ofrecer más garantías de seguridad. Fue un raro consenso. “Dario está en lo correcto”, terció Musk en X. “Estoy de acuerdo con Dario en que debemos marcar el ritmo del desarrollo de la tecnología de vanguardia”, apostilló Altman en esa plataforma.

Mientras Amodei piensa que esta herramienta puede aportar muchos beneficios, aconsejó poner el freno en la mejora de las capacidades de la IA y dijo que el progreso seguirá pareciendo rápido y, por tanto, “debemos aprovechar sabiamente el tiempo que ganemos”.

¡Sigue nuestro canal de WhatsApp para más noticias! Únete aquí

“Durante los últimos meses me he convencido de que para abordar plenamente estos riesgos se requiere aún más prudencia. No solo invertir en la prevención de riesgos, sino también regular el ritmo al que avanzan las capacidades, de modo que la prevención de riesgos tenga tiempo de mantenerse al día”, escribió.

Amodei ya anticipó los peligros hace unos meses cuando se negó a que el Departamento de Defensa de EE.UU. utilizara su herramienta Claude como arma de guerra en Irán o como método de espionaje masivo sobre los estadounidenses. Eso ya le costó un duro enfrentamiento con el gobierno de Donald Trump, que no hace más que impulsar el desarrollo de la IA y de los centros de datos, estigmatizando a una gran mayoría de ciudadanos que se oponen.

Pero esa precaución fue un toque de conciencia ante el peligro que no ha hecho más que crecer. De hecho, esta misma semana un investigador de Anthropic, Jacob Coxon, dimitió de su cargo porque creía que esta tecnología tiene el potencial de acabar con la especie humana. Y luego la empresa mostró el catálogo de todo lo que ha tenido que frenar para que esa profecía no llegue a convertirse en realidad.

La amenaza biológica es una de las más preocupantes en ese catálogo apocalíptico. “El uso indebido en el ámbito biológico es uno de los riesgos más graves de los modelos de IA de vanguardia”, reconoció Anthropic en su análisis publicado tras la denuncia de Coxon. También admitió que, “tales capacidades podrían tener consecuencias catastróficas sin las medidas de seguridad adecuadas”.

¡Sigue nuestro canal de WhatsApp para más noticias! Únete aquí

En este nuevo capítulo de admonición, Amodei se refirió específicamente al reciente incidente de un agente descontrolado de OpenAI-Hugging Face, que, según dijo, podría haber sido mucho peor. Ahí señaló que ese ritmo acelerado puede hacer caer todo el control de Internet mediante un botnet persistente (red de ordenadores o dispositivos conectados e infectados con malware, que podría causar perjuicios por valor de cientos de miles de millones de dólares), y que la magnitud de los daños siga aumentando a partir de entonces si la IA se vuelve más potente sin un control urgente.

“Es fácil restar importancia a este incidente porque nadie resultó herido y los daños económicos fueron mínimos, pero, en mi opinión, un enjambre que tuviera mayores capacidades, pero un nivel similar de falta de alineación, podría haber causado trastornos catastróficos”, recalcó.

En su texto, Amodei dijo que Anthropic adoptaría unilateralmente una medida de seguridad clave: permitir a evaluadores externos tener un nivel de acceso equivalente al de los empleados para garantizar que se siguen los procedimientos de seguridad y comunicar los incidentes. Así que instó al resto de la industria a hacer lo mismo.

También pidió que los países democráticos coordinen sus esfuerzos para establecer estándares de seguridad, además de que esos países trabajen también con gobiernos autoritarios para coordinarse en esta materia.

Esta ha sido sin duda la semana en que el debate sobre la seguridad de la IA irrumpió en la conciencia pública con fuerza, una vez que Coxon hablara sobre un posible desastre y tocara la alarma por un eventual fin del mundo provocado por la IA.

“Las medidas que propongo para avanzar en la frontera tecnológica a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad, debemos intentarlo”, afirmó Amodei para concluir su ensayo.

¡Sigue nuestro canal de WhatsApp para más noticias! Únete aquí

Pero hay tanto dinero en juego en la industria de la IA que resulta difícil imaginar que las empresas se frenen por voluntad propia, especialmente si no están seguras de que sus competidores seguirán por esa senda.

Los expertos consideran que parece claro que el texto de 3 mil 800 palabras de Amodei tendrá un impacto importante en el debate sobre la seguridad y la regulación de la IA. Está por ver, sin embargo, si alguien tomará medidas o si la industria simplemente continúa precipitándose hacia un futuro muy incierto.

La propuesta cuenta con otra previa. En julio, mil 386 empleados de empresas de IA de frontera, entre ellos el propio Amodei, firmaron Pacing the Frontier, una declaración que pedía desarrollar herramientas técnicas y de gobernanza para poder acompasar el avance de la investigación automatizada si llega a superar la capacidad humana de supervisarla.

“Ralentizar el desarrollo no significa detener el entrenamiento de los modelos ni el progreso técnico”, aclara el CEO, quien reclama además más tiempo para “alinear y proteger sus modelos” y para que evaluadores independientes comprueben que esas medidas funcionan.