Jacob Coxon, investigador de Anthropic, dimiti� alegando que la industria hace caso omiso del riesgo de que la IA pueda aniquilar a la humanidad. D�as despu�s, Dario Amodei, director ejecutivo de Anthropic, public� un ensayo en el que explicaba c�mo y por qu� la industria y los gobiernos deben unirse para ralentizar el desarrollo de la IA de frontera y evitar que escape al control humano. Otros se sumaron r�pidamente.
Nada de esto es nuevo. Geoffrey Hinton, destacado inform�tico conocido como el �padrino de la inteligencia artificial�, estim� antes que nadie entre un 10% y un 20% la probabilidad de que una IA avanzada pueda acabar con la humanidad en los pr�ximos 30 a�os. Aunque suene alarmante, eso implica una probabilidad de supervivencia del 80% al 90%. Entonces, �c�mo aumentamos las probabilidades de alcanzar ese desenlace m�s seguro?
Hay maneras de acercar a la humanidad al lado m�s seguro de las probabilidades de Hinton. Nada est� garantizado, pero algunas condiciones marcar�an la diferencia.
La cooperaci�n entre Estados Unidos y China es un foco evidente, ya que son los pa�ses con mayor influencia sobre el futuro de la IA. La propuesta de Amodei, que contempla evaluadores externos integrados, umbrales de capacidades y una v�a hacia est�ndares compartidos, constituye un s�lido punto de partida, pero no puede proceder de una sola empresa. Otros actores, incluidos los gobiernos, tienen que estar de acuerdo.
La ralentizaci�n deber�a ser una condici�n previa y un objetivo inmediato, para ganar tiempo y construir tres mecanismos de evaluaci�n: verificaci�n frente al desarrollo y despliegue clandestinos, evaluaci�n independiente de capacidades peligrosas y seguimiento colectivo de incidentes con protocolos de crisis.
Hay precedentes de que China y Estados Unidos se unan para evitar riesgos compartidos. En noviembre de 2024, Washington y Pek�n acordaron que las decisiones sobre armas nucleares no deber�an delegarse en la IA. Eso no puso fin a la rivalidad, ni pretend�a hacerlo. El objetivo era abordar una preocupaci�n compartida sobre la toma de decisiones nucleares.
La seguridad de la IA necesita un canal similar. Las conversaciones entre el Tesoro estadounidense en Washington y los responsables de la planificaci�n econ�mica en Pek�n se centran en la estabilidad financiera y en el uso indebido por parte de actores maliciosos. Ese programa podr�a ampliarse para incluir la p�rdida de control, la automejora recursiva y la escalada de las crisis. Con la visita prevista del presidente Xi a Washington este mes y varias grandes cumbres en el horizonte, existe una oportunidad.
Estos canales no deben improvisarse. Una v�a realista parte de compromisos voluntarios entre laboratorios y medidas para impulsar evaluaciones independientes, posiblemente reforzadas mediante incentivos contundentes. Esto deber�a conducir a normas m�s formales y vinculantes y a un organismo internacional encargado de hacerlas cumplir.
M�s all� de la diplomacia entre Estados Unidos y China, la colaboraci�n entre otros pa�ses podr�a aportar equilibrio al ecosistema mundial de la IA. Muchas �potencias intermedias� quieren tener voz en los est�ndares que configuran sus sociedades, pero carecen de la capacidad de computaci�n necesaria para desarrollar modelos de frontera que compitan con los l�deres. Estados Unidos concentra aproximadamente el 75% de la capacidad mundial de computaci�n para IA, China el 15% y la Uni�n Europea alrededor del 5%.
Poner en com�n los recursos, un enfoque que algunos denominan "el CERN de la IA", les dar�a capacidad de influencia y permitir�a impulsar la evaluaci�n, adem�s de proporcionarles una legitimidad mayor para participar en procesos de verificaci�n que permitan exigir responsabilidades a todos. En lugar de intentar construir campeones nacionales, podr�an combinar instituciones p�blicas de investigaci�n, presupuestos de computaci�n y conocimientos t�cnicos en programas compartidos de seguridad para la IA de frontera. Repartir�an el elevado coste de entrenar modelos y construir�an sistemas con garant�as de seguridad integradas.
Hay se�ales positivas. Australia, Canad�, la UE, Francia, Jap�n, Kenia, Corea y Singapur ya cooperan a trav�s de una red de institutos de seguridad de la IA gestionada ahora desde el Reino Unido. Nueve de las 12 principales empresas de IA establecen umbrales a partir de los cuales un modelo adquiere suficiente potencia como para justificar una cautela adicional, pero mueven la porter�a a medida que se intensifica la carrera, por miedo a perder su ventaja. No existe un criterio com�n. Cada empresa decide por s� misma.
Despu�s de los incidentes relacionados con la IA de este verano y de las declaraciones de la semana pasada, la autoevaluaci�n no inspirar� confianza p�blica. Expertos independientes, dotados de los recursos necesarios para verificar que los controles de acceso, la supervisi�n y los mecanismos de apagado funcionan, ofrecen una v�a m�s cre�ble, del mismo modo que la aviaci�n registra los incidentes que estuvieron a punto de convertirse en accidentes para detectar el peligro antes de que llegue el desastre.
La �ltima condici�n es menos dram�tica, pero no por ello menos crucial: un vocabulario compartido para los riesgos de la IA de frontera que permita una gobernanza internacional coordinada. Aunque la Asamblea General de la ONU de este mes no producir� un acuerdo vinculante, no deber�a juzgarse con ese criterio. Su valor est� en otra parte.
Antes de que los gobiernos puedan ponerse de acuerdo sobre qu� hacer, tienen que ponerse de acuerdo sobre aquello de lo que est�n hablando, y despu�s decidir hasta d�nde est�n dispuestos a llegar para evitar una cat�strofe.
Existen precedentes en la gesti�n de riesgos globales. Pensemos en la diplomacia del ozono. El Convenio de Viena de 1985 no estableci� l�mites vinculantes para las sustancias que agotan la capa de ozono, sino �nicamente definiciones comunes y un foro para comparar datos. Siete semanas despu�s, los investigadores publicaron el descubrimiento de un agujero en la capa de ozono. Dos a�os m�s tarde, ese marco se convirti� en el Protocolo de Montreal, vinculante y dotado de mecanismos de aplicaci�n.
Primero llegaron las definiciones y los encuentros. Despu�s de que las pruebas se volvieran incontestables lleg� una acci�n r�pida y vinculante. Puede ocurrir lo mismo con la IA: primero medidas voluntarias y definiciones compartidas, despu�s normas vinculantes cuando las pruebas y la voluntad sean incontestables, con el compromiso regional convirti�ndose en global.
Mucho depender� de c�mo respondan los laboratorios chinos y Pek�n al llamamiento de Amodei. Su respuesta demostrar� si la voluntad de ralentizar es realmente compartida.
Nada de esto garantiza los cuatro quintos m�s seguros de las probabilidades de Hinton. Los cient�ficos siguen discrepando sobre la magnitud del riesgo catastr�fico, y los gobiernos tienen abundantes razones para aplazar decisiones dif�ciles. Pero estos pasos demostrar�an, como m�nimo, que no estamos dispuestos a resignarnos a la probabilidad.
La advertencia de Hinton pretend�a inquietarnos. Tambi�n deber�a recordarnos que la mayor parte del futuro sigue sin estar decidida y que todav�a est� en nuestras manos darle forma. Pero el tiempo se agota, y no hay vuelta atr�s despu�s de una p�rdida de control.
Nicolas Miailhe es cofundador de AI Safety Connect, una plataforma de diplomacia Track 1.5 que re�ne a gobiernos, laboratorios de IA de vanguardia y la sociedad civil en torno a la seguridad y gobernanza de la IA
10 Comentarios
Cuando la rob�tica AI sea com�n, la energ�a sea infinita, y haya mejorado unas d�cadas, la IA no nos necesitar� para nada. Pero eso no quiere decir que nos extermine, quiz� nos exterminemos nosotros mismos antes, eso s�, con ayuda de una AI �tonta� sin valores ni consciencia. Quiz� una AI omnipotente y omnipresente tenga mejores valores que nosotros y para nada nos extermine. Pero hasta entonces, con su poder mal utilizado, quiz� nosotros s� nos extingamos entre nosotros.
Mira que sois pesados, la IA o piensa, no decide, no planea nada, no tiene conciencia. Dejad de hace el juego a los psic�patas que la programan. Aunque no lo vais a hacer porque os tienen bien pagados. Esa es la prueba de vuestra miseria.
Terror�fico. Por mi parte no la uso apenas, y a partir de ahora cero. Debemos frenar esto y regularlo ya mismo.
Solo va a pasar una cosa, no te pienses que van a pasar las cuatro...
La IA va a sobrepasar a los humanos pronto en muchas cosas si no lo ha hecho ya, pero una IA siempre va a tener enfrente a otra IA para contrarrestarla, aprendiendo ambas de s� mismas y de la otra. Avances, empates, avances y as� sucesivamente.
La IA no puede ser tan tonta como para acabar con la humanidad. Nos necesita, aunque sea para que trabajemos para ella.
La IA nos va a necesitar? Si las respuesta es no, nos extinguir� como especie o nos har� sus esclavos.
Bueno como ese porcentaje es inventado y no corresponde a ningun metodo de calculo conocido
Las otras cuatro est�n libres para que las aprovechemos nosotros. EEUU ya ha reconocido de que tiene armas en el espacio. Si Trump fuse de aqui dir�a que eran por si nos atacaban los extraterrestres. Y si fuese Socialista negar�a a que las hubiese por que ser�a xenofobia contra los migrantes. (iron�a-off)
La �a para lo �nico que tendr�a que servir es para todo lo relacionado con la medicina pero a nivel positivo no buscar formulas de genes para el exterminio, mejores motores y no bombas y poco m�s.