Por/By Jorge Ramos Avalos
El actual debate sobre la inteligencia artificial (IA) nos está obligando a imaginarnos el fin de la humanidad…pronto. Esto es algo que los ingenieros especializados en sistemas cibernéticos llevan años discutiendo pero que para nosotros, los mortales, es relativamente nuevo.
Todo comenzó por las declaraciones de un joven y desconocido ingeniero llamado Jacob Coxon, quien trabajaba para la empresa Anthropic y que antes estuvo en OpenAI, y que renunció de una manera muy pública. En su cuenta de X[1], el pasado 8 de septiembre, acusó a ambas compañías de actuar de manera irresponsable y de “apostar con nuestras vidas”.
Pero la frase de Coxon que causó un revuelo mundial fue esta: “La gente que está construyendo la IA cree fervientemente que nos puede matar para el final de la década”. Si esto es cierto, nos quedarían tres o cuatro años de vida.
No es el único.
Cuando le preguntaron en la BBC[2] a Geoffrey Hinton, el premio Nobel mejor conocido como el “padrino de la IA”, cuáles eran las probabilidades de que desapareciera toda la humanidad debido a las nuevas tecnologías, contestó que “un 10 por ciento no es un cálculo irracional para mí, pero realmente nadie sabe cómo calcularlo”. Y cuando la periodista lo presionó para que fuera específico, creó aún más incertidumbre y temor. “Llegué a pensar que sería entre 30 y 50 años (el fin de los humanos) pero luego lo reduje a entre 10 y 20 años. Ahora pienso que serían 10 años o menos. Y hay otra gente que piensa que sería mucho más pronto que eso”.
A partir de esos dos comentarios -el de Coxon y el de Hinton- se ha desatado un debate a nivel mundial sobre cómo evitar que esos pronósticos se conviertan en realidad. Entonces la pregunta es ¿quién controla los sistemas de inteligencia artificial? La trágica respuesta es que nadie lo está haciendo. Las compañías se están autorregulando y eso, en el futuro, puede dar muchas desagradables sorpresas.
Las dos grandes compañías estadounidenses que controlan el mercado de IA son Anthropic -que maneja el sistema Claude- y OpenAI -que tiene a ChatGPT-. Entre las dos han obtenido cerca del 80 por ciento de las inversiones en la industria, según Forbes.[3]Pero la misma revista sacó una lista de 50 empresas más pequeñas que también se dedican a la inteligencia artificial. IA es el futuro y el presente. ¿Pueden las mismas empresas impedir que sus máquinas y sistemas tomen control del mundo? La respuesta debería ser no aunque la realidad es que no sabemos. Y por eso esta preocupación global.
El principal peligro es lo que llaman en inglés “Recursive Self-Improvement” (no me gusta la traducción al español de automejora recursiva). Este es un proceso a través del cual máquinas “ultra inteligentes” podrían crear y reproducir sus propios sistemas sin la ayuda de seres humanos. Y si las máquinas toman el control de sí mismas y extienden su dominio por todo el planeta, ahí es cuando los seres humanos estaríamos en problemas. La empresa OpenAI reportó[4] recientemente sobre seis incidentes en que sus máquinas actuaron independientemente de las instrucciones que tenían. Son seis señales de alarma.
Los escenarios catastróficos son muchos y antes estaban relegados solo a la ciencia ficción. Nos podemos imaginar y especular mil cosas: que estas máquinas ultra inteligentes hackearan plantas nucleares, bases militares o los sistemas de agua potable. Supongo, por ejemplo, que podrían dejarnos sin internet y conexiones telefónicas, o cortar la electricidad, poner en cero nuestras cuentas bancarias, bloquear las redes sociales y liberar los más contagiosos virus de los laboratorios. Quizás sería posible que crearan un caos en las torres de control de los aeropuertos y obligaran en todo el planeta a una prohibición de vuelos como la que ocurrió en Estados Unidos el 9/11. En fin, tú te lo imaginas. (Escribe aquí tu propio escenario apocalíptico.)
Para estos escenarios no hay un botón rojo que, con tan solo apretarlo, desconectara a todas esas reproductoras máquinas ultra inteligentes. En el congreso de Estados Unidos han surgido muchas propuestas para que sean los políticos, y no los ingenieros, los que impongan las restricciones a la IA. Pero hay cosas que se les escapan de las manos.
Estados Unidos podría llegar a un acuerdo entre políticos y científicos para regular y limitar los alcances de la inteligencia artificial. Pero qué ocurriría si otros países como China, Rusia o dictaduras industrializadas no se ajustaran a las nuevas regulaciones. ¿Quién los podría obligar? ¿Cómo?
El peor escenario es que Donald Trump tome el control del proceso. En su cuenta de redes sociales[5] dijo que “el único control que necesita la IA es un presidente FUERTE Y LISTO (con un alto IQ) y Estados Unidos tiene eso”. Solo por esa declaración está claro que el ocupante de la Casa Blanca no debería tener la última palabra sobre este asunto.
No estoy listo para despedirme ni para decirle adiós a todos. Lo que jamás me imaginé es que algún día estaríamos hablando seriamente sobre el fin del mundo.
Are we starting to say goodbye?
The current debate over artificial intelligence (AI) is forcing us to imagine the end of humanity… soon. This is something that engineers specializing in cybernetic systems have been discussing for years, but for us mere mortals, it is relatively new.
It all began with statements made by a young, previously unknown engineer named Jacob Coxon—who worked for the company Anthropic and had previously been at OpenAI—when he resigned very publicly. On September 8, via his X account, he accused both companies of acting irresponsibly and of “betting with our lives.”
But the phrase from Coxon that caused a global stir was this: “The people building AI fervently believe it could kill us by the end of the decade.” If this is true, we would have only three or four years left to live.
He is not the only one.
When Geoffrey Hinton—the Nobel laureate best known as the “godfather of AI”—was asked by the BBC about the odds of all humanity disappearing due to new technologies, he replied, “10 percent isn’t an irrational calculation to me, but really, no one knows how to calculate it.” And when the journalist pressed him to be specific, he created even more uncertainty and fear. “I used to think it would be between 30 and 50 years [until the end of humanity], but then I narrowed it down to between 10 and 20 years. Now I think it could be 10 years or less. And there are others who think it could happen much sooner than that.”
Stemming from those two comments—Coxon’s and Hinton’s—a global debate has erupted over how to prevent these predictions from becoming reality. So, the question is: who controls artificial intelligence systems? The tragic answer is that no one does. Companies are self-regulating, and that could lead to many unpleasant surprises in the future.
The two major U.S. companies controlling the AI market are Anthropic—which runs the Claude system—and OpenAI—which owns ChatGPT. Together, they have secured nearly 80 percent of industry investment, according to *Forbes*. However, the same magazine published a list of 50 smaller companies also working in artificial intelligence. AI is both the present and the future. Can these same companies prevent their machines and systems from taking control of the world? The answer ought to be no, though the reality is that we simply do not know. That is the source of this global concern.
The primary danger is what is known as “recursive self-improvement” (a term I dislike in its Spanish translation, *automejora recursiva*). This is a process whereby “ultra-intelligent” machines could create and replicate their own systems without human assistance. If machines were to take control of themselves and extend their dominance across the planet, that is when humanity would be in trouble. OpenAI recently reported six incidents in which its machines acted independently of their programmed instructions. These are six warning signs.
There are many catastrophic scenarios—ones that used to be confined to the realm of science fiction. We can imagine and speculate about a thousand possibilities: these ultra-intelligent machines hacking into nuclear power plants, military bases, or drinking water systems. I imagine, for instance, that they could cut us off from the internet and phone networks, shut down the power grid, wipe out our bank accounts, block social media, and release highly contagious viruses from laboratories. Perhaps they could create chaos in airport control towers and force a global flight ban, similar to the one that occurred in the United States on 9/11. You get the picture. (Write your own apocalyptic scenario here.)
There is no “red button” for these scenarios that, with a single press, could shut down all those self-replicating, ultra-intelligent machines. Proposals have emerged in the U.S. Congress for politicians—rather than engineers—to impose restrictions on AI. Yet, some things are simply beyond their control.
The United States might reach an agreement between politicians and scientists to regulate and limit the scope of artificial intelligence. But what would happen if other countries—such as China, Russia, or industrialized dictatorships—failed to comply with the new regulations? Who could force them? How?
The worst-case scenario is that Donald Trump takes control of the process. On his social media account, he stated that “the only control AI needs is a STRONG AND SMART president (with a high IQ), and the United States has that.” That statement alone makes it clear that the occupant of the White House should not have the final say on this matter.
I am not ready to say goodbye or bid farewell to everyone. What I never imagined is that one day we would be seriously discussing the end of the world.
About The Author
