Coxon: “Están avanzando a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas”

Jacob Coxon, investigador de 27 años, dejó Anthropic y cuestionó a las grandes empresas de inteligencia artificial por acelerar el desarrollo de sistemas capaces de mejorar sus propias capacidades.

Especialistas advierten sobre los riesgos de la IA mientras la industria debate entre frenar o regular

Jacob Coxon, investigador de inteligencia artificial (IA) de 27 años, anunció recientemente su renuncia a Anthropic después de haber trabajado durante tres años en investigación de preentrenamiento tanto en OpenAI como en esa compañía.

En un hilo publicado en X cuestionó a las dos empresas por la velocidad con la que están desarrollando nuevos sistemas: “Hoy renuncié a Anthropic. Pasé los últimos tres años investigando el preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Están avanzando a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas”, escribió.

Coxon sostuvo que la capacidad de estos sistemas seguirá creciendo y que podrían llegar a realizar tareas que hoy requieren capacidades humanas.

En esa línea, afirmó que “pronto se convertirá en sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”.

También aseguró que existe preocupación dentro de las propias compañías: “Quienes desarrollan la IA creen sinceramente que podría acabar con todos nosotros para finales de la década”, escribió. Según Coxon, algunos ejecutivos e investigadores sénior moderan sus declaraciones cuando hablan públicamente, mientras que en conversaciones privadas expresan temor ante el rumbo de la tecnología.

El investigador cuestionó las razones por las que las empresas continúan avanzando si sus propios trabajadores consideran posible un escenario de ese tipo. A su juicio, en OpenAI muchos no han asumido completamente las consecuencias que podría tener el desarrollo de estos sistemas. Sobre Anthropic, sostuvo que allí el riesgo es comprendido, pero que la empresa participa de una carrera para llegar primero.

Coxon planteó que completar la alineación de los sistemas a toda velocidad supone confiar en que no existen alternativas mejores. También mencionó la posibilidad de acuerdos entre laboratorios para reducir el ritmo de desarrollo y no descartó medidas como una prohibición temporal de mejorar las capacidades de los modelos.

Jacob Coxon, ex investigador de Anthropic / Foto: Captura de NBC NEWS

Preocupación dentro de la industria

Las advertencias de Coxon se suman a otras manifestaciones públicas de preocupación entre trabajadores de empresas de IA. Según informó la cadena CNN, varios empleados han renunciado públicamente por motivos vinculados a la seguridad.

En julio, alrededor de 1.400 trabajadores de compañías de IA firmaron una carta abierta en la que reclamaron al Gobierno de Estados Unidos que regule la tecnología, limite el poder de las grandes empresas y reduzca la velocidad de desarrollo.

Días antes de presentado ese informe, el jefe de OpenAI, Jakub Pachocki, había advertido que las capacidades de la IA avanzan más rápido que la capacidad de los investigadores para supervisarlas y controlarlas de manera confiable.

En Anthropic, el investigador Evan Hubinger respaldó las declaraciones de Coxon: “¡Realmente creemos que la IA podría acabar con todos los seres humanos!”. Hubinger estimó personalmente que la probabilidad de que eso ocurra durante la próxima década es inferior al 10%. Después aclaró que el informe de riesgos de Anthropic reconoce esta preocupación.

También existen posiciones diferentes dentro de la comunidad tecnológica sobre si algún sistema actual podría acercarse a ella. El propio CEO de Anthropic, Dario Amodei, ha advertido en diferentes ocasiones sobre los riesgos de acelerar demasiado la competencia. En febrero señaló que “se trata de un problema de ingeniería complejo” y agregó que cree “que algo saldrá mal con el sistema de IA de alguien. Esperemos que no sea con el nuestro”.

Bill Gates, cofundador de Microsoft / Foto: Cuenta de X

Gates: riesgos y beneficios

Bill Gates, cofundador de Microsoft, también considera que el crecimiento de la IA exige nuevas reglas. En un texto publicado el 26 de agosto sostuvo que “la transición a la era de la IA será uno de los periodos más turbulentos de la historia de la humanidad” y que el mundo no se está preparando de manera suficiente.

Gates advierte sobre la necesidad de controlar los efectos negativos de la tecnología, entre ellos los cambios en el empleo, la desinformación y el uso indebido de las nuevas herramientas. También plantea preocupaciones relacionadas con la seguridad, la infraestructura necesaria para sostener los sistemas y la posibilidad de que millones de personas vean alteradas sus formas de trabajo.

Su posición, sin embargo, no es contraria al desarrollo de la IA. Considera que puede mejorar la atención médica, acelerar el desarrollo de vacunas y medicamentos para enfermedades como el VIH, la tuberculosis y la malaria, ampliar el acceso a servicios y reducir algunas brechas sociales.

También sostiene que la tecnología puede ayudar a trabajadores y emprendedores, facilitar la vida de personas con discapacidad y reducir el tiempo dedicado a tareas administrativas.

Para Gates, los beneficios no llegarán automáticamente a todos. Por lo tanto, los gobiernos y las organizaciones deben crear mecanismos para que las personas y los países de menores ingresos también puedan acceder a ellos.

La evolución de los modelos autónomos plantea dudas sobre hasta dónde los humanos mantendrán el control

La velocidad y los límites

La inteligencia artificial no apareció con los modelos actuales. La investigación sobre máquinas capaces de realizar tareas asociadas a la inteligencia humana lleva varias décadas y atravesó distintas etapas. Hubo períodos de avances y entusiasmo, pero también momentos en los que las expectativas quedaron por encima de las capacidades disponibles.

La propia definición de “inteligencia” fue cambiando a medida que las máquinas lograban nuevas habilidades. Durante un tiempo, jugar bien al ajedrez podía considerarse una prueba de inteligencia. Cuando una máquina consiguió hacerlo, esa capacidad comenzó a verse como un problema de cálculo. Después llegaron el reconocimiento de imágenes, la traducción y la conversación. Cada nuevo avance volvió a mover el límite de lo que se consideraba inteligencia.

En los últimos años, la combinación de datos, capacidad de cómputo y nuevos algoritmos permitió acelerar ese desarrollo. Los modelos más grandes, entrenados con más datos y capacidad de procesamiento, mostraron mejoras que impulsaron una carrera entre empresas para desarrollar sistemas cada vez más capaces.

Según los especialistas, el momento actual agrega una preocupación diferente: qué ocurre cuando esas capacidades aumentan más rápido que la posibilidad de supervisarlas. Coxon sostiene que los sistemas podrían llegar a hackear cualquier cosa, transformar campos enteros y adquirir poder y recursos. Gates también advierte que los modelos podrían comenzar a actuar contra nuestros intereses y que podríamos perder el control.

El debate regulatorio en Estados Unidos continúa abierto. Mientras las empresas avanzan en el desarrollo de nuevos modelos, el Gobierno ha impulsado mecanismos voluntarios para revisar determinados sistemas antes de su lanzamiento. En gran medida, las compañías siguen autorregulándose.

Al mismo tiempo, persiste la discusión sobre si imponer límites podría dejar a Estados Unidos en desventaja frente a China. Los especialistas en el área señalan que China también ha desarrollado regulaciones vinculadas a los riesgos de la IA, aunque no ha adoptado controles destinados a frenar completamente su desarrollo.

Sam Altman, CEO de OpenAI, también planteó que podría ser necesario reducir el ritmo. “Es posible que tengamos que ajustar el ritmo de desarrollo de la IA para darnos tiempo suficiente a que la sociedad se adapte a estos nuevos niveles de capacidad”, afirmó.

La tecnología seguirá avanzando, pero las preguntas sobre sus límites, sus riesgos y el control que los seres humanos podrán mantener sobre ella ya no parecen lejanas.

Comparte esta nota:

Deja una respuesta

Your email address will not be published.

Últimos artículos de Tecnologia

Archivo

Los archivos contienen y organizan documentos importantes de distinta naturaleza.