El investigador de inteligencia artificial Jacob Coxon anunció su salida de Anthropic y aprovechó su renuncia para expresar preocupación por la velocidad con la que las principales compañías tecnológicas están desarrollando sistemas cada vez más avanzados.
Coxon, quien había trabajado en investigaciones relacionadas con el entrenamiento de modelos de IA, señaló que la competencia entre empresas como Anthropic y OpenAI podría estar llevando a la industria a priorizar el avance tecnológico por encima de la seguridad. Según su postura, uno de los mayores peligros aparecería si los sistemas llegaran a desarrollar la capacidad de mejorar sus propias versiones.
El investigador considera que una inteligencia artificial capaz de perfeccionarse de manera autónoma podría alcanzar niveles de capacidad difíciles de controlar por los seres humanos. Por ello, pidió que se tomen medidas de seguridad antes de que la tecnología llegue a ese punto.
Sus declaraciones también recibieron respaldo de Evan Hubinger, responsable de investigación sobre alineación en Anthropic. Hubinger afirmó que existe una posibilidad significativa de que una IA avanzada provoque consecuencias catastróficas durante la próxima década y reconoció que todavía quedan problemas importantes por resolver para garantizar que los sistemas futuros permanezcan bajo control humano.
Las advertencias se producen mientras las empresas de tecnología compiten por desarrollar modelos con mayores capacidades y autonomía. Algunos investigadores han señalado que los sistemas recientes ya pueden realizar tareas complejas y, en determinados casos, actuar sobre sistemas informáticos de formas que generan nuevas preocupaciones de seguridad.
El caso de Coxon reavivó el debate sobre hasta dónde debería llegar el desarrollo de la inteligencia artificial y qué medidas deberían establecerse para reducir posibles riesgos. Aunque no existe consenso científico sobre que la IA vaya a provocar la extinción humana, especialistas de la industria sí consideran necesario estudiar y controlar los riesgos asociados con sistemas cada vez más autónomos.
La discusión plantea un desafío para las compañías y los gobiernos: continuar aprovechando los beneficios de la inteligencia artificial mientras se establecen mecanismos suficientes para evitar que sus avances representen peligros difíciles de controlar.
