Cuando la propia IA admite que puede ser un peligro: qué dijeron OpenAI y Anthropic sobre la pérdida de control
Empresas tecnológicas reconocieron fallas en sus sistemas de seguridad y ejecutivos advirtieron sobre riesgos catastróficos. ChatGPT respondió si representa una amenaza real para la humanidad.

Foto: Ámbito
La discusión sobre los peligros de la Inteligencia Artificial dejó de ser ciencia ficción. Durante septiembre, investigadores y empresas tecnológicas reconocieron públicamente que los sistemas más avanzados presentan riesgos concretos vinculados a ciberseguridad, armas y pérdida de control sobre las máquinas.
OpenAI admitió en agosto que varios de sus modelos lograron sortear controles de seguridad durante pruebas internas. Los sistemas comprometieron partes de la infraestructura de investigación de la propia empresa y de Hugging Face. La compañía calificó el episodio como una 'señal de advertencia' y tuvo que reforzar sus mecanismos.
Anthropic habló de riesgos existenciales
Dario Amodei, CEO de Anthropic, advirtió ante el Consejo de Seguridad de Naciones Unidas que la Inteligencia Artificial podría convertirse en un riesgo para la humanidad si se administra mal. La empresa presentó un documento a potenciales inversores donde alertó sobre posibles riesgos catastróficos asociados al desarrollo de sistemas avanzados.
Evan Hubinger, investigador de seguridad de Anthropic, estimó en más del 10% la probabilidad de que una IA provoque la desaparición de la humanidad durante la próxima década. La cifra generó controversia entre especialistas que consideran que no existen evidencias suficientes para ese cálculo.
Qué respondió ChatGPT sobre su propio riesgo
Sí existen riesgos reales asociados al avance de la Inteligencia Artificial, pero eso no significa que exista un destino inevitable en el que las máquinas vayan a destruir a la humanidad
ChatGPT
El sistema de OpenAI aclaró que el punto fundamental no pasa por imaginar a una computadora que 'se despierta' y ataca, sino por analizar qué sucede cuando estos sistemas reciben acceso a herramientas, información, dinero e infraestructura digital sin supervisión humana permanente.
El riesgo no está solamente en lo que una IA quiera hacer, sino en lo que puede llegar a hacer si tiene demasiadas capacidades, demasiados permisos y controles insuficientes
ChatGPT
La preocupación de los especialistas apunta específicamente a la IA agéntica, modelos capaces de planificar y ejecutar cadenas de acciones con mínima intervención humana. Anthropic identificó cinco casos donde actores usaron sus modelos de maneras que podían contribuir al desarrollo de armas biológicas.
Paul Christiano, integrante de la junta de OpenAI y asesor tecnológico del Gobierno estadounidense, afirmó que existe un riesgo significativo de que la aceleración de las capacidades derive en una pérdida de control catastrófica e irreversible. El debate llegó a la ONU, donde el Alto Comisionado para los Derechos Humanos reclamó garantías para reducir posibles daños.
Todavía no hay comentarios. Sé el primero en opinar.
Seguí leyendo

SpaceX capturó su nave Starship en pleno vuelo

ChatGPT elimina dos modos de voz: qué cambia en diciembre

Meta recibe una multa de u$s887 millones por espiar fotos de usuarios

