Dario Amodei, CEO de Anthropic, aboga por la instauración de organismos de supervisión independientes que controlen el desarrollo de la inteligencia artificial para evitar riesgos asociados a esta tecnología emergente. En una reciente propuesta, sugirió implementar «evaluadores integrados» que trabajen dentro de las compañías y revisen en tiempo real las prácticas de seguridad en la creación y entrenamiento de modelos de IA.
Vínculos con comunidades de seguridad e influencia del altruismo efectivo
Amodei destaca la labor de METR, un laboratorio de pruebas para seguridad de IA fundado por expertos como Beth Barnes y Paul Christiano, quienes tienen conexiones con la filosofía del altruismo efectivo. Esta corriente sostiene que se deben usar evidencias y razonamientos precisos para maximizar el impacto positivo de acciones y recursos. Ambos fundadores colaboraron con Anthropic y aportaron evaluaciones de seguridad para su sistema Claude.
Trayectoria de Amodei y elección de un camino más cauteloso
Con formación en biofísica y experiencia en compañías tecnológicas como Baidu, Google Brain y OpenAI, Amodei decidió dejar OpenAI en 2020 por discrepancias sobre las medidas de seguridad implementadas en la inteligencia artificial. Desde entonces, lidera Anthropic, donde han establecido directrices éticas para su IA «Claude», buscando evitar usos inseguros o poco éticos.
Propuesta para aumentar la transparencia en IA
En sus declaraciones, Amodei enfatiza que la sociedad merece conocer el funcionamiento interno de las tecnologías de IA. La introducción de evaluadores externos empleados de forma continua facilitaría un control más riguroso, ayudando a detectar incidentes y a comprobar la alineación de los modelos y sus procesos de entrenamiento con los estándares de seguridad establecidos.
Compromiso con el desarrollo responsable de la IA
A pesar de los riesgos, Amodei mantiene la convicción de que la IA puede mejorar significativamente la calidad de vida humana. Indica que para alcanzar esos beneficios es imprescindible construir la tecnología cuidadosamente y establecer reglas claras en toda la industria para asegurar su uso seguro y responsable.
