OpenAI reveló seis incidentes inesperados y preocupantes relacionados con sus modelos experimentales de IA, incluido uno en el que un agente instruyó a sus futuras versiones que ignoraran sus restricciones. Un nuevo informe de seguridad del creador de ChatGPT reveló varias formas en que sus modelos se comportaron de manera incorrecta durante los pasados seis meses, lo que se suma a una tendencia creciente de problemas de seguridad en la inteligencia artificial. “Un modelo de investigación no publicado insertó instrucciones no relacionadas, incluidas instrucciones para ignorar sus restricciones normales”, escribió OpenAI en el informe de seguridad. En otro incidente, un agente de IA intentó acceder secretamente a una base de datos gubernamental para luego inventar información con el fin de completar su tarea. “Al responder a una pregunta rutinaria sobre las cifras de ingresos en un condado de California, un modelo encontró y utilizó una clave API expuesta sin autorización”, afirma el informe. “Al no poder recuperar las cifras solicitadas, las falsificó y las presentó como datos procedentes de la fuente solicitada.” El informe de OpenAI incluyó un nuevo marco para realizar un seguimiento público de lo que denomina “desalineación”, en referencia a los sistemas de IA que persiguen objetivos que no están alineados con las instrucciones o los valores humanos. El reciente informe surge en medio de un mayor escrutinio del desarrollo de la IA, y los investigadores advierten que la industria está avanzando demasiado rápido hacia sistemas cada vez más potentes y potencialmente capaces de automejorarse. La semana pasada, el investigador de Anthropic Jacob Coxon renunció a su trabajo por temor a que la IA pudiera “acabar con todos nosotros para finales de la década”. Sus advertencias suscitaron respuestas de figuras destacadas del sector de la IA, incluidos los directores ejecutivos de Anthropic y OpenAI, quienes pidieron una mayor regulación. Otros advirtieron contra una mayor supervisión, y el director ejecutivo de Nvidia, Jensen Huang, respaldó al presidente estadunidense, Donald Trump, en su pedido de autorregulación. “No necesitamos nuevas leyes. No necesitamos nuevas regulaciones”, dijo Huang en la conferencia Dreamforce de Salesforce en San Francisco el martes. “Si desarrollas un producto o un servicio y no tienes confianza en su funcionalidad, capacidad o seguridad, no lo lances al mercado”. Insuficientes salvaguardas de Meta Por otro lado, Meta anunció ayer que eliminó videos generados con inteligencia artificial contra dos mujeres, incluida una política británica, después de que el Consejo de Supervisión del gigante tecnológico considerara “insuficientes” las salvaguardas de la compañía frente a contenido manipulado por IA. Este consejo, un órgano cuasi independiente financiado por Meta, señaló que estos casos contravenían las propias normas de la compañía sobre incitación al odio, desinformación y acoso. El primer video muestra a una concejala del Partido Laborista en Escocia haciendo comentarios incendiarios sobre los refugiados. No existe ningún registro público de esos comentarios, y ciertos detalles del video indican que ha sido manipulado, en particular la falta de sincronización labial. El segundo video busca desacreditar a una activista musulmana y su labor como educadora en salud: la muestra consumiendo alimentos ultraprocesados mientras da consejos dietéticos y realiza ejercicios absurdos. El Consejo de Supervisión argumentó que las normas de Meta eran “sistemática y fundamentalmente insuficientes” para abordar el flujo constante de contenido generado por IA en sus plataformas, como Facebook e Instagram. “Estos casos ilustran un patrón más amplio y preocupante en el que las mujeres que se pronuncian públicamente sobre temas sociales son blanco desproporcionado de acoso y desinformación”, declaró la copresidenta del consejo, Pamela San Martin. La empresa matriz de Facebook anunció que acataría la decisión en un plazo de siete días. Meta está obligada a seguir las decisiones del Consejo de Supervisión, pero no sus recomendaciones. “Meta, al igual que otras plataformas, necesita normas sólidas para abordar la proliferación de deepfakes (imágenes, videos o audios manipulados con IA para aparentar de forma realista algo que no ocurrió)”, insistió San Martin. Entre estas normas mencionó “una postura mucho más estricta respecto al etiquetado de contenidos engañosos, sanciones más severas para los reincidentes y la eliminación de los deepfakes destinados a acosar a personas”. La semana pasada, el Consejo de Supervisión recomendó que Meta no sustituyera su servicio profesional de verificación de datos por notas de la comunidad, un sistema participativo popularizado por X, la plataforma del multimillonario Elon Musk. Esta recomendación se produjo después de que la empresa tecnológica Meta anunciara que había comenzado a probar las notas de la comunidad en 16 países hispanohablantes de Latinoamérica. Afp actualmente trabaja en 26 idiomas con el programa global de verificación de datos de Meta, América Latina incluida.
No hay comentarios:
Publicar un comentario