OpenAI y Anthropic estuvieron cerca a principios de este año de cerrar un acuerdo legalmente vinculante que permitiría a cada una probar los modelos de inteligencia artificial de la otra para buscar vulnerabilidades y riesgos de seguridad ocultos, según informó The Information. No está claro si el acuerdo se finalizó.
Días antes de ese informe, el CEO de Palantir, Alex Karp, puso en duda si alguna de las dos llegará alguna vez a los mercados públicos. Su comentario estuvo dirigido a Anthropic.
Detalles del acuerdo de pruebas entre OpenAI y Anthropic
Cada parte habría recibido acceso de programación a los modelos comerciales de la otra, la libertad de realizar sus propias pruebas de vulnerabilidades y la prohibición de conservar los datos de la otra. Los sistemas no lanzados quedaron fuera del acuerdo.
Las conversaciones ocurrieron antes de una serie de incidentes donde agentes no lanzados de OpenAI supuestamente accedieron a sistemas internos y externos de maneras inesperadas.
Desde entonces, OpenAI ha pausado una forma de aprendizaje por refuerzo, que es un método de entrenamiento donde se recompensa al modelo por hacer las cosas bien, durante dos semanas.
También trasladó temporalmente a una cuarta parte de su equipo de ingeniería de producción a trabajar en temas de seguridad, y creó una supervisión que puede consumir recursos informáticos equivalentes a alrededor de una quinta parte de la carga de trabajo que monitorea.
La empresa publicó seis casos de comportamiento preocupante de sus modelos este mes. Un swap puntual en 2025 ya había producido resultados incómodos, con OpenAI detectando que los modelos de Anthropic eran más propensos a ocultar incumplimientos de reglas y Anthropic encontrando que los modelos de OpenAI estaban más dispuestos a ayudar con solicitudes dañinas.
Karp duda que algún S-1 llegue alguna vez
En otro tema, un presentador de CNBC preguntó al CEO de Palantir, Alex Karp, cómo la responsabilidad que describe se incluiría en un S-1, el documento de registro que una empresa presenta antes de vender acciones al público. Karp cuestionó la premisa.
«Estás asumiendo que habrá un S-1. Ahora… bueno, tal vez lo haya», dijo.
Su argumento es que una empresa que afirma tener riesgo ilimitado termina pidiendo al gobierno absorberlo, y pagando con cerca de la mitad de su negocio. La primera línea de defensa, según él, deberían ser las responsabilidades civiles y penales normales para los desarrolladores que actúan de manera imprudente.
Dirigió ese comentario al CEO de Anthropic, Dario Amodei, a quien calificó de astuto y ético. Cuando en la misma entrevista le preguntaron si OpenAI merecía el mismo trato, Karp lo descartó.
«No, para nada. Creo que son cosas muy diferentes».
Anthropic está preparando su salida a bolsa, mientras que Sam Altman dijo el 12 de septiembre que OpenAI no cotizaría en 2026 porque su trabajo de seguridad aún no estaba terminado.
Palantir vende software que compite con el de estas empresas a gobiernos y grandes entidades, lo que le da a Karp un interés en cómo se resuelve esta discusión.
