Un reporte de OpenZeppelin expuso que la versión más actualizada de Inteligencia Artificial (IA) de OpenAI, ChatGPT-4 tiene habilidades limitadas para “hackear” a smarts contracts de Ethernaut, lo cual demuestra la importancia en la existencia de los auditores humanos.
OpenZeppelin realizó un experimento con GPT-4, a quien le hizo 28 desafíos de Ethernaut (red de juegos de guerra basados en Web 3.0 Solidity) para que identificara las vulnerabilidades en smart contracts y solo pudo resolver 19 desafíos. Además, la IA actualizada de OpenAI “le fue mal” en los niveles más nuevos de Ethernaut, fallando 4 de 5 retos.
GPT-4 muestra vulnerabilidades pero es incapaz de reemplazar a humanos
OpenZeppelin demostró que la IA de OpenAI es buena para mostrar vulnerabilidades de seguridad, pero no es efectiva para reemplazar a un humano. GPT-4 no pudo solucionar los niveles del juego de 24 a 28 apunta más a los datos de entrenamiento de ChatGPT, lo cual hace suponer que los niveles que ha fallado es por un aprendizaje de soluciones incorrectas.
El reporte expone que GPT-2 está diseñado para generar respuestas “más creativas”, lo cual demuestra que esa IA fue diseñada para generar texto y tener conversaciones, no para detectar vulnerabilidades. Una solución sería que OpenAI obtuviera datos de entrenamiento específicos, como errores auditables por máquina o variables, lo cual podría generar un patrón que detecte vulnerabilidades.
Para OpenZeppelin, la vigilancia humana en la industria blockchain sigue siendo esencial:
“Se desprende que el análisis de smart contracts realizado por GPT-4 no puede reemplazar una auditoría de seguridad humana. Sin embargo, puede usarse como una herramienta para encontrar algunas vulnerabilidades de seguridad que son muy similares a los problemas que ya ha visto. Pero dado el rápido ritmo de innovación en el desarrollo blockchain y smart contracts, es importante que los humanos se mantengan actualizados sobre los últimos vectores de ataque e innovaciones en Web 3.0”.
El reporte expone que en algunos retos de Ethernaut tuvieron que recurrir a proporcionar datos e indicadores para afinar la búsqueda de vulnerabilidades. Después de la tercera pregunta, GPT-4 sugirió implementar un contrato “malicioso” para resolver el nivel. Incluso, varios niveles con extensas indicaciones no se resolvieron.
GPT-4 de OpenAI es imprecisa y no brinda “estrategias correctas”
OpenZeppelin ahondó que en algunos casos tuvo que proporcionar “pistas masivas” y GPT-4 no brindó una estrategia correcta. Alertó que la IA tiene el potencial de proporcionar guías con propuestas, pero dependerá de la comprensión del investigador de seguridad. Incluso, se requiere conocimientos precisos sobre seguridad para evaluar la respuesta de GPT-4.
“Dado que los hacks siguen siendo una vulnerabilidad, los equipos de IA han comenzado experimentos de aprendizaje automático con detección de reingreso como primer paso. El equipo pudo producir modelos prometedores con una tasa de falsos positivos inferior al 1%. La evaluación inicial muestra que estos modelos superan a las herramientas de seguridad líderes en la industrial”.
A diferencia de sus primeras versiones, GPT-4 no ha causado gran revuelo, salvo en las peticiones constantes de regulación, incluso de sus creadores en OpenAI. Semanas atrás, la directora de tecnología de OpenAI, Mira Murati, urgió a regular la IA o establecer estándares, e incluso adelantó que ya están en conversaciones con gobiernos y reguladores.
Descargo de responsabilidad
Descargo de responsabilidad: en cumplimiento de las pautas de Trust Project, BeInCrypto se compromete a brindar informes imparciales y transparentes. Este artículo de noticias tiene como objetivo proporcionar información precisa y oportuna. Sin embargo, se recomienda a los lectores que verifiquen los hechos de forma independiente y consulten con un profesional antes de tomar cualquier decisión basada en este contenido.
