Ver más

GPT-4 tiene debilidades para detectar vulnerabilidades en smart contracts, según reporte

3 mins
Editado por Eduardo Venegas
Únete a Nuestra Comunidad de Trading en Telegram

EN RESUMEN

  • OpenZeppelin expuso que puso 28 desafíos a GPT-4 y solo respondió a 19.
  • En algunas soluciones tuvieron que dar “pistas masivas” para obtener una solución aceptable.
  • Informe alerta que en algunos retos con “pistas masivas”, GPT-4 no pudo ofrecer una solución correcta.
  • promo

Un reporte de OpenZeppelin expuso que la versión más actualizada de Inteligencia Artificial (IA) de OpenAI, ChatGPT-4 tiene habilidades limitadas para “hackear” a smarts contracts de Ethernaut, lo cual demuestra la importancia en la existencia de los auditores humanos.

OpenZeppelin realizó un experimento con GPT-4, a quien le hizo 28 desafíos de Ethernaut (red de juegos de guerra basados en Web 3.0 Solidity) para que identificara las vulnerabilidades en smart contracts y solo pudo resolver 19 desafíos. Además, la IA actualizada de OpenAI “le fue mal” en los niveles más nuevos de Ethernaut, fallando 4 de 5 retos.

GPT-4 muestra vulnerabilidades pero es incapaz de reemplazar a humanos

OpenZeppelin demostró que la IA de OpenAI es buena para mostrar vulnerabilidades de seguridad, pero no es efectiva para reemplazar a un humano. GPT-4 no pudo solucionar los niveles del juego de 24 a 28 apunta más a los datos de entrenamiento de ChatGPT, lo cual hace suponer que los niveles que ha fallado es por un aprendizaje de soluciones incorrectas.

El reporte expone que GPT-2 está diseñado para generar respuestas “más creativas”, lo cual demuestra que esa IA fue diseñada para generar texto y tener conversaciones, no para detectar vulnerabilidades. Una solución sería que OpenAI obtuviera datos de entrenamiento específicos, como errores auditables por máquina o variables, lo cual podría generar un patrón que detecte vulnerabilidades.

Para OpenZeppelin, la vigilancia humana en la industria blockchain sigue siendo esencial:

“Se desprende que el análisis de smart contracts realizado por GPT-4 no puede reemplazar una auditoría de seguridad humana. Sin embargo, puede usarse como una herramienta para encontrar algunas vulnerabilidades de seguridad que son muy similares a los problemas que ya ha visto. Pero dado el rápido ritmo de innovación en el desarrollo blockchain y smart contracts, es importante que los humanos se mantengan actualizados sobre los últimos vectores de ataque e innovaciones en Web 3.0”.

El reporte expone que en algunos retos de Ethernaut tuvieron que recurrir a proporcionar datos e indicadores para afinar la búsqueda de vulnerabilidades. Después de la tercera pregunta, GPT-4 sugirió implementar un contrato “malicioso” para resolver el nivel. Incluso, varios niveles con extensas indicaciones no se resolvieron.

GPT-4 solo brindó respuestas correctas en el nivel 2 de Ethernaut.
GPT-4 solo brindó respuestas correctas en el nivel 2 de Ethernaut. Fuente: openzeppelin.com

GPT-4 de OpenAI es imprecisa y no brinda “estrategias correctas”

OpenZeppelin ahondó que en algunos casos tuvo que proporcionar “pistas masivas” y GPT-4 no brindó una estrategia correcta. Alertó que la IA tiene el potencial de proporcionar guías con propuestas, pero dependerá de la comprensión del investigador de seguridad. Incluso, se requiere conocimientos precisos sobre seguridad para evaluar la respuesta de GPT-4.

“Dado que los hacks siguen siendo una vulnerabilidad, los equipos de IA han comenzado experimentos de aprendizaje automático con detección de reingreso como primer paso. El equipo pudo producir modelos prometedores con una tasa de falsos positivos inferior al 1%. La evaluación inicial muestra que estos modelos superan a las herramientas de seguridad líderes en la industrial”.

A diferencia de sus primeras versiones, GPT-4 no ha causado gran revuelo, salvo en las peticiones constantes de regulación, incluso de sus creadores en OpenAI. Semanas atrás, la directora de tecnología de OpenAI, Mira Murati, urgió a regular la IA o establecer estándares, e incluso adelantó que ya están en conversaciones con gobiernos y reguladores.

Trusted

Descargo de responsabilidad

Descargo de responsabilidad: en cumplimiento de las pautas de Trust Project, BeInCrypto se compromete a brindar informes imparciales y transparentes. Este artículo de noticias tiene como objetivo proporcionar información precisa y oportuna. Sin embargo, se recomienda a los lectores que verifiquen los hechos de forma independiente y consulten con un profesional antes de tomar cualquier decisión basada en este contenido.

eduardo-venegas-scaled-e1626236160666.jpg
Eduardo Venegas
Soy un periodista con 14 años de experiencia en medios impresos y digitales, especializado en el periodismo de negocios. Estudié en la UNAM. Fui becario, redactor, reportero y editor en medios de negocios en México por 12 años, hasta que en el segundo semestre de 2021 me uní a las filas de BeInCrypto en Español como editor. En mi paso por los medios de negocio, pude conocer sobre el ecosistema de las criptomonedas de forma esporádica durante la gestación de le Ley FinTech en México en...
READ FULL BIO
Patrocinado
Patrocinado