Los modelos de IA más populares fallaron el 57% de las respuestas sobre finanzas personales, según la empresa fintech británica Saturn. La tasa de fallos subió hasta el 88% en preguntas difíciles de varios pasos.
Estos resultados llegan en un momento en que cada vez más consumidores dependen de los chatbots para resolver dudas de dinero.
Las preguntas difíciles pusieron a prueba casi todos los modelos de IA
El estudio utilizó 121 preguntas en 18 modelos gratuitos y de pago de proveedores como ChatGPT, Gemini, Claude y Copilot. Cada pregunta se repitió hasta 5 veces, generando más de 10,000 respuestas.
Se consideraba que una respuesta fallaba si contenía errores de hechos, omitía datos importantes o no daba una advertencia requerida.
Los modelos gratuitos fueron los peores: fallaron el 63% de las veces, comparado con un 49% de los modelos de pago. En las preguntas más complejas, los modelos gratis fallaron el 93% de las veces.
Claude Opus 5 en modo de razonamiento fue el mejor valorado. Sin embargo, aun así falló en el 39% de las respuestas. Los errores incluían cálculos incorrectos, no tener en cuenta cambios de impuestos y mencionar reglas inexistentes.
Una respuesta sobre impuestos a pensiones podría haber hecho que un ahorrador pagara un cargo de 17,500 libras ante HM Revenue and Customs.
«Millones de personas confían en los modelos de IA para consejos financieros, pero están recibiendo respuestas erróneas que pueden hacerles perder dinero», dijo Amal Jolly, CEO de Saturn, según comentó.
La confianza en los chatbots de IA sigue creciendo a pesar de todo
Mientras tanto, su uso se ha extendido entre diferentes mercados y grupos de edad. Una encuesta global de EY a 18,000 consumidores reveló que el 49% ha usado IA para tomar decisiones sobre ahorro e inversión.
El regulador financiero británico informó en agosto que cuatro de cada cinco inversores con poca experiencia han usado IA para buscar ayuda al invertir. De los encuestados, el 56% dijo confiar en estas herramientas, por encima de la televisión y la radio, que alcanzaron el 47%.
Al mismo tiempo, la investigación mostró que el 44% cree erróneamente que la información financiera generada por IA está regulada.
Una encuesta de PensionBee a 1,000 adultos en Estados Unidos señaló que casi seis de cada diez actuarían según recomendaciones de dinero sin verificar la información por su cuenta. Casi uno de cada cuatro mencionó que un chatbot ya le había dado información errónea sobre sus finanzas.
Jolly advirtió que los consejos financieros de IA no están regulados, por lo que los consumidores no cuentan con las garantías que ofrece un asesor humano. Hizo un llamado a la FCA para que actúe rápidamente.
