Mi verificador de CCAA con IA detectó el error que importaba.
Y a la vez se inventó una carrada de incumplimientos.
El encargo parecía ideal para abordar con un LLM: revisar la Memoria de una pyme desde múltiples prismas: verificación cuantitativa, cumplimiento normativo, profundidad, formato, etc.
En lo relevante, funcionó. Detectó que el resultado del ejercicio no cuadraba entre el Balance y la Cuenta de Pérdidas y Ganancias. La diferencia era de unos 42k euros y la materialidad que habíamos fijado estaba alrededor de 39k euros.
Eso es justo lo que NO se puede quedar enterrado en una verificación.
Pero el problema vino después y es que el verificador IA señaló trece incumplimientos adicionales. Pero ninguno aplicaba.
Pedía desgloses del modelo normal a una empresa que formulaba Memoria pyme. Es decir: estaba revisando una pyme con la vara de medir de una empresa grande.
Y lo hacía con la misma seguridad con la que había detectado el descuadre real. Ahí está el riesgo, y no es solo que la IA pase algo por alto. Es que genera falsos positivos convincentes.
Si nos fiamos sin revisar, se devuelve al cliente trece incumplimientos inventados.
No lo distinguí por intuición ni por olfato. Lo distinguí porque sé exactamente qué desgloses pide una Memoria pyme y cuáles solo se le exigen a una empresa grande.
La conclusión no es que la IA no sirva. Sirve. Pero hay que gobernarla.
En este caso, convertí el fallo en una regla del sistema: antes de revisar, debe fijar el modelo de Memoria aplicable y no pedir a una pyme lo que solo corresponde a una empresa grande. Iterar siempre es clave.
PD: no medí el ahorro de tiempo, así que no voy a inventarme un porcentaje bonito para decorar éste artículo y su difusión.
Lo que sí tengo claro es que el trabajo de verificación del auditor se mueve. Menos tiempo cruzando números. Más tiempo comprobando si el sistema está preguntando lo correcto.
¿Qué te preocuparía más de una IA revisando tu trabajo: que se le escape algo importante o que te llene la revisión de errores que no existen?
Ismael Llamazares , Auditor ROAC | CEO Evidentia Auditores y StratIA Global
