ChatGPT: abre nuevos riesgos para Auditoría Interna

29/03/2023
Mileni
Noticias

El Instituto de Auditores Internos de España publicó en la revista de Auditoría Interna No. 132 de marzo 2023 lo siguiente:

La Inteligencia Artificial está cada vez más presente en el día a día de las compañías. ChatGPT se ha convertido en una auténtica revolución en mucho ámbitos. Analizamos los pros y contras de su incorporación a los trabajos de Auditoría Interna.

ChatGPT: así puede ayudar a las tareas de Auditoría Interna

En las últimas semanas nuestros ordenadores se han convertido en verdaderos laboratorios de experimentación en los que hemos ejecutado algunas pruebas de concepto con el ánimo de identificar casos de uso de ChatGPT en Auditoría Interna. Para compartir nuestras primeras conclusiones seguiremos el orden lógico y natural de un proyecto de auditoría: preparación (programa de trabajo), ejecución (trabajo de campo) y redacción (elaboración de un informe de auditoría interna).

El primer experimento ha consistido en solicitar la generación de un programa de trabajo de auditoría interna para una temática concreta (en nuestro caso revisión de emisiones de CO2). Es espectacular como en cuestión de segundos la máquina proporciona un listado de posibles aspectos a considerar. Es tan sólo un inicio que necesitará de bastante trabajo adicional pero el partido puede cambiar mucho si antes de jugarlo dispones de un brainstorming de ideas coherentes y ordenadas en lugar de una tabula rasa. El problema surge cuando aterrizamos el programa de trabajo a la realidad de la compañía ya que ChatGPT no puede ir a mirar a tus sistemas para comprobar información. Toda la información es estática y las compañías tienen procesos basados en datos dinámicos (precio, producto, clientes, proveedores, etc.). Es decir, es el usuario el que tiene que proporcionar toda esa información que a día de hoy llega a los servidores de OpenAI de manera irreversible.

Siguiendo con nuestro experimento, pasamos a la fase de trabajo de campo. Es en esta etapa en la que ChatGPT brilla con mayor intensidad. Nos ha parecido especialmente útil en casos de uso concretos y, de momento, sencillos como por ejemplo traducciones o resúmenes de grandes textos, si bien hay que tener en cuenta las limitaciones de confidencialidad anteriormente expuestas. También es especialmente práctico y eficiente para crear textos a partir de información limitada o incompleta. En uno de nuestros casos prácticos utilizamos un algoritmo para obtener palabras clave de una fuente de información determinada y ChatGPT redactó un memorándum dando una explicación sólida sobre el sentido y la relación entre las palabras clave. En otra prueba, hemos introducido unas cuentas anuales y le hemos pedido con éxito que hiciese una diapositiva con las principales conclusiones sobre el desempeño de la compañía.

ChatGPT también puede ser una excelente ayuda en programación. Solicitamos un pequeño desarrollo en Python para la identificación de facturas duplicadas y uno en R para la aplicación de la ley de Benford en detección de fraude. También se puede hacer el ejercicio inverso, introducir un código y preguntarle para qué sirve. Puede ser un buen complemento pero de momento

seguiremos necesitando un mínimo de conocimiento en programación en el equipo o seguir tirando de plataformas no code.

Nuestro ánimo decae, aunque sea sólo un ápice, cuando empezamos a experimentar con cargas masivas de datos. Quizás nuestras expectativas eran muy elevadas por tratarse de un modelo “zero-shot learning” que no necesita calentamiento previo ni conocerte para hacer predicciones aprovechables desde la primera línea, pero inmediatamente después debemos recordar que la herramienta está basada en lenguaje natural y, por tanto, predice texto en función de probabilidades (por sí misma no tiene capacidad de computación de dato numérico). Otra realidad que debemos tener en cuenta es la cantidad de información que podemos subir actualmente. OpenAI utiliza como unidad de medida el token que aunque no es un parámetro fijo podría asimilarse a grupos de 3-4 caracteres. El máximo número de tokens que se pueden incluir en un prompt (o pregunta) es de 2.048 (a modo de ejemplo este artículo contiene 1.511 tokens).

Finalmente llegó la hora de la verdad para cualquier auditor, la elaboración del informe de auditoría interna. Una vez más ChatGPT alardea de capacidad semántica pero también muestra al mismo tiempo su gran debilidad, la falta de información detallada del proceso o del ámbito auditado para realizar recomendaciones.

Si bien las limitaciones, técnicas y legales, condicionan a fecha de hoy estos y otros posibles casos de uso (interesados preguntar directamente al sistema para mayor detalle), ChatGPT ya es actualmente una ayuda tremendamente útil si se utiliza de manera correcta y para casos de uso determinados. La pericia del auditor interno sigue siendo imprescindible para filtrar resultados aunque el uso de la herramienta puede permitirle ahorrar tiempo en tareas más mundanas, de momento.

Para leer el artículo completo te invitamos a que siga el siguiente enlace: https://auditoresinternos.es/uploads/media_items/chatgpt-auditor%C3%ADa-interna-132.original.pdf