Paula Barnes, Pomelo: «La regulación, para ser efectiva, necesita un sandbox»

La inteligencia artificial no esperó invitación para ingresar al mundo empresarial. En un abrir y cerrar de ojos, los empleados de todos los niveles ya habían comenzado a integrar herramientas de IA en sus rutinas diarias, tanto profesionales como personales. Sin embargo, esta adopción espontánea generó un escenario paradójico: el mismo potencial tecnológico que promete optimizar procesos también abrió nuevas vulnerabilidades.

Paula Barnes, Head de Riesgos de la fintech Pomelo, y oradora en el webinar sobre prevención de fraude en Argentina organizado por este medio, observó de primera mano cómo esta transformación digital acelerada obligó a las empresas a repensar sus estrategias de gestión de riesgos.

Uno de los impactos más inmediatos se sintió en el mundo del fraude. «La sofisticación del phishing lo que hace es buscar perfiles donde puede haber un impacto financiero: llaman un CFO haciéndose pasar por el CEO o mandan mails al área de finanzas haciéndose pasar por el CEO. Pueden llegar a imitar hasta su forma de escribir, además de poder replicar la voz», detalló.

Esta realidad forzó a las organizaciones a enfrentar una paradoja regulatoria. «El mercado se mueve mucho más rápido de lo que se mueven los reguladores», señaló la especialista, quien comparó el fenómeno con el crecimiento de las billeteras cripto. «Cuando salió la inteligencia artificial generativa, ¿qué había que hacer, limitar totalmente el uso de la inteligencia artificial? Es como querer tapar el sol con una mano».

Además, Barnes advirtió sobre un riesgo aún mayor: la tentación de aplicar IA a procesos defectuosos. «Si se tiene un proceso que no funciona per se porque tiene problemas y se le aplica inteligencia artificial, va a aprender de lo roto y el output que va a dar son errores», explica. «Va a escalar los problemas e institucionalizar los errores. Se le pone un marco de verdad a los errores y nadie lo discute porque está aprendiendo de un modelo que está roto».

La penetración de la IA en las corporaciones

– ¿Cómo fue que comenzaron a utilizar IA dentro del área de riesgos?

Desde mi punto de vista, fue un poco del revés: la gente ya había empezado a usar la inteligencia artificial y se escabulló en el mundo corporativo y hasta inclusive en el mundo personal, con gente usándolo para optimizar su día a día.

Todo ese potencial se podía usar tanto para buenas cosas como para malas cosas, creo que eso fue una advertencia para decir «esto hay que ordenarlo», porque puede ser usado para el mal. Me refiero a temas concretos sobre cómo cambió el fraude. Se vieron casos en muchas empresas de deep fakes o phishing mucho más teledirigidos.

La sofisticación del phishing lo que hace es buscar perfiles donde puede haber un impacto financiero: llaman un CFO haciéndose pasar por el CEO o mandan mails al área de finanzas haciéndose pasar por el CEO. Pueden llegar a imitar hasta su forma de escribir, además de poder replicar la voz, eso no es menor. Creo que eso fue una gran advertencia.

Otra gran advertencia fue sobre cómo ordenás el uso de la inteligencia artificial dentro de una compañía. Y ahí vienen todos los temas de gobernanza. Muchas de las empresas empezaron a decir, «este tema de la inteligencia artificial y su aplicación necesita un gobierno». Y ese gobierno implica configurar las reglas de juego básicamente.

– ¿En qué sentido?

Imagínate que en una empresa mediana o grande empieza a usar la inteligencia artificial a su manera y el día de mañana lo quieren escalar y permitir que el agente creado por el equipo de marketing se hable con el agente creado por el equipo de producto. Si armaron todo con diferentes lineamientos, es muy difícil escalarlo. Se necesita una IA para poder escalar a la otra IA.

Las empresas empezaron a darse cuenta y decir: «Paren, esto está buenísimo, pero para poder eficientizarlo y potenciarlo, necesitamos que sea de manera ordenada, con ciertos límites y estableciendo una estrategia«.

El dilema de la regulación

– ¿Cómo sería ese ordenamiento?

Te diría que muchas empresas ya lo hacen. Yo lo comparo mucho con lo que fue el crecimiento de las billeteras cripto. El mercado se mueve mucho más rápido de lo que se mueven los reguladores.

Y tampoco lo veo mal eso, creo que la regulación, para ser efectiva, necesita lo que en muchos lugares se llama un sandbox. Te establezco algunas reglas, pero te dejo jugar y que seas un libre en ese juego. A partir de ese aprendizaje, el regulador empieza a entender cómo debería regular en función de los riesgos que representa este nuevo negocio para la economía en sí.

La regulación va a llegar mucho más tarde, si bien ya hay marcos normativos, sobre todo en Europa y o en Estados Unidos, en Latinoamérica estamos muy lejos, pero creo que en algún punto tenés que dejar un jugar un poco y que las mismas empresas empiecen a autorregularse.

Cuando salió la inteligencia artificial generativa, ¿qué había que hacer, limitar totalmente el uso de la inteligencia artificial? Es como querer tapar el sol con una mano, porque la gente la iba a usar igual, pero en vez de usar un mail corporativo la iba a usar con un mail personal y ahí tenés muchos más riesgos de que la información salga y se filtre que en un ambiente cerrado. Es mejor tener algo limitado a nivel corporativo y en el mientras tanto ir educando también a la gente.

La normativa va a llegar tarde y lo que se necesita hacer es que las mismas empresas vayan generando esas reglas de juego y esos límites para contener el uso y que sea eficiente, por un lado, y controlada, por el otro, para que, no genere un riesgo para la propia compañía.

La cooperación privada y el rezago público

– ¿Cómo es la cooperación con el sector privado?

Un poco lo que nos pasa, y que hablamos entre colegas, es como esto crece todos los días y se vuelve muy difícil seguirle el ritmo. Muy difícil. Ahí es donde hay un gran valor en la cooperación.

Por ejemplo, el otro día hablaba con una colega y me decía que en los ejercicios de assessment que le hacen a los proveedores de uso de inteligencia artificial se dieron cuenta de que un tema clave era el de propiedad intelectual, porque el output que generaban los modelos de algunos proveedores no terminaban siendo propiedad de la compañía. No es un tema menor a nivel de mitigación de riesgos.

– ¿Cómo observas al sector público dentro de estos debates?

En Latinoamérica lo veo bastante más atrás que al sector privado, que generalmente es el que impulsa al sector público a utilizar este tipo de herramientas y a que se apoyen este tipo de herramientas para tomar mejores decisiones o para prevenir e identificar potenciales riesgos.

Como ejemplo concreto, solo en Brasil vi un gran involucramiento del sector público para usar herramientas como el machine learning para crear un producto lo suficientemente robusto, Pix, para evitar que afecte la adopción por temas de fraude.

El riesgo de institucionalizar errores

– ¿Qué es lo fundamental a la hora de implementar IA en la mitigación de riesgos?

Creo que el delito existió, existe y va a seguir existiendo. Lo que cambia es que hay nuevas herramientas para cometer un delito. El uso de la inteligencia artificial, el machine learning y de otras herramientas para prevenirlo en las empresas es supernecesario, pero para mí hay un gran sesgo y un gran problema al aplicar inteligencia artificial a procesos rotos.

Si se tiene un proceso que no funciona per se porque tiene problemas y se le aplica inteligencia artificial, va a aprender de lo roto y el output que va a dar son errores. Hay cosas que no se solucionan con inteligencia artificial.

Si se aplica inteligencia artificial a un proceso que está roto y que aprende de lo roto, va a escalar los problemas e institucionalizar los errores. Se le un marco de verdad a los errores y nadie lo discute porque está aprendiendo de un modelo que está roto.

Cuando salió el machine learning para lo que es prevención de fraude y lavado activo en las empresas, una de las primeras cosas que hablábamos fue sobre qué tipo de datos le estás metiendo a esto. ¿Esos datos están sanitizados, están estructurados, cuál es la calidad de estos datos?.

* Paula Bernes será una de los expositores del webinar «Prevención de fraude: IA como aliada en el compliance 2025» organizado por Simalco en colaboración con Sumsub. Quienes deseen inscribirse podrás hacer en el siguiente enlace.

‍