No sólo Don Quijote ve gigantes donde en realidad hay molinos de viento: la IA (a veces) también
Por Andrea Araneda, partner de Fen Ventures
En la famosísima obra de Miguel de Cervantes, el caballero que, acompañado por su fiel escudero Sancho, vivió una supuesta gran pelea contra más de 30 gigantes, pierde la batalla cuando rompe su asta, luego de que el viento moviera el -en realidad- molino. Fuera de cuentos, los humanos también alucinamos en mayor o menor medida, y los modelos de Inteligencia Artificial LLM (large language model), como BERT, chatGPT o Bardeen, también.
En humanos, existen varias teorías que explicarían las alucinaciones. Una de ellas es de investigadores de la Universidad de Cambridge y argumenta que el hecho de que nuestro cerebro opere de forma predictiva, según la información ambigua y compleja que tenemos del mundo (lo que nos permite racionalizar, aprender y actuar), nos hace propensos a percibir cosas que no están realmente allí.
¿Y en el caso de la IA? En simples palabras, un modelo que está ‘alucinando’ genera una respuesta que es derechamente falsa, sin dar indicios de que está ‘mintiendo’ y mediante una estructura que tiene ‘sentido gramatical’. Para entender cómo esto es posible, volvamos a un concepto básico: los modelos grandes de lenguaje o LLM, aprenden de grandes conjuntos (millones) de datos para poder reconocer patrones y contextos a nivel de cada palabra, y luego hacer predicciones, uniendo palabras para armar frases coherentes. A diferencia del cerebro humano, los algoritmos no ‘entienden’ lo que están diciendo. La ‘alucinación’ de estos modelos puede ocurrir si este no fue entrenado con suficientes datos, si es que hay sesgos o si existen errores en el algoritmo en sí mismo. En resumen: tuvo un aprendizaje defectuoso en contenido y/o forma.
Más allá de que nos digan algo incierto a todos los que ‘jugamos’ diariamente con estos sistemas por curiosidad, es importante tomar nota de las repercusiones que el fenómeno puede tener en campos como la medicina u otros de uso crítico.
En mayo de este año, un abogado de Nueva York utilizó ChatGPT para generar un documento legal sobre un caso de un pasajero vs Avianca, y lo envió a la Corte federal. En el escrito, se hacía referencia a seis casos (con incluso detalles de las decisiones judiciales y citas de las declaraciones) que buscaban respaldar la postura del representante legal, pero ninguno de ellos era cierto.
Luego de que se descubriera la falsedad de los datos presentados, se le preguntó nuevamente a la herramienta si estos eran ciertos, a lo que respondió firme en la postura. El profesional de la historia recibió una multa de cinco mil dólares, y hoy seguro pensará dos veces antes de no verificar la información de su colega GPT.
Desafortunadamente, esta historia no es ni será un caso aislado. Por eso, la próxima vez que uses una herramienta basada en modelos grandes de lenguaje, toma un momento para verificar los datos. Recuerda que están entrenados con información creada por humanos que cometen errores y que, a falta de información, van a preferir decirte algo diferente a ‘no estoy segur@’. Va a sonar bien articulado, pero no necesariamente será cierto.