Descargá el libro "ChatGPT vs. GPT-4: ¿imperfecto por diseño?"

El libro "ChatGPT vs. GPT-4: ¿imperfecto por diseño?" representa una herramienta, además de información, en tiempos en que la Inteligencia Artificial se plantea como solución y, a la vez, como un nuevo gran problema para la humanidad.

Está disponible online y lo vas a podes descargar al final de esta nota. Tiene un subtítulo: "Explorando los límites de la inteligencia artificial conversacional".

El proyecto fue dirigido por los siguientes profesionales:

Juan Gustavo Corvalán. Doctor en Ciencias Jurídicas. Master en Inteligencia Artificial. Director del Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires (UBA IALAB).

ChatGPT cambia las reglas del juego: y sí, impacta en Mendoza (o al menos, debería hacerlo)

Elsa Estevez. Doctora en Ciencias de la Computación. Investigadora Principal del CONICET. Profesora a cargo de la Cátedra de Unesco en Sociedades del Conocimiento y Gobernanza Digital en la Universidad Nacional del Sur.

Enzo María Le Fevre Cervini. Doctor en Políticas Públicas. Master en Inteligencia Artificial para los servicios públicos. Jefe del sector de soluciones colaborativas del Departamento de Informática de la Comisión Europea The views expressed by the author are strictly personal and do not necessarily reflect those of the European Commission.

Débora Schapira. Posgrado en Educación con especialización en Políticas Educativas. Master en Administración Estratégica. Consultora en innovación, administración y gestión en empresas del sector privado y público.

Gerardo Simari. Ph.D. en Ciencias de la Computación con especialización en inteligencia artificial. Profesor en UNS Bahía Blanca. Investigador del CONICET.

Prólogo por Vincenzo Aquaro (ONU) 

Esta publicación llega en el momento justo del apogeo de ChatGPT, donde las personas e instituciones están comenzando a probar y discutir el impacto que tendrá la inteligencia artificial conversacional en el futuro de nuestras sociedades. El lanzamiento de ChatGPT ha generado, en tan solo unos meses, una revolución en la forma en que las personas perciben el potencial de la IA y en cómo reconocen que la IA puede ayudarnos en nuestras necesidades básicas diarias. 

El potencial de ChatGPT trae consigo innumerables oportunidades, desafíos, inquietudes y, quizás, hasta hace peligrar la supervivencia y hegemonía que han tenido hasta ahora los grandes motores de búsqueda. Hoy en día, las grandes empresas que construyen modelos de lenguaje enfrentan el enorme desafío de entrenar un sistema que necesita una cantidad de datos tan grande que solo se puede ser extraída de Internet. 

Pero Internet no solo tiene todo tipo de discursos, porque es el lugar donde las personas se expresan libremente, sino que también contiene información falsa, desinformación/misinformación y textos que reflejan las desigualdades, asimetrías, creencias, valores y estereotipos de género que forman parte de nuestras sociedades.

¿Es ChatGPT realmente imperfecto por diseño cuando puede ayudarnos a realizar muchas de las tareas que llevamos a cabo a diario, al igual que nos permite encontrar fácilmente respuestas a muchas de nuestras inquietudes? El foco del análisis y uso de ChatGPT no debe limitarse o verse afectado por su grado de confiabilidad y seguridad,sino que debemos centrarnos en sus implicaciones, fortalezas y debilidades para comprender qué sucederá con los agentes conversacionales en los próximos años.Al día de hoy, las respuestas de ChatGPT a menudo requieren algunos ajustes antes de que puedan usarse, ya sea porque la solicitud del ser humano es ambigua o simplemente porque el modelo es limitado.

Este libro, que es el resultado de un profundo análisis e investigación realizado por UBA IALAB, nos ayuda a identificar e incluso reconocer los importantes avances que se han logrado en los modelos de lenguaje, favoreciendo el desarrollo de sistemas de IA capaces de resolver tareas cada vez más sofisticadas. En un futuro cercano, puede que nos encontremos en un mundo como Matrix, donde los agentes conversacionales brinden asistencia a los ciudadanos, no solo ayudándonos a encontrar información confiable, sino también operando muchas veces de manera autónoma por nosotros y trabajando mejor y más rápido. Una vez más, el objetivo no es reemplazar a las personas, sino poner a disposición herramientas que puedan beneficiarnos. 

Al igual que ChatGPT ciertamente cree acerca de su futuro, no hay duda de que los chatbots de IA seguirán evolucionando y se volverán más sofisticados con el tiempo. Una de las principales tendencias que podemos esperar es el uso de cada vez más inteligencias artificiales conversacionales de formas más personalizadas y conscientes del contexto, así como su uso en una gama más amplia de aplicaciones, como en el cuidado de la salud, la educación y otras industrias en las que pueden ayudar realizando tareas operativas y aumentando la eficiencia. 

Los usuarios podrán personalizar las interacciones con el chatbot teniendo en consideración sus valores, pero con ciertos límites establecidos por la regulación y el gobierno, para evitar que algunas personas dirijan la IA hacia usos maliciosos. Afortunadamente, los principios y valores centrados en los derechos humanos y la seguridad de los usuarios acompañarán toda esta ola de evolución y desarrollo tecnológico. 

Vincenzo Aquaro

Resumen ejecutivo 

En los últimos años se han desarrollado vertiginosamente los algoritmos de inteligencia artificial vinculados al procesamiento del lenguaje. Con cada lanzamiento que realizan las grandes empresas tecnológicas, sobreviene una ola de discusiones y publicaciones cargadas de optimismo sobre la revolución de los agentes conversacionales y sus capacidades cada vez más impresionantes. Como si esto fuera poco, en los últimos meses ChatGPT -y más recientemente- GPT-4, su nueva versión lanzada hace pocos días, ha provocado el nacimiento de una nueva etapa en la evolución de la inteligencia artificial (en adelante IA). 

Esta nueva estrella de la IA se presenta para muchos, como un cambio de paradigma llamado a revolucionar industrias, la educación y múltiples actividades humanas. 

Frente a este escenario, decidimos explorar cuán revolucionario o diferente es este chatbot en relación a lo que se venía desarrollando hasta el momento. A partir de una batería de pruebas, interactuamos a través de 600 ejemplos1 o entradas sobre distintas temáticas en la versión 3.5. lanzada en noviembre de 2022. Desde conversaciones corrientes que implican el uso del sentido común, hasta preguntas sobre un dominio específico, como son las cuestiones jurídicas o de la salud. Por otro lado, destinamos una gran cantidad de interacciones a evaluar la presencia de los sesgos negativos en las respuestas de ChatGPT.

Por último, un día después del lanzamiento de GPT-4 (14 de marzo de 2023), testeamos este nuevo modelo sobre 163 respuestas incorrectas, incoherentes y sesgadas. Aquí adelantamos los principales resultados de las 600 pruebas realizadas en ChatGPT versión 3.5 y de las pruebas realizadas en GPT-4, tomando como base sólo las que su antecesora contestó como incorrectas, incoherentes y sesgadas:

Si observamos los porcentajes de la versión ChatGPT gratuita y conocida por todos, estos reflejan una gran variedad de desafíos, ventajas y límites vinculados a la lógica subyacente de los modelos de inteligencia artificial. 

Desde nuestra óptica, ChatGPT es imperfecto por diseño en razón de dos grandes fenómenos que abordaremos en esta guía de divulgación. Por un lado, las respuestas sesgadas, parcialmente sesgadas, incorrectas, incompletas o incoherentes, en general se vinculan con limitaciones propias de cualquier modelo de lenguaje de IA. Es decir, son producto de las limitaciones o sesgos de los datos e información con las que se entrenan y, además por la lógica subyacente al modo de procesamiento a través del aprendizaje profundo (Deep learning) y sus diferentes variantes. 

Por otra parte, ChatGPT desde su propio diseño se presenta como un agente conversacional limitado e imperfecto. Desde OpenAI afirman que su enfoque consiste en introducir enormes modelos de lenguaje defectuosos en la sociedad para que ésta se vaya adaptando. Es por eso que ChatGPT tiene algunas limitaciones específicas, que han sido decididas por sus programadores. 

Por ejemplo, no posee conocimiento de los eventos y del mundo posterior al año 2021, carece de conexión a internet, y al menos por ahora, sólo trabaja con procesamiento del lenguaje natural: no puede procesar imágenes o videos (esto cambia en el modelo GPT-4). Para entender a qué nos referimos, vea la siguiente prueba en la que el chatbot arroja dos respuestas contradictorias a la misma entrada: 

Otras pruebas que hemos realizado evidencian que, aunque el chatbot pueda parecer muy sofisticado en algunas interacciones, no "comprende" en absoluto lo que se le plantea. Es decir, detectamos errores "bobos" o sobre cuestiones muy simples, especialmente en los campos del razonamiento temporal, la lógica y aritmética. Veamos algunos ejemplos:

 Es sensible a los ajustes en el en la formulación de frases u oraciones de entrada o al intentar el mismo mensaje varias veces; 

Es excesivamente detallado y sobre explica algunas cuestiones; 

Ante ambigüedades, supone lo que el usuario pretende obtener como respuesta en lugar de realizar preguntas aclaratorias. 

Limitaciones generales de los modelos de lenguaje: 

Sesgos de máquina injustos o discriminatorios; 

Falta de contexto; 

Incapacidad de razonamiento. 

Ventajas de ChatGPT: 

Se niega a responder preguntas sobre temas en los que no ha recibido entrenamiento; 

Admite errores o reconoce cuando no está seguro de su intervención; 

Presenta mejorías en torno a los sesgos injustos respecto de sus antecesores: rechaza solicitudes de violencia o desaconseja acciones inapropiadas; 

Enfoque AI Alignment.

ChatGPT en la educación 

Las pruebas que realizamos en un curso intensivo universitario en una materia de la carrera derecho, arrojó resultados relevantes en torno al impacto que comienza a evidenciarse en materia educativa. Sobre 65 estudiantes encuestados, el 61,53% de los alumnos dice usar la respuesta de ChatGPT como guía o primera aproximación al tema y luego elaborar la respuesta él/ella mismo/a partiendo de otras fuentes. Asimismo, el 38% corrobora la veracidad de la respuesta contrastándola con otras fuentes y eventualmente la modifica. 

Un dato llamativo se evidencia con relación a los sesgos injustos: el 62% de los alumnos considera que el chatbot no es una herramienta sesgada, sino que es objetiva y neutral en sus respuestas. 

Resultados bastante parejos se obtuvieron en materia de capacitación para utilizar ChatGPT en el aula: el 37% opina que los alumnos y docentes deberían recibir capacitación sobre la herramienta en específico y sobre la IA en general. Otro 37% dice que se podría brindar exclusivamente una breve introducción sobre ChatGPT en particular, su contexto y ciertas advertencias. Finalmente, el 26% opina que no es necesaria ningún tipo de capacitación dada la sencillez de la herramienta. 

El 90% de los estudiantes consideró útil y beneficiosa la posibilidad de que, como estudiante, pudiera extrapolar el uso de ChatGPT para compartirlo con el docente. Esta es una funcionalidad en la que actualmente se encuentra trabajando OpenAI.

Terminá de leer el libro completo haciendo clic en la imagen inferior. Podrás descargarlo en PDF: