LinuxParty

Durante la última década, se han logrado avances significativos en el campo de la inteligencia artificial (IA), que se ha vuelto cada vez más omnipresente en nuestra vida diaria. El uso y la adopción generalizados de la IA se pueden atribuir a múltiples factores, entre ellos el aprendizaje profundo (DL), también conocido como redes neuronales artificiales modernas, la disponibilidad de grandes volúmenes de datos y la potencia de cálculo para entrenar modelos de DL. Más recientemente, la IA generativa ha captado la atención del público en general, gracias a OpenAI y la creación de modelos de lenguaje grande (LLM) escalables y de alto rendimiento. La IA generativa también se ha utilizado para producir texto, imágenes, vídeos, código de programación y música. Existen modelos multimodales que generan imágenes basadas en descripciones de texto (por ejemplo, DALL·E) y viceversa , y estas innovaciones seguirán creciendo con bastante rapidez.

Avances en IA generativa

En 2012 se demostró un avance importante en la aplicación de un modelo de aprendizaje automático [1] para clasificar imágenes en varios grupos diferentes (ImageNet Large Scale Visual Recognition Challenge 2010). A esto le siguió el uso de aprendizaje automático para tareas de clasificación similares en texto y voz, donde los modelos de aprendizaje automático mejoraron significativamente los puntos de referencia establecidos previamente. Estos modelos se entrenaron para tareas especializadas y ofrecieron un rendimiento de vanguardia. El uso de aprendizaje automático para generar una amplia gama de resultados ha atraído a los investigadores de IA. Generative Adversarial Networks [2], el trabajo de referencia en esta dirección, se llevó a cabo durante 2014, donde se generaron imágenes de rostros humanos y números de aspecto real. Esto condujo a una mayor investigación para desarrollar técnicas de IA generativa en otros dominios.

El modelado del lenguaje ha sido una tarea desafiante para la IA. El objetivo de los modelos de lenguaje es predecir la siguiente palabra dada una secuencia de palabras. El uso de DL para preentrenar LLM se demostró en 2019 [3]. Los transformadores generativos preentrenados (GPT) son la tecnología subyacente que impulsa ChatGPT. Estos modelos se han entrenado en un gran volumen de datos de texto mediante el gasto de una enorme potencia de cómputo en unidades de procesamiento gráfico (GPU). Los resultados de GPT-3/GPT-4 para tareas como resumen de texto, respuesta a preguntas y generación de código han sido impresionantes.

Desafíos para los modelos de IA generativa

Los modelos de aprendizaje automático aprenden de los datos de entrenamiento y establecen los parámetros de las redes neuronales artificiales para representar la visión del mundo tal como se representa en los datos. Estos modelos son generalmente muchos órdenes de magnitud más grandes que los modelos tradicionales de aprendizaje automático (ML). El tamaño de estas redes y modelos puede convertirse en un desafío cuando la cantidad de datos disponibles para el entrenamiento es pequeña. La mayoría de los conjuntos de datos del mundo real tienen desequilibrios en las clases y pueden tener sesgos inherentes (no obvios). Se han desarrollado regularmente técnicas para entrenar modelos de aprendizaje automático para superar estos desafíos. De lo contrario, son propensos a memorizar los datos de entrenamiento, también conocido como sobreajuste y los modelos pueden no ser capaces de generalizar para datos no vistos o proporcionar resultados sesgados.

Los modelos de IA generativos también son propensos a los desafíos inherentes a las técnicas de aprendizaje automático. Además, la naturaleza generativa de los modelos puede introducir artefactos en los datos generados. Por ejemplo, los generadores de imágenes de IA tienen dificultades con las manos. Podrían producir imágenes de aspecto extraño que son difíciles de explicar. Se han propuesto varios enfoques para superar estos desafíos [4]. Esto también es cierto para los LLM cuyo trabajo es predecir la siguiente palabra. Pueden producir terminaciones incorrectas o proporcionar respuestas incorrectas, dados los datos con los que se entrenan. Por lo tanto, se debe tener cuidado para garantizar que existan barandillas de seguridad, en particular, cuando responden a consultas humanas.

Allanando el camino hacia aplicaciones innovadoras

El éxito inicial del aprendizaje automático se demostró en tareas específicas, como la clasificación, en las que los modelos se entrenaron para que fueran profundos y estrechos. Por el contrario, los modelos de IA generativa tienden a ser amplios y superficiales. Las aplicaciones iniciales del aprendizaje automático se diseñaron para proporcionar la mayor precisión que exigían los requisitos comerciales y los investigadores de IA se centraron en mejorar estas métricas. La IA generativa ha abierto posibilidades para el uso de la IA en campos creativos como el diseño de moda, la escritura creativa y la generación de arte. Esto conducirá a un uso más amplio de la IA en áreas que requieren un alto nivel de habilidades y que hasta ahora no se han visto afectadas por ella. La investigación futura se guiará por la forma en que estas comunidades sociales se adaptan al uso de la IA y esto puede estimular el crecimiento de aplicaciones innovadoras.

Descargo de responsabilidad: Las opiniones reflejadas en este artículo son las del autor y no reflejan necesariamente las opiniones de la organización global EY o sus firmas miembro.

Referencias

1. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: Clasificación ImageNet con redes neuronales convolucionales profundas. NIPS 2012: 1106-1114.
2. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua Bengio: redes adversarias generativas. NIPS 2014: 2672-2680.
3. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: preentrenamiento de transformadores bidireccionales profundos para la comprensión del lenguaje. NAACL-HLT (1) 2019: 4171-4186.
4. Makkapati, V., Patro, A. (2017). Mejora de la simetría en imágenes de moda generadas por GAN. En: Bramer, M., Petridis, M. (eds) Inteligencia artificial XXXIV. SGAI 2017. Apuntes de clase en informática, vol. 10630. Springer, Cham.