Google publicó un artículo sobre la IA que reescribió el camino que debe seguir esta en el futuro

Google es una de las grandes compañías tecnológicas del mundo, y como el resto, está interesada en la inteligencia artificial. Invierte millones de dólares en el desarrollo de Gemini, su modelo multimodal alternativo a sistemas muy establecidos como ChatGPT, de OpenAI, o Claude, de Anthropic. Está diseñado para generar contenido nuevo, y su enfoque está en mejorar la precisión, relevancia y creatividad de las respuestas.

Aunque la inteligencia artificial es una tecnología que está al alcance de los usuarios normales y corrientes desde hace un par de años, lleva mucho tiempo en desarrollo. Google Brain es un equipo de investigación dentro de Google, fundado en 2011, que se enfoca en el desarrollo de la IA y aprendizaje profundo.

Fue uno de los pioneros en explorar y aplicar tecnologías de redes neuronales profundas, lo que permitió avances significativos en el campo de la inteligencia artificial moderna. En el año 2017, un grupo de investigadores de Google Brain publicó un artículo científico (paper) que cambiaría para siempre la trayectoria de la IA.

«Atención es todo lo que necesitas»

Con el título «Attention Is All You Need» (Atención es todo lo que necesitas), un equipo de investigadores de Google Brain publicaron en 2017 un artículo científico que ha resultado ser fundamental en el campo de la inteligencia artificial, especialmente en el procesamiento del lenguaje natural (NLP).

El mayor logro de este paper fue la introducción de un nuevo modelo de arquitectura para tareas de traducción automática y otros problemas de procesamiento de secuencias. Llamado Transformer, ha revolucionado el campo del aprendizaje automático debido a su eficiencia y capacidad para manejar grandes cantidades de datos.

Antes de Transformer, los modelos más utilizados para traducción de idiomas y otras tareas de procesamiento de secuencias eran los modelos recurrentes (como las redes neuronales recurrentes (RNN) y sus variantes avanzadas como las LSTM (Memoria larga a corto plazo)). Estos modelos procesaban las secuencias de datos de manera secuencial, es decir, un elemento de secuencia a la vez, lo que dificultaba el aprendizaje de dependencias a largo plazo.

Por otro lado, los modelos de redes neuronales recurrentes eran lentos, ya que su estructura dependía de procesar cada palabra o elemento de la secuencia uno por uno. El artículo científico de Google Brain introdujo el mecanismo de «atención» como base para construir el modelo Transformer.

Transformer se basa en un mecanismo de atención que permite a cada palabra o elemento de la secuencia «prestar atención» a otras partes de la secuencia sin importar su posición. Con esto, puede aprender las relaciones entre palabras de manera más eficiente, sin necesidad de procesar secuencias una a una.

Las ventajas del modelo Transformer eran muchas, como la paralelización (procesamiento de todos los elementos de la secuencia al mismo tiempo, lo que significa una mejora en la velocidad de entrenamiento), el mejor manejo de dependencias a largo plazo y la escalabilidad (puede entrenarse de manera más efectiva en grandes conjuntos de datos).

Este modelo ha supuesto la base de muchos modelos avanzados, como GPT de OpenAI (es decir, ChatGPT). Estos modelos permiten tareas como la traducción automática, generación de texto, respuesta a preguntas y muchas otras.

El artículo Google publicó un artículo sobre la IA que reescribió el camino que debe seguir esta en el futuro fue publicado originalmente en Urban Tecno.