El procesamiento masivo de datos se ha convertido en uno de los mayores desafíos financieros para las grandes corporaciones tecnológicas. AT&T, gigante de las telecomunicaciones con una presencia estratégica en el mercado mexicano, ha revelado cómo logró superar un obstáculo de escala monumental: la gestión de 8 mil millones de tokens de inteligencia artificial (IA) cada día.

Ante la imposibilidad económica y técnica de procesar tal volumen de información exclusivamente a través de modelos de lenguaje de gran tamaño (LLM), el equipo liderado por Andy Markus, director de datos de la compañía, rediseñó por completo su infraestructura de orquestación de IA. La solución consistió en implementar una arquitectura de agentes múltiples basada en la plataforma LangChain.

Este nuevo sistema funciona mediante una jerarquía donde modelos de lenguaje robustos, denominados "superagentes", supervisan y dirigen a agentes "operativos" más pequeños y especializados en tareas concisas. Según Markus, estos modelos de lenguaje pequeños (SLM, por sus siglas en inglés) han demostrado ser tan precisos como sus contrapartes de mayor escala cuando se aplican a dominios específicos. El impacto financiero y operativo ha sido contundente: una reducción de costos del 90% y una mejora sustancial en los tiempos de respuesta y latencia.

Recientemente, la firma integró esta tecnología con Microsoft Azure para lanzar "Ask AT&T Workflows", una herramienta visual que permite a los empleados automatizar tareas complejas mediante un sistema de interfaz gráfica. Estos agentes internos tienen la capacidad de procesar documentos, convertir lenguaje natural a consultas de bases de datos (SQL) y realizar análisis de imágenes, utilizando siempre los datos propietarios de AT&T para garantizar que las decisiones estén fundamentadas en la información real de la empresa y no en datos genéricos.

A pesar de la alta autonomía del sistema, AT&T mantiene un enfoque de seguridad riguroso bajo el concepto de "humano en el circuito" (human-in-the-loop). "Aunque las acciones ocurren de forma autónoma, el ser humano sigue proporcionando un control y equilibrio a todo el proceso", afirmó Markus. Todas las interacciones de los agentes quedan registradas, los datos se mantienen aislados y se aplican estrictos controles de acceso basados en roles para asegurar que la innovación tecnológica no comprometa la integridad de la información corporativa.