LG U+ organiza seminario sobre optimización de tokens de IA para periodistas; planea avanzar en el negocio de tokens
Estrategia integral de reducción de costos: desde enrutamiento de modelos hasta combinación de chips
Respaldado por experiencia en operación de gran tráfico: servicios ixi-O y Todos los IA
LG U+ entrará en el mercado de transacciones entre empresas (B2B) de inteligencia artificial el próximo año, basándose en su estrategia de optimización de tokens de IA. La compañía pretende posicionarse como líder del mercado mediante una tecnología completa que aumenta el rendimiento de los agentes de IA mientras reduce los costos de tokens.
Lee Sang-yeop, Director de Tecnología (CTO) de LG U+, presentó esta estrategia el 12 de noviembre durante el "Seminario de Optimización de Tokens de IA" y afirmó que "LG U+ ha completado la verificación en múltiples servicios reales, superando la eficiencia meramente teórica". La compañía tiene previsto desarrollar su negocio de tokens a partir del próximo año mediante modelos de asociación con socios y construcción de infraestructura propia.
Enfatizó que LG U+ trabaja continuamente en la optimización del costo de tokens durante todo el proceso en el que el usuario formula una pregunta y recibe una respuesta.
Kwon Ki-duk, Jefe del Laboratorio de Ingeniería de Transformación de IA (AX), quien presentó los resultados de la investigación en optimización de tokens, explicó que "al patrones tipificar los tipos de preguntas en el proceso de ingeniería de sistemas y reducir iteraciones de búsqueda y evaluación, se puede lograr una eficiencia de más del 85 a 90%".
En la etapa de enrutamiento de modelos, se logró una reducción de costos del 25% en el procesamiento de preguntas generales y del 30% o superior en agentes de codificación. También se está desarrollando tecnología para evitar que los agentes de IA realicen búsquedas y validaciones innecesarias mientras ejecutan tareas.
LG U+ está haciendo que los modelos de IA sean más ligeros y acelerando la velocidad de generación de respuestas. Ha reducido el tamaño de su propio modelo de IA en dispositivo de 2,4 a 3 gigabytes (GB) existentes a aproximadamente 800 megabytes (MB), un tercio del volumen anterior. Kwon señaló que "el rendimiento se ha mejorado al 95% en comparación con los servicios en la nube de otras grandes empresas tecnológicas, y la producción de tokens es significativamente superior a la de los competidores".
Además, se ha perfeccionado la tecnología en la que un modelo más pequeño genera respuestas rápidamente mientras que un modelo más grande las valida. También señaló que dos artículos de investigación resultantes de estos esfuerzos fueron aceptados simultáneamente en "NeurIPS", una conferencia académica de IA.
En la etapa de infraestructura, LG U+ está persiguiendo una estrategia de combinación de chips (Chip-Mix). Ha estado colaborando durante más de dos años con Nvidia y AMD en unidades de procesamiento gráfico (GPU), así como con Furiosa AI, una empresa surcoreana de semiconductores de IA, para validar unidades de procesamiento neuronal (NPU).
El CTO afirmó que "distribuirá el procesamiento en semiconductores de mayor relación calidad-precio, dividiendo tareas que requieren gran memoria y operaciones computacionales de aquellas donde el ancho de banda de memoria es crítico, para perseguir una mayor eficiencia".
LG U+ atribuyó su capacidad para lograr la optimización de tokens a su experiencia en la operación de tráfico a gran escala. Un ejemplo destacado es el agente de llamadas de IA "ixi-O".
En el lanzamiento inicial de ixi-O, LG U+ utilizó en paralelo el modelo en dispositivo del Instituto de Investigación de IA de LG y Gemini de Google. Sin embargo, tras ajustes en entornos reales, combinó su propio modelo de IA y EXAONE para mejorar la calidad del servicio y la eficiencia de costos.
También está aplicando tecnología de optimización de tokens a AX interno. Esta es una estrategia de reducción de costos de uso de IA mediante el uso de su propio modelo de IA en la herramienta de codificación de IA que utilizan los desarrolladores, manteniendo el entorno laboral existente.
En "Todos los IA" (Everyone's AI), una colaboración con Kakao, LG U+ está a cargo de la operación del modelo de IA. El CTO expresó que "mientras Kakao maneja el área de interfaz, nosotros gestionamos el área de modelos, y se está investigando una variedad de recetas y métodos de optimización que se desarrollarán en diversas tecnologías de servicio de fábrica de tokens".
* Este artículo ha sido traducido por IA.
