Se espera que los resultados de la segunda evaluación se den a conocer esta misma semana
Cuatro modelos recién desarrollados denominados 'Epoch AI' logran ser listados como modelos destacados
La evaluación ciudadana se incluye por primera vez: el desempeño percibido podría ser determinante en los resultados
La segunda evaluación por etapas del proyecto de "Modelo Fundacional de Inteligencia Artificial Independiente" (independiente AI) impulsado por el Ministerio de Ciencia y Tecnología de la Información ha concluido. Los cuatro equipos que participaron en la evaluación han sido registrados como "modelos destacados" por organismos globales de investigación en IA, lo que ha generado gran interés en conocer cuál equipo avanzará a la siguiente fase.
Según informes de la industria del 11 de agosto, se espera que los resultados de la segunda evaluación del proyecto se hagan públicos a más tardar esta semana. En esta evaluación participaron el Instituto de Investigación de IA de LG y SK Telecom, que habían superado la primera evaluación, junto con Upstage, así como Motif Technologies (Motif), que fue seleccionado a través de una convocatoria adicional, conformando una batalla de cuatro bandos.
En la primera evaluación, el Instituto de Investigación de IA de LG ocupó el primer lugar tanto en los estándares de referencia como en las evaluaciones de expertos y usuarios. Posteriormente, LG AI Research Institute presentó "K-Exaone 2.0", SK Telecom presentó "A.X K2", Upstage presentó "Solar Open 2" el mes pasado en Hugging Face. Motif también lanzó "Motif-3" a principios de este mes.
Según el Ministerio de Ciencia y Tecnología, los cuatro modelos desarrollados por los equipos en la primera mitad de este año han sido inscritos como modelos destacados en Epoch AI, un organismo estadounidense de investigación en inteligencia artificial sin fines de lucro. Epoch AI selecciona modelos que han impactado el avance de la IA en función de la potencia computacional de aprendizaje, el desempeño y la importancia técnica.
El año pasado, los modelos clasificados como destacados en Epoch AI provinieron principalmente de Estados Unidos con 59 modelos, seguido por China con 35 y Corea del Sur con 8. Hasta ahora en este año, solo tres países han producido dichos modelos: Estados Unidos, China y Corea del Sur.
Según las estadísticas de descargas en Hugging Face durante el último mes, "Solar Open 2" de Upstage registró 25.870 descargas. En el caso de Motif, su versión beta "Motif-3 Beta" alcanzó 5.062 descargas, el "A.X K2" de SK Telecom registró 2.844 descargas, y "K-Exaone 2.0" del Instituto de Investigación de IA de LG obtuvo 1.462 descargas.
Hay también considerable interés en saber cómo las evaluaciones de organismos de investigación globales y la respuesta del mercado de código abierto influirán en los resultados de la segunda evaluación. Está por verse si el Instituto de Investigación de IA de LG, que encabezó todos los rubros en la primera evaluación, mantendrá su liderazgo, si SK Telecom y Upstage, que presentan nuevos modelos, lograrán alcanzarlo, o si Motif, que se unió a través de la convocatoria adicional, avanzará a la siguiente fase.
Especialmente destacable es que esta vez se ha introducido por primera vez una evaluación ciudadana en la que 200 ciudadanos utilizan directamente los modelos para examinar su desempeño. Si la diferencia en las puntuaciones de referencia entre modelos no es significativa, el desempeño percibido que los usuarios generales sienten al utilizar los modelos en diversas situaciones podría ser un factor determinante en los resultados de la evaluación.
Bong Kang-ho, investigador del Instituto de Política de Software, señaló: "El hecho de que un modelo registre altas puntuaciones en un estándar de referencia no necesariamente significa que los usuarios experimenten beneficios o facilidad de uso superiores". Agregó: "Si aproximadamente 200 usuarios utilizan los modelos en diversos casos que se adapten a sus necesidades individuales y reflejan los beneficios que perciben durante el proceso, se puede obtener un resultado completamente válido".
* Este artículo ha sido traducido por IA.