Uno de los nuevos modelos de IA insignia Meta lanzado el sábado, Maverick, ocupa el segundo lugar en la arena de LMuna prueba que hace que los evaluadores humanos comparen las salidas de los modelos y eligen cuáles prefieren. Pero parece que la versión de Maverick que Meta implementó en LM Arena difiere de la versión que está ampliamente disponible para los desarrolladores.
Como varios AI investigadores Señaló en X, Meta señaló en su anuncio que el Maverick en el LM Arena es una «versión de chat experimental». Un gráfico en el Sitio web oficial de llamasmientras tanto, revela que las pruebas de la arena LM de Meta se realizaron utilizando «Llama 4 Maverick optimizado para la conversación».
Como hemos escrito antes, por varias razones, LM Arena nunca ha sido la medida más confiable del rendimiento de un modelo de IA. Pero las compañías de inteligencia artificial generalmente no han personalizado o no han ajustado sus modelos para obtener mejor en el LM Arena, o al menos no han admitido hacerlo.
El problema con la adaptación de un modelo a un punto de referencia, retenerlo y luego liberar una variante de «vainilla» de ese mismo modelo es que hace que sea difícil para los desarrolladores predecir exactamente qué tan bien funcionará el modelo en contextos particulares. También es engañoso. Idealmente, los puntos de referencia, lamentablemente inadecuados como son, proporcionan una instantánea de las fortalezas y debilidades de un solo modelo en una variedad de tareas.
De hecho, los investigadores en X han Observado Stark diferencias en el comportamiento del Maverick descargable públicamente en comparación con el modelo alojado en LM Arena. La versión LM Arena parece usar muchos emojis y dar respuestas increíblemente largas.
Okl Llama 4 es definitivamente una cocción cocida jajaja, ¿qué es esta ciudad de yap? pic.twitter.com/y3gvhbvz65
– Nathan Lambert (@natolambert) 6 de abril de 2025
Por alguna razón, el modelo Llama 4 en Arena usa muchos más emojis
en juntos. ai, parece mejor: pic.twitter.com/f74odx4ztt
– Tech Dev Notes (@TechDevnotes) 6 de abril de 2025
Nos hemos comunicado con Meta y Chatbot Arena, la organización que mantiene el LM Arena, para hacer comentarios.
