El Instituto de Investigación de la Agencia de Noticias Xinhua publicó un informe sobre modelos domésticos a gran escala: Xunfei Xinghuo No. 1, Baidu Wenxin No. 2

Autor: Bu Shuqing

Desde que ChatGPT desencadenó un aumento en la inversión en inteligencia artificial, los modelos domésticos a gran escala han surgido como hongos. A principios de julio, ha habido más de 80 modelos de inteligencia artificial a gran escala con una escala de parámetros de más de mil millones en Porcelana. Bajo esta nueva tendencia, ¿cómo se deben seleccionar los modelos domésticos a gran escala? ¿Qué modelo grande es el más potente?

El 12 de agosto, el Centro de Investigación de Desarrollo Empresarial de China del Instituto de Investigación de la Agencia de Noticias Xinhua publicó el "Informe de Experiencia de Modelo Grande de Inteligencia Artificial 2.0" (en lo sucesivo, el "Informe"), que es la empresa nacional más popular como como Baidu Wenxin Yiyan y Ali Tongyi Qianwen Se evalúan aplicaciones generales de modelos grandes.

Se diseñó un total de 500 preguntas aleatorias para esta evaluación, comparando con el nivel humano que ha recibido educación superior, enfatizando el valor real para la industria y la vida, y estrictamente de acuerdo con el índice de cuatro habilidades básicas, el índice IQ, el índice EQ y la herramienta. índice de eficiencia La dimensión de evaluación se pondera para garantizar el rigor de todo el proceso de evaluación.

El resultado final fue un poco sorprendente. **Xunfei Xinghuo ocupó el primer lugar en esta evaluación con una puntuación total de 1013 puntos, y ocupó el primer lugar en las dos dimensiones del índice de coeficiente intelectual y el índice de eficiencia de herramientas entre las cuatro dimensiones de evaluación; Baidu Wenxin Yiyan ocupó el primer lugar segundo y tercero respectivamente con SenseTime. **

Según el "Informe", Xunfei Xinghuo tiene siete capacidades básicas, a saber, generación de texto, comprensión del idioma, preguntas y respuestas de conocimiento, razonamiento lógico, capacidad matemática, capacidad de codificación y capacidad multimodal. Poseer conocimientos de dominio cruzado y capacidad de comprensión del idioma, y ser capaz de comprender y realizar tareas basadas en un diálogo natural.

** En la parte de habilidad básica, la brecha entre los humanos y la IA no es significativa. **El desempeño de Baidu Wenxin es el más llamativo entre los modelos; SenseTime, Zhipu AI hatGLM, 360 Smart Brain se desempeñaron bien, Xunfei Xinghuo, Ali Tongyi Qianwen, Lanzhou Technology Mchat, Kunlun Wanwei Tiangong se desempeñaron bien Todavía bien.

En términos de evaluación del coeficiente intelectual,** los humanos siguen teniendo una clara ventaja, y las puntuaciones son las más altas. **Entre todos los modelos evaluados, Xunfei Xinghuo y Zhipu A-ChatGLM ocuparon el primer lugar; Baidu Wenxin Yiyan y Kunlun Wanwei Tiangong se desempeñaron bien.

**La brecha entre la IA y los humanos es más pronunciada cuando se trata de inteligencia emocional. El "Informe" indicó que no se han observado signos evidentes de la capacidad de la IA para percibir emociones. A pesar de esto, SenseTime mostró un EQ alto que superó a sus pares, ocupando el primer lugar con una puntuación de 346, Baidu Wenxin Yiyan y Lanzhou Technology · Mchat ocuparon el segundo y tercer lugar respectivamente.

Finalmente, en términos de mejorar la eficiencia del trabajo, el "Informe" cree que la IA brinda un fuerte apoyo a los humanos, y la velocidad de procesamiento de la IA supera con creces la de los humanos. Sin embargo, a pesar de las ventajas de la alta velocidad y la alta eficiencia de la IA, la inteligencia y la imaginación humanas siguen desempeñando un papel insustituible en algunas tareas complejas e innovadoras. Los resultados de la evaluación muestran que Xunfei Xinghuo ocupó el primer lugar con una puntuación de 350 y está muy por delante, mientras que Baidu Wenxin Yiyan y Shangtang Shangdi ocuparon el segundo y tercer lugar respectivamente.

El "Informe" cree que, en comparación con junio de 2023, los productos modelo a gran escala actuales en China han logrado un progreso significativo. Sin embargo, en comparación con los humanos altamente educados, todavía existe un cierto grado de brecha entre los grandes modelos en términos de CI y EQ. Aunque en diferentes campos, la IA y los humanos muestran diferentes ventajas y desventajas, en general, el desarrollo de modelos a gran escala de IA ha tenido importantes impactos positivos en la calidad y eficiencia del trabajo y la vida humana, y los modelos a gran escala se están acelerando. en vivo y entrar en la industria.