讯飞星火在知名大模型评测中拔得头筹-新华网
新华网 > 安徽 > 正文
2023 08/18 10:24:14
来源:新华网

讯飞星火在知名大模型评测中拔得头筹

字体:

  在《麻省理工科技评论》中国日前最新发布的大模型评测报告中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,以 81.5 分(百分制计)的成绩在本次评测中登顶。

  该大模型评测报告从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力。本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类、126 个二级分类、290 个三级标签,并针对问题的丰富性和多样性做了优化。

  在题目类型上,为了兼顾定量、定性的评价与测试,设置了“单选”“多选”“填空”“简答”4个题型,分别有 145 道、138 道、136 道和 181 道。大模型评测体系使用盲评方式,客观评估国产大模型的“聪明”程度。

  值得一提的是,从题型角度来看,主观简答题中讯飞星火凭借 83.98% 的得分率位居第一;而在客观题上,讯飞星火以 75.7% 的得分率排名第一,在主客观题型中均有良好表现。

  在刚刚过去的8月15日,讯飞星火认知大模型V2.0发布,进一步突破代码能力和多模态能力。技术获得重大突破的同时,搭载讯飞星火V2.0核心能力的应用和产品也越来越丰富:既有辅助程序员高效工作的智能编码助手iFlyCode1.0、能够进行视频创作的讯飞智作2.0、能够便捷搭建轻应用的教育数字基座应用开发助手,还有帮助教师设计教学活动、一键生成课件的星火教师助手、面向英语学习者口语练习的星火语伴2.0,讯飞AI学习机也升级AI 1对1智能编程助手和AI 1对1创意绘画伙伴。此外,科大讯飞还和华为联合发布星火一体机,让每一家企业都有机会构建专属大模型。(音璐)

【纠错】 【责任编辑:李东标】