Publication date: 11 Jun 2024
IDC:从基础能力到应用,大模型实测结果揭晓
Contact
For more information, contact:- Maggie Xie Email: mxie@idc.com Phone number: +86-10-6422 9568
- Frank Wang Email: fwang@idc.com Phone number: +86-10-5603 4087
- Yvonne Liu (yvliu) Email: yvliu@idc.com Phone number: +86-10-5082 5797
北京,2024年6月11日——OpenAI 于 2023 年 3 月 14 日发布最新版本多模态大模型 GPT-4 及其 API;在中国市场,模型的通用性和泛化能力吸引了各大厂商布局,市场上的大模型/生成式AI产品纷至沓来。2024年5月,全球代表性AI技术供应商如OpenAI发布了更新的大模型GPT-4o,在文本、图像、音频和视频等多模态融合尝试方面展现出强大的能力,能够以这三者的任意组合进行输入和输出,Google也发布了大模型Gemini的最新功能、文生图模型Imagen3、对标Sora的文生视频模型Veo等。IDC观察到,在中国市场,从2024年第二季度开始,越来越多的AI技术供应商开始更新升级基础大模型及相关产品,新一轮的“百模大战”一触即发。
实测方法
本次实测面向市场上主流的大模型技术供应商,产品必须是已经开放使用,并按照国家互联网信息办公室要求已经完成备案。测试的媒介主要是基于基础大模型的网页版的产品,IDC对参与厂商的产品表现分别进行测评。基础能力问题涉及问答理解类、推理类、创作表达类、数学类、代码类等;应用问题主要包含toC通用场景类和toB特定行业类,每一类单独计分。
基础大模型产品实测结果评述
为对比国内外大模型的产品差异以及推动大模型/生成式AI相关产品的发展和应用,IDC成立产品测试团队,通过多个维度(如生成质量、使用与性能、安全与合规等)对基础大模型及相关产品进行评测,并邀请外部专家团队深入分析各个产品答案准确性、合理性等,并在审核委员会的监督下,最终得出各厂商的评估结果,供用户选型参考。
- 综合最终的得分情况,基础大模型产品能力处于第一梯队的有(梯队产品表现在同一均线,以下按照技术供应商首字母顺序排列): 阿里通义千问/通义万相等通义系列生成式AI产品、百度文心一言/文心一格、科大讯飞讯飞星火 3.5 Max、OpenAI GPT4、商汤日日新SenseNova 5.0。
- 在所有的题目类型中,目前如问答理解、toC通用场景类得分率较高,数学类、推理类、代码类问题、行业应用类的准确率较低,需进一步优化。详细的测评结果展示如下:
IDC中国大模型产品测试团队表示,2024年产业界更加关注大模型和生成式AI的落地,生成式AI的进一步发展需要多种模态的大模型作为引擎。更为接近人类的思维方式,是未来大语言模型竞争的关键,技术供应商还需持续优化大模型在数学、推理、代码等问题以及在行业应用中的生成质量,提高生成的速度并降低大模型使用的成本,加快大模型技术的应用与普及。
如需进一步了解与此研究相关的信息或关注其他相关项目研究,请与IDC中国研究总监 卢言霞(邮箱:ylu@idc.com )或者 IDC 中国研究经理 程荫 (邮箱:acheng@idc.com)联系。
-全文完-
欲了解IDC报告的更多信息,请访问www.idc.com.cn。欲购买报告,请致电+86-10-5889 1666与IDC中国销售部联系,或发 email 至 frankwang@idc.com 。
关于 IDC
国际数据公司(IDC )是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师,为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策,以实现关键业务目标。成立于1964 年,IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息,请登录www.idc.com.cn 。
- # # # -
相关咨询,请联系:
王勇,IDC中国 副总裁
电话:(+86-10) 5603 4087
谢静,IDC中国 市场部
电话:(+86-10) 6422 9568
邮箱: mxie@idc.com
扫描微信二维码,关注IDC 研究成果,掌握ICT市场脉搏