Publication date: 24 Jul 2024
需求驱动产业升级——《IDC MarketScape：中国实时湖仓市场2024年厂商评估》报告正式发布
Contact
For more information, contact:- Maggie Xie Email: mxie@idc.com Phone number: +86-10-6422 9568
- Frank Wang Email: fwang@idc.com Phone number: +86-10-5603 4087
- Yvonne Liu (yvliu) Email: yvliu@idc.com Phone number: +86-10-5082 5797
北京，2024年7月25日——国际数据公司（IDC）发布的数据显示，未来12个月，选择外部合作来构建数据管理服务的企业比例将从58%快速增长至85%。数据量的快速增长、对数据管理需求的升级以及技术架构复杂度和独立开发成本的上升，都将推动企业开始越来越多地考虑湖仓一体的管理解决方案。同时，多模数据管理、实时化将会是数据管理服务演进的两个重要方向。
在此背景下，为了更清晰地展示实时湖仓解决方案厂商的综合实力，IDC于近日发布了《IDC MarketScape：中国实时湖仓市场2024年厂商评估》（Doc# CHC51768224，2024年7月）市场研究报告，最终入选报告的厂商包括（按照首字母顺序排序）：阿里云、柏睿数据、滴普科技、华为云、镜舟科技、科杰科技、偶数科技、数新网络、腾讯云、星环科技、新华三、亚马逊云科技、亚信科技。厂商评估结果基于IDC MarketScape模型以图像形式展示。
IDC基于本次研究的主要市场发现包括：
1．从终端用户需求来看
• Iceberg、Hudi在市场上拥有更多支持者，技术供应商也多选择主动适配Iceberg或Hudi的其中一款，或两种全部兼容。但版本的选择也是用户在实际开发运维中顾虑的问题，技术厂商通常会随着Iceberg和Hudi版本的更新而更新，而最新的版本可能在数据性能和接口上存在与已有架构的问题，终端用户更偏好于成熟版本，对产品的更新敏感度更低。
• 当前市场主要需求来自于金融、能源、电力、运营商、国央企、消费、水务环境等，同时在制造、智能驾驶将会在今年产生更多新的需求，驱动因素一方面来源于政策的支持和市场更多的关注，另一方面是过去几年数据量的激增使得企业不得不更加积极地解决数据壁垒的问题。
• IDC调研显示，当前整体市场实时数据处理需求占比在15%–20%左右，而互联网、电商零售领域的实时、近实时需求可以接近50%，制造业、能源电力也在出现更多时序处理需求，但这也要同步考虑市场预算和规模体量，所以其在早期阶段。
• 从实际落地来看，部分厂商在2023年就提供了相对完备的实时和近实时数据采集和分析能力，但底层数据采集设备往往多源且不统一，无法或无法免费提供数据采集和上报能力，但随着更多体统和采集设备的升级换代，以及工具融合和中间件的出现，逐渐有更多的行业支持数据实时上传，因此对数据实时管理的需求也会增高。
• 市场采购需求走向融合，端到端成为客户提及最多的关键词之一，尤其是对银行券商、大型国央企等数字化建设程度更高的行业客户而言，他们往往拥有人工智能部、大数据部、数据管理部等多个部门，而面对预算紧张的压力和业务融合的上层需求，终端用户也希望建设一套架构来满足各个部门的实际需求。
• 在用户调研中发现，产品积木的概念被反复提及，终端用户在选择产品时会重点考虑两个问题，一是终端用户在测试部署时关心对存量应用的适配性，二是技术供应商提供的一套解决方案需要可解耦性，避免全部推翻的可能性，要与已经建设的数据解析、报表应用等结合。
• 多湖联邦存在一定市场但需求不明朗，由于大型国央企包含总部和各地区分部，通常分部管理自有业务数据，总部汇总重点数据指标，数据无法实现物理集中管理，因此需要在各地打造多个数据湖，并实现数据湖之间的统一管理和联邦查询。但这种需求目前只存在于大型跨地区集团中，市场前景还要观察后续数据的流通需求，数据要素的政策可能会加速这一趋势。
2．从技术供应商最新动作来看
• 大数据技术本身创新并不频繁，更多的企业将研发重点放在资源隔离和高并发上，大型金融、国央企用户每天任务处理量达到数十万条，还可能涉及分支结构的数据查询和调用，如果集群任务被卡则多个共享任务无法查询，因此技术供应商在满足数据库能力之上，也在重点考虑并发设计、资源隔离、大规模节点建设、队列资源分配、任务资源性价比的竞争优势。
• 生成式AI作为近两年最受关注的话题，会率先落地容错性高的业务场景。当前生成式AI投资回报收益还未显现，用户顾虑包括高算力和人力投资和低ROI，以及数据安全和隐私保护。因此现在多选择容错性更高的场景进行探索落地，例如智能问答、元数据补齐、AI Agent等。但从实际用户需求来看，Model Store不能为其带来实际的市场竞争力的提升，也不会受到用户青睐。拥有自研大模型的厂商才有更多话语权，并在提供解决方案时将自研大模型与Model Store组合使用。
• 从Data for AI角度来看，技术供应商不应仅考虑自己是大数据服务公司，而是应当从智能化平台支撑的更大范围角度来看，考虑如何为大模型供数、在结构化数据基础上做好非结构化数据管理、做好数据目录、提取元数据、指定数据质量标准、数据标注、结构化与非结构化统一等问题。
• 从市场竞争来看，虽规模较小，但中小厂商多选择搭建一站式统一平台来抢占市场份额。相较于云厂商和大型大数据厂商的产品丰富度和市场占有率，中小厂商更强调拥有统一的数据存储、元管理和数据分析能力，无须跨平台、跨产品流转，保证数据一致性和实时性，从数据处理形式来看，以结构化数据为主。
• 自助数据科学平台需求将持续增加，数据处理的需求无疑会持续上升，定制化需求也越来越多，同时Gen AI也在重塑BI查询分析产品，为开发者、工程师、业务人员、管理人员提供自助的数据分析体验，使不同角色自行搭建数据流转、分析和应用，减少数据部门不必要的支撑工作。
IDC中国新兴科技研究组高级分析师李浩然表示，Gen AI带动底层多种数据架构组合能力，包括多模态的数据管理、数据全链路分析、数据血缘分析、数据跨结构存储和自动化流动等，湖仓、实时成为用户建设、更新数据平台最关心的方向，尤其是生成式AI下海量的数据需要被传输、存储和管理，而技术供应商在提供端到端、一体化解决方案的前提下，也需要加强识别数据本身、数据间关系的能力，开始探索将数据视为资产进行管理服务，这样可以更好地解决链路流通问题。
IDC更多大数据、人工智能领域研究相关报告：
数据智能市场生态图谱，2024（即将发布）
Gen AI+Data市场趋势分析及最佳实践案例（即将发布）
面向Gen AI的数据基础设施建设指南（即将发布）
如需进一步了解与此研究相关的信息或咨询其他相关项目研究，请与IDC高级分析师李浩然（邮箱： leli @idc.com ）联系。
-全文完-
欲了解IDC报告的更多信息，请访问www.idc.com.cn。欲购买报告，请致电+86-10-5889 1666与IDC中国销售部联系，或发 email 至 frankwang@idc.com 。
关于 IDC
国际数据公司（IDC ）是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师，为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策，以实现关键业务目标。成立于1964 年，IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息，请登录www.idc.com.cn 。
- # # # -
相关咨询，请联系：
王勇，IDC中国 副总裁
电话：(+86-10) 5603 4087
谢静，IDC中国 市场部
电话：(+86-10) 6422 9568
邮箱： mxie@idc.com
扫描微信二维码，关注IDC 研究成果，掌握ICT市场脉搏