近日，云从科技正式中标中国邮政储蓄银行山东省分行（以下简称“邮储银行山东分行”）基于多模态大模型的文档影像信息提取模型构建技术服务项目，将共同打造金融行业大模型——文档多模态大模型。

这是云从科技在多模态大模型领域的又一标杆案例，也是邮储银行山东分行对云从科技实力的充分肯定。

此次合作的重点在于解决金融场景中的文档影像处理难题。

金融场景的文档影像类型众多，包括卡证、票据、合同、表格、报告等，不同类型的文档还存在大量的子类型，存在版式复杂多样化、内容表达差异大、上下文信息跨度大、真实数据收集困难等问题。

传统的OCR和文档解析往往需要针对某一具体子类型进行定制开发，导致开发成本高昂且缺乏泛化能力，同时对文档的语义理解能力低，难以应对这些挑战。

为了克服这些困难，云从科技与邮储银行山东分行携手合作，深入挖掘行业痛点。针对传统OCR和文档解析的缺陷进行了优化升级，研发基于从容大模型的文档多模态大模型。

文档多模态大模型的出现将极大提升不同版式间的泛化性能，使其能够适应各种复杂的文档版式，并且可以有效处理无固定版式的票据、卡证、合同、表格、报告等。

不仅降低定制开发成本，还可以提高大模型在不同场景下的适用性。

此外，通过语言、视觉等不同模态之间的关联，文档多模态大模型具有出色的定位能力和多答案文本抽取能力，能够准确提取非连续答案。

在数据方面，文档多模态大模型采用自研的文档合成工具，实现了数据模拟生成的功能。对于难例场景，利用数据合成和处理工具也能够进行适配训练，从而快速而灵活地优化模型效果，解决了业务数据保密和成本方面的痛点。

作为一家致力于引领新一代人工智能浪潮的企业，云从科技凭借其世界领先、自主可控的大模型核心技术，在语言、视觉等多个领域屡创世界纪录。未来，云从科技将继续秉承创新精神，为金融行业提供更优质的技术和解决方案，推动行业的智能化进程。