您的位置:首页> 科技> AI先进存力推动大模型落地

AI先进存力推动大模型落地

来源:中国银行保险报时间:2023-12-12 09:51

□本报记者 苏洁

2023年是大模型商业化落地元年。相关数据显示,2023年,中国大模型市场规模约为50亿元,预计2024年将达120亿元。大模型表现出的强大理解、生成和推理能力,让各行各业的企业用户普遍看好大模型将带来的巨大甚至变革性的价值,纷纷探索大模型的落地应用。

近日,爱分析联合京东云发布的《金融行业先进AI存力报告》(以下简称《报告》)显示,在大模型落地过程中,算力、数据和算法是三大支撑要素,其中算力需求最先迎来爆发。在AI先进存力建设方面,大模型落地走在前列的金融行业面临一定的挑战。

先进存力是大模型落地的前提

2023年10月,工业和信息化部等六部门联合印发的《算力基础设施高质量发展行动计划》(以下简称《行动计划》)指出,算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力,强调计算、网络、存储和应用需要协同创新、共同发展。值得注意的是,《行动计划》高度重视先进存力的建设。作为AI算力基础设施的关键组成部分之一,先进存力同样是大模型落地的前提条件。

大模型训练等场景使得存力面临一系列新挑战,而存力也往往容易成为“木桶效应”中的短板,制约计算力的效能发挥,成为大模型落地过程中潜藏的风险。

金融行业具备大模型落地的良好条件。目前,大量金融机构尤其是头部金融机构已经开始落地大模型场景应用,并自建大模型。

爱分析调研发现,金融行业典型的大模型应用场景包括数据分析、智能问答、智能客服、数字营业厅、智能投顾、智能投研、营销内容生成、产品推荐、智能风控等,部分场景已进入试点应用阶段。这些应用场景可以帮助金融机构进一步改善客户体验、提效降本,甚至有机会带来业务重塑的变革性价值。为了进行大模型能力建设,金融机构需要训练和部署自有大模型,且模型参数量往往在千亿级。对此,金融机构必须构建起坚实的智能算力基础设施,以支撑大模型的高效训练和部署。

爱分析联合创始人、首席分析师张扬表示,相比于传统AI的需求,大模型的场景具有数据量大、参数规模大、训练周期长等特点,相应的,它对存力提出了更高的要求,更加强调高吞吐、高IOPS、高带宽、低延时等极致性能。

京东云存储研发负责人表示,“为了提升大模型训练速度,需要对大规模数据集进行快速加载,从我们与客户实际接触来看,存储系统需要具备千万级IOPS、GB级带宽、微秒级延时的极致性能,以提升GPU资源利用率。”

避免存力短板

《报告》指出,在存力方面,金融机构还面临一系列新挑战,可以总结为三方面:可用、可信、可控。

具体来看,在数据采集与处理环节,需要将分散在企业各个业务系统、数据湖、数据仓库等多种来源的海量数据归集起来进行预处理。这些数据类型多元,协议复杂多样,需要存储系统支持高吞吐和大容量,同时支持多协议数据互通。模型训练环节是整个大模型落地的重中之重,时间周期长、资源消耗大,训练结果直接影响模型的任务表现,对于存储系统的考验也最大。在模型上线与运营阶段,一般需要对模型效果进行评估,并持续快速迭代模型,同样要求存储系统支持高并发、高吞吐,提高模型运营环节的效率。

在满足以上极致性能要求的前提下,金融机构在先进存力建设中还需要考虑信创适配问题。大模型和大模型算力基础设施作为下一代关键技术,还需要满足信创的适配要求,保证核心技术的自主可控。

此外,在AI先进存力建设方面,金融机构还需要尽可能降低成本。一方面,大模型整体需要巨大投入,且短期内业务收益并不直接,需要在各方面投入上尽量把控成本;另一方面,为了解决大量数据的存储需求,金融机构在大容量、高性能存储系统软硬件本身的投入也较高。

《报告》认为,展望未来,大模型时代的到来将推动新一轮的以智能算力为特征的算力基础设施建设,先进存力是其中至关重要的组成部分。对于金融机构而言,要顺利推进大模型能力与应用建设,必须先夯实算力基础设施。同时,金融机构应当提升对存力建设的重视度,做好存力与计算力、网络的匹配,避免出现存力短板,阻碍大模型落地进程。