欢迎来到搜虎网

周跃峰:AI大模型重塑千行百业,数据决定AI智能的高度

编辑:搜虎网      来源:搜虎网      大数据   人工智能   华为

2023-08-02 13:08:12 

眼下,AI模式正在重塑千行百业,其中也包括与其密切相关的算力产业链。

当AI芯片风头正劲时,业界对内存芯片和存储设备的关注度也大幅上升,HBM(高带宽内存)、近内存计算等概念开始流行。

大模型是建立在数据和算力之上的,海量数据(维权)需要更强大的存储性能才能更好地释放算力。 因此,在大机型的推动下,存储行业正在新的需求下升级变革。

近日,华为数据存储产品线总裁周跃峰向记者谈到了存储容量的重要性:“大模型时代,数据决定了AI智能的高度。作为数据载体,数据存储成为关键人工智能大型模型的基础设施。”

长期以来,计算、存储、网络被视为数据中心的三大组成部分。 它们是密切相关的有机系统,对应着计算能力、存储能力、运输能力。 如今,在计算能力蓬勃发展的同时,存储能力也越来越受到关注。 近年来,国内建设了很多算力中心,现在的新趋势是开始建设大量的算力存储中心。

构建人工智能大模型是一个复杂、系统的过程,面临诸多挑战。 在华为看来,企业在开发和实施大规模模型应用的过程中面临四大挑战。

首先,数据准备时间长,数据来源分散,采集速度慢。 预处理100TB数据需要10天左右,不利于系统的高效利用。

其次,大型模型的规模越来越大,达到千亿甚至万亿参数,训练需要海量的计算资源和存储空间。 例如,多模态大模型使用海量文本和图片作为训练集,但目前海量小文件加载速度不足100MB/s,训练集加载效率较低。

我国为什么如此重视法治建设_我们党历来重视纪律建设_

第三,大模型参数调优频繁,训练平台不稳定。 平均每2天训练中断一次。 恢复训练需要检查点机制,故障恢复需要一天以上。

最后,大型模型的实现门槛高,系统构建复杂,资源调度困难,GPU资源利用率通常低于40%。 例如,需要非常专业的软件、硬件甚至维护工程师来进行实施和后续维护。

可见,大模型的到来对数据和存储提出了新的要求。 华为分布式存储领域副总裁韩振兴告诉21世纪经济报道记者:“AI刚刚兴起的时候,很多客户会找一些服务器的本地盘来解决小型模型。但随着大型模型的兴起,需要一个非常灵活、可扩展的外部存储,如果数据量加载太慢,建设的计算能力就会闲置,因此,它不仅仅是一个外部存储,而是一个新的类别和解决方案极高的性能。”

我们党历来重视纪律建设_我国为什么如此重视法治建设_

为了解决这些瓶颈,龙头企业开始带头进行产业合作。 近日,华为针对不同行业、场景的大规模模型应用,推出了OceanStor A310深度学习数据湖存储和FusionCube A3000训练/推送超一体化一体机。

其中,前者面向基础/行业大机型场景,支持96个闪存盘,带宽可达400GB/s,IOPS达到1200万; 后者面向行业大模型训练与推理一体化场景,融合存储、网络、多元化计算,降低企业使用AI大模型的门槛。 目前,华为存储产品已部署于科大讯飞、中科院等国内前十大型号厂商。

据悉,目前全球主要的高端存储设备厂商有3家,分别是华为、戴尔易安信和日立。 随着AI模式的不断变化,企业对高端存储的需求将进一步增加,华为、戴尔、日立也将在顶级存储战场上展开新一轮的竞争。

周跃峰向21世纪经济报道记者算了一笔成本账单:在AI大规模模型训练过程中,包括数据准备、接入实施等整体成本,算力成本约占25%,即购买服务器和 GPU; 数据准备、清理和处理(包括人工)的成本约占22%。

同时,周跃峰还举了一个例子来说明存储的重要性。 由于英文的数字记录远多于中文,因此英文的ChatGPT训练效率远高于中文。 他表示,如果中国不注重产能保留,将对AI产业的未来发展和人工智能的潜力产生巨大的限制作用。

数据显示,预计2025年中国数据量将从7.6ZB增长至48.6ZB,超越美国成为全球第一。 当前,世界各国正在加快制定国家数据战略,其中存储技术和产业成为共同关注的战略重点。

_我国为什么如此重视法治建设_我们党历来重视纪律建设

尽管AI算力中心不断崛起,但中国工程院院士、中科院计算技术研究所研究员倪光南指出,目前对算力的认识普遍片面。 广义的计算能力不仅包括计算能力,还包括存储能力和运输能力。 目前,我国算力中心的存储能力相对不足,存在重算力而忽视存储能力的倾向。

韩振兴也表达了类似的观点。 他表示,算力和存储力的建设存在一个最优的计算与存储的比例,靠算力是无法做好AI的。 算力建设过多,存储能力建设过少,会导致算力闲置,资源浪费。 因此,必须关注存储容量,以达到最佳的整体计算和存储比例。

目前国内存储发展跟不上数据量的增长。 倪光南提到的一组数据显示,中国单位GDP数据存储量只有美国的70%左右,而美国人均数据存储量是中国的9倍。 美国为212GB/人,中国约为25GB/人,可见我国数据存储行业潜力巨大,前景广阔。

在业界呼吁关注产能建设的同时,国内的政策支持计划也越来越多。 为进一步加快我国算力高质量发展,工信部新闻发言人赵志国日前表示,将出台政策文件引导算力高质量发展。算力基础设施,增加高性能智能计算供给,加强先进存储产品部署,发展算力。 网络优化行动,加快构建云边端协同、计算存储运一体化一体化、多层次的算力基础设施体系。

_我国为什么如此重视法治建设_我们党历来重视纪律建设

海量信息,精准解读,尽在新浪财经APP

搜虎网转载此文目的在于传递更多信息,不代表本网的观点和立场。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。

发表我的评论 共有条评论
    名字:
全部评论