欢迎来到搜虎网

下一代GH200运行AI模型速度比模型快3.5倍

编辑:搜虎网      来源:搜虎网      芯片   内存   模型   带宽   季度

2023-08-09 23:01:41 

下一代版本的GH200 Grace Hopper超级芯片将是全球首款搭载HBM3e显存的GPU芯片。 HBM3e 内存将使下一代 GH200 运行 AI 模型的速度比当前模型快 3.5 倍。

英伟达芯片涨价__英伟达芯片产量

Nvidia 首席执行官黄仁勋 (Jensen Huang) 穿着他标志性的皮夹克登上了世界顶级计算机图形会议 SIGGRAPH 的舞台。

太平洋时间 8 月 8 日,英伟达 CEO 黄仁勋身着标志性的皮夹克登上全球顶级计算机图形学大会 SIGGRAPH 的舞台,宣布推出下一代版本的 GH200 Grace Hopper 超级芯片,该芯片将成为世界顶级计算机图形学会议。 第一个配备 HBM3e(高带宽内存 3e)内存的 GPU 芯片。 与当前一代产品相比,最新版本的GH200超级芯片内存容量增加了3.5倍,带宽增加了3倍; 与最流行的H100芯片相比,其内存增加了1.7倍,传输带宽增加了1.5倍。

英伟达芯片涨价__英伟达芯片产量

GH200 Grace Hopper 超级芯片的下一代版本将是世界上第一个具有 HBM3e 内存的 GPU 芯片。

GH200超级芯片本身并不是一款新产品,而是今年5月在中国台北Computex上发布的GH200芯片的更新版本。 有趣的是,当另一家芯片巨头AMD在6月份推出搭载192GB HBM3显存的数据中心GPU(Instinct MI300X)时,有业内人士表示可能很难形成优势,因为Nvidia可能会在同一时间期间甚至更早。 随着时间的推移提供相同数量的内存。

英伟达芯片涨价_英伟达芯片产量_

英伟达副总裁兼超大规模和高性能计算总经理伊恩·巴克(Ian Buck)告诉澎湃科技:“我们对这款全新的GH200感到非常兴奋。HBM3e不仅增加了GPU的容量和内存量,而且速度也更快。”

Nvidia 表示,HBM3e 内存将使下一代 GH200 运行 AI 模型的速度比当前模型快 3.5 倍。 不过,一个关键问题是 Nvidia 尚未透露其超级芯片 GH200 的价格,这对于计算成本昂贵的大型型号尤其重要,H100 系列目前的售价约为 40,000 美元。

值得注意的是,该公告并未提振英伟达的股价。 其股价在发布会前已下跌约1%,消息公布后下跌3%,盘中低点440.56美元,最终下跌1.66%至446.64美元。 然而,AMD 股价当日收盘也下跌 3.1%,至 113.23 美元。 与此同时,以科技股为主的纳斯达克综合指数下跌 0.8%。

太平洋时间8月7日,摩根士丹利分析师爱德华·斯坦利(Edward Stanley)发布报告称,“无论是英伟达领衔的AI股还是狭义的AI股,年初以来涨幅均超过200%。”一般来说,股市泡沫达到顶峰之前的三年回报率中位数在150%左右,这说明最近这波AI概念股走得太远了。”

为什么内存对于大型模型很重要?

英伟达芯片产量_英伟达芯片涨价_

随着支撑生成式人工智能应用的底层人工智能模型规模的增加,大型模型需要更大的内存以避免性能下降,以便能够在不连接单独的芯片和系统的情况下运行。

Barker 告诉记者,新的 GH200 的内存“快得多”,并且“拥有更多内存可以让模型保留在单个 GPU 上,而不需要多个系统或多个 GPU 来运行。” GPU 性能。” 目前,即使使用Nvidia最顶级的H100芯片,某些型号也必须在其他GPU中“分解”才能运行。

Nvidia 表示,最新版本 GH200 配备 141GB HBM3e 内存,旨在处理“世界上最复杂的生成式人工智能工作负载,涵盖大型语言模型、推荐系统和矢量数据库”。

“我们正在为 Grace Hopper 超级芯片提供世界上最快的内存增强功能,”黄仁勋在主题演讲中说道。 “该处理器旨在在世界各地的数据中心进行扩展。”

据Barker向ThePaper等媒体披露,最新版本的GH200超级芯片将于2024年第二季度推出。这个时间晚于AMD最新数据中心GPU(Instinct MI300X)的上市时间,后者将于2024年第二季度推出。配备类似的5.2 TB/s带宽和192GB HBM3内存。 据悉,MI300X将于第三季度出样,相关产品预计第四季度推出。

HBM3e 和 HBM3 之间有什么关系?

HBM(高带宽内存)各代之间的差异主要在于速度。 根据TrendForce的报告,市场上的HBM3根据速度细分为两类:一类包括运行速度在5.6至6.4Gbps之间的HBM3,另一类则使用运行速度为8 Gbps的HBM3e。

HBM3e 内存比当前一代 GH200 中的 HBM3 技术快 50%,将 GPU 的数据传输速率从原始 Grace Hopper 中的 4TB 提高到每秒 5TB(太字节)。

Nvidia 尚未宣布他们将在哪里采购用于 GH200 GPU 的新型 HBM3e 内存芯片。 不过,据韩国《Money Today》和《首尔经济日报》援引业内人士消息称,英伟达已向芯片制造商 SK Hynix 索要 HBM3e 样品,以评估其对 GPU 性能的影响。

Nvidia 计划销售两个版本:一个版本包含两个芯片,客户可以将其集成到系统中,另一个版本是结合了两种 Grace Hopper 设计的完整服务器系统。

英伟达芯片涨价__英伟达芯片产量

Barker告诉记者,Nvidia正在开发一种新的基于双GH200的Nvidia MGX服务器系统,该系统将集成两个下一代Grace Hopper超级芯片。 他解释说,新的GH200将与Nvidia的互连技术NVLink连接。

所谓超级芯片,就是将Nvidia的Grace中央处理单元(CPU)和Hopper图形处理单元(GPU)连接在一起,让它们能够更高效地协同工作。 借助新型双 GH200 服务器中的 NVLink,系统中的 CPU 和 GPU 将通过完全一致的内存互连进行连接,每个超级芯片都可以以相同的方式连接到其他芯片,使它们能够像单个单元一样运行操作。

“CPU可以访问其他CPU的内存,GPU可以访问其他GPU的内存,当然GPU也可以访问CPU的内存,”Barker说。 因此组合后的超大超级GPU可以作为一个整体运行,提供144个Grace CPU核心、超过8 petaFLOPs(每秒1 petaflops)的计算性能和282GB的HBM3e内存。”

有趣的是,尽管名称为“GH200”,Nvidia 并没有谈论 GPU 芯片本身的任何变化。 从历史上看,Nvidia的型号已经清楚地表明了产品和架构的变化,第一位数字位置的“2”表示彻底的架构修订,例如支撑GeForce 900系列的“Maxwell 2”架构,所有这些部分的代码名字都是“GM2xx”。 Hopper 芯片本身可能在这个版本中进行了修改,但 Nvidia 并没有谈论这一点。

其他版本

_英伟达芯片产量_英伟达芯片涨价

除了GH200之外,英伟达的桌面AI工作站GPU系列也全面更新,一口气推出了四款新品:RTX 6000、RTX 5000、RTX 4500和RTX 4000。针对企业客户,英伟达还准备了一款-停止解决方案-RTX工作站,最多支持4个RTX 6000 GPU。

针对数据中心市场,Nvidia推出了OVX服务器,最多可搭载8个L40S GPU。 据介绍,对于具有数十亿参数和多种模态的生成式 AI 工作负载,与前代 A100 相比,L40S 可以实现高达 1.2 倍的推理性能提升和高达 1.7 倍的训练性能提升。

除了各种强大的硬件之外,NVIDIA还发布了新的AI Workbench来帮助开发和部署生成式AI模型。 AI Workbench 为开发人员提供了统一且易于使用的工具包,可在 PC 或工作站上快速创建、测试和微调模型,并可扩展到几乎任何数据中心、公共云或 NVIDIA 的云服务 DGX Cloud。

作为最受AI开发者欢迎的平台之一,拥有200万用户、超过25万个模型、5万个数据集的Hugging Face也与Nvidia达成合作。 开发者可以通过Hugging Face平台直接获得NVIDIA DGX Cloud AI超算的支持,完成AI模型的训练和微调。

此外,Nvidia的元宇宙开发平台Omniverse也已更新。 接入OpenUSD和AIGC工具后,开发者可以更轻松地生成模拟现实世界的3D场景和图形。

OpenUSD 是皮克斯动画工作室开发的一种开放数据格式,允许团队在大规模 3D 工作流程上协同工作,并共享可在 AR(增强现实)和 VR(虚拟现实)项目中使用的 3D 对象和环境信息。 当地时间8月1日,美国3D内容行业五家主要公司苹果、英伟达、皮克斯、Adobe、欧特克联合成立了OpenUSD联盟(AOUSD)。 OpenUSD 技术是 Omniverse 平台的基础,有一天可能会成为“Metaverse”的 3D 图形标准。

_英伟达芯片产量_英伟达芯片涨价

海量信息,精准解读,尽在新浪财经APP

搜虎网转载此文目的在于传递更多信息,不代表本网的观点和立场。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。

发表我的评论 共有条评论
    名字:
全部评论