幸运时时彩平台

7nm工艺+542亿个晶体管,Nvidia安培GPU拉高AI芯片门槛

2020-05-19来源: 半导体行业观察关键字:Nvidia  安培GPU

在近日的GTC上,Nvidia发布了最新的安培架构,以及基于安培架构的A100 GPU。A100 GPU使用台积电7nm工艺实现,包含了542亿个晶体管,据官方消息可以实现比起上一代V100高7倍的性能。除了算力提升之外,Nvidia还加入了GPU虚拟多实例(multi-Instance GPU,MIG)特性,可以让一块GPU虚拟化称为7个独立的GPU。

 

 

与安培架构同时公布的还有Nvidia DGX A100超级计算机,该超算平台包含了8块A100 GPU,峰值算力可达10 PetaOPS。

 

在发布会上,Nvidia对于算力做了非常多的渲染。然而,在我们看来,Nvidia在算力之外的特性扩展将成为更重要的门槛,中国半导体业界想要研发自主的GPU也需要考虑这些算力之外的重要特性。

 

计算架构:改良式更新,前进步伐与预期相符

 

Nvidia A100 GPU相比于前一代V100 GPU,其算力提升主要来源于以下几方面:

 

加入稀疏运算支持。这可能是A100 GPU运算架构上最大的革新了。具体来说,A100支持2:4的结构化稀疏,即在使用稀疏计算时,在矩阵中每四个元素就必须有两个或以上是0。通过稀疏运算,可以把性能提升两倍。事实上,深度学习中使用稀疏运算的概念从提出至今已经有差不多5年了,到了今天Nvidia终于把这个概念落地到了产品中,而且使用的是的2:4结构化稀疏,其两倍的加速可以说是比较保守的(与此相对,2018年寒武纪的AI加速器IP中就支持四倍稀疏加速)。

 

 

引入TF32数制。这主要针对训练计算。回顾人工智能训练计算的历程,最早普遍使用的是32位浮点数数制(FP32)。为了加速训练计算,从几年前开始Nvidia开始支持16位的FP16数制,该数制的优点是速度较快,但是动态范围方面在一些应用中存在一些问题。在A100中,Nvidia为了解决FP16的问题,引入了TF32数制。TF32事实上不是32位数制,而是19位数制,其动态范围(exponent)与FP32相同都是8位,但其精度(mantissa)与FP16相同都是10位,相当于是FP32和FP16的融合。相比FP32,TF32可以实现8倍的吞吐量提升。

 

 

更强更多的流处理器(SM)。在A100中,每个流处理器的张量矩阵计算能力是V100的2倍,而在GPU中流处理器的数量相比V100则增加了30%。

 

更大的片上存储和更快的内存接口。A100的设计中,每个流处理器的L1缓存容量从V100的128KB增加到了192KB,L2 缓存则增加到了40MB,相比前一代增加了6.7倍。内存接口方面,A100的HBM2就恶口总贷款高达1555GB/s,相比前一代增加了1.7X。

 

总体来说,在计算架构方面,除了支持稀疏计算和引入TF32之外,其他的提升都属于可预计的常规提升,而稀疏计算和TF32在人工智能计算中也并非新概念。我们认为,这一代Nvidia A100的算力性能提升属于渐进式改良,而非革命式提升。

 

GPU虚拟实例和互联:进一步加高竞争壁垒

 

我们认为,A100除了算力之外,其更重要的竞争壁垒提升来源于针对数据中心的GPU虚拟实例支持和互联方案。

 

在安培架构中,一个重要的新特性就是GPU虚拟实例MIG。随着云端数据中心GPU部署比例的提升,如何实现GPU虚拟化是一个重要任务,而这一点如果解决不好将会降低总体GPU利用率。目前,在云服务中,用户申请的CPU和内存实例大多数情况下都是虚拟化的,当你申请到n个CPU核的时候,并不是说你包下了这块CPU芯片,而是很有可能在同一块CPU芯片上不同的核会分配给不同用户,而用户并不用去担心说他的CPU核都位于哪一块芯片上,主要用就行了。粗略地说,这就是CPU虚拟化。GPU之前也有虚拟化,即同一个GPU可以给不同的程序同时使用,但是其内存访问模型并不如CPU虚拟化那么完善,因此在多用户的情况下,通常不会采用多个用户同时共享一块GPU的方法,而是把一块GPU分配给一个用户。这样就带来了效率问题,例如用户A只需要用到一块GPU中一半的计算资源,而用户B的计算需要用到1。5块GPU,那么使用传统粗颗粒度解决方案就会造成用户A和B都占用了一块GPU,那么用户A事实上是浪费了GPU资源,而用户B的计算资源需求则没有很好地得到满足。随着GPU应用到越来越多的场景中,不同场景算法对于GPU的利用率和需求都有不同,这样的话沿用之前的粗颗粒度方案一定会造成总体数据中心GPU利用率的问题。

 

 

为了解决这个问题,MIG应运而生。A100中的MIG支持把同一块GPU划分成7个独立实例,每个实例之间的内存空间访问互不干扰,这样就可以实现细颗粒度的GPU计算资源分配,从而在计算需求非常异质化的云计算场景增加资源利用效率。诚然,目前MIG中支持的7个GPU虚拟实例划分或许还不算特别细颗粒度,但是却可以看作是走向虚拟化的重要里程碑。

 

幸运时时彩平台除了MIG之外,A100还在多芯片互联上做了改善。首先,A100上包含了第三代NVLINK,主要用于同主机上GPU之间的互相通信,通信带宽相比V100增加了一倍到600GB/s。在GPU和CPU通信上,A100支持PCIe Gen4,相比上一代PCIe Gen3带宽也增加了一倍。此外,A100的互联还与Mellanox的解决方案做了深度集成,可以很好地支持基于以太网和InfiniBand的RDMA。

 

 

端AI芯片进入门槛大大提升

 

我们认为,Nvidia A100的发布再次拉开了与其他在人工智能云端领域芯片竞争对手的差距。

 

从算力上来看,Nvidia A100在BERT benchmark上的性能是T4的11倍,而初创公司中最成功的Habana(现已被Intel高价收购)在去年推出的新款Goya芯片在同一benchmark上的性能仅仅是T4的两倍左右,因此A100一举又占据了算力的高地。我们认为,Nvidia在算力提升上面的主要优势在于其系统工程能力较强。我们之前分析过,Nvidia在A100中使用的计算单元架构创新实际上并不新鲜,在人工智能硬件领域已经存在了多年,而且之前也有不少初创公司尝试过类似的实现。然而,当芯片的规模上升了之后,其设计流程就不仅仅是逻辑设计问题,还需要考虑良率、散热等多方面因素,而这些看似底层的因素其实在最顶层的架构设计过程中就要考虑到——换句话说,虽然其他人也能想到要用这些架构创新,但是因为各种问题就是没有办法实现A100这样能量产的巨型芯片,这其实也是Nvidia多年积累的一个壁垒。

 

事实上,我们认为算力只是Nvidia A100硬件竞争壁垒的一小部分,其更重要的壁垒还来自于互联、虚拟化等特性。互联和虚拟化特性都是云端数据中心场景中需要的重要需求,而这些需求的实现需要扎扎实实,一步一步的设计和积累。如果说之前Nvidia还没有引入虚拟化特性,云端AI加速芯片还是算力的比拼因此初创企业还有弯道超车机会的话,那么在A100之后我们认为其他和Nvidia针对相同市场的云端AI加速芯片初创公司已经失去了这个机会,而必须要一步一步把虚拟化、RDMA等分布式计算必须的特性老老实实地实现在自己的芯片上,才有资格去和Nvidia去正面交锋。对于云端计算市场,其他芯片厂商另外一种可能的策略就是针对Nvidia还无法顾及且GPU的SIMT架构无法很好覆盖的领域,例如FinTech的一些计算等等。我们预计在未来的几年内或许会出现更多这样的初创公司。

 

对于GPU国产化的启示:算力并非一切,对于分布式计算和虚拟化的支持也很重要

 

这次Nvidia发布的A100 GPU对于用于云端数据中心的GPU国产化也有重要启示,即算力并非一切,对于分布式计算的支持和多用户虚拟化的支持可能更加重要。

 

在目前的云端高性能计算中,一大部分的任务会使用分布式计算。在分布式计算中,单卡GPU的算力只是基础,除了算力之外的IO也会成为决定性能的重要因素。这里的IO包括单机多卡之间的通信,GPU和CPU之间的通信,以及多台主机之间的通信等。在Nvidia的技术栈中,单机多卡通信有NvLink,多机通信有来自于新近收购的Mellanox的RDMA和Smart NIC技术,可以说在IO领域Nvidia也是做到了全球最领先,这样才保证了云端GPU方案独步天下。

 

幸运时时彩平台与分布式计算息息相关的则是虚拟化支持。如前所述,GPU虚拟化将能带来云计算领域的GPU资源利用率大幅提升。然而,除了利用率提升之外,虚拟化的访问模型还为分布式计算的软件栈提供了一个干净的接口,这样分布式系统的工程师可以不用关心GPU底层的实现细节,凭借虚拟化的概念就可以构建灵活的多用户使用模型和界面,从而在系统层面上为高效分布式系统提供了有力的支持和赋能。我们认为,目前GPU虚拟化还处于早期阶段,未来我们将会看到Nvidia以及其他的欧美厂商在这个方向的投入。

 

对于国产GPU来说,我们一直在强调要构建一个好的生态,才能让国产GPU真正具有竞争力。这样的生态首先包括一个可扩展性良好的架构——这就指向了IO这样的数据通信互联的支持;此外还需要有一个较友好容易上手的开发环境,能允许开发者在硬件基础上开发各种支持多用户的云端应用,虚拟化就是对多用户支持的核心组件。我们认为,一个算力强大,但是对于分布式计算和虚拟化支持有限的GPU,对于国产生态而言还不如一个虽然算力较弱(

[1] [2]
关键字:Nvidia  安培GPU 编辑:muyan 引用地址:http://news.sonata9.com/qrs/ic497525.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:打造中高端5G智能手机标杆,MediaTek 天玑 820问市
下一篇:台积电断供,华为“天罡”芯片遇到危机?

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

幸运时时彩平台NVIDIA DGX全新架构向新一代AI超级计算机发起冲击
再过10来天,当地时间5月14日,NVIDIA将会放出黄仁勋原计划在GTC 2020大会上的主题演讲,重头戏当然是新一代安培(Ampere) GPU架构的官宣,此前在NVIDIA的官方新闻稿中已经强烈暗示了这一点。 现在,如山的铁证终于出现了,而且是来自NVIDIA自己。 据商标查询网站Justia显示,NVIDIA已经在今年3月30日悄然注册了“DGX A100”,对应基于安培架构、GA100核心Tesla A100计算卡的新一代深度学习工作站、AI超级计算机。  NVIDIA DGX系统已经经历了好几代产品,最初基于Pascal帕斯卡架构的Tesla GP100,被视为NVIDIA
发表于 2020-05-06
NVIDIA DGX全新架构向新一代AI超级计算机发起冲击
小鹏汽车将与NVIDIA合作,搭载NVIDIA DRIVE Xavier车型P7即将上市
小鹏汽车宣布,将与全球领先的人工智能计算制造商 NVIDIA 继续合作,其下一代智能纯电车型将继续搭载 NVIDIA 的 AI 自动驾驶计算平台。而不久前刚刚宣布即将在 4 月 27 日正式上市的超长续航智能轿跑——小鹏 P7,正是首款搭载 NVIDIA DRIVETM AGX Xavier 平台的量产车型。NVIDIA DRIVETM AGX Xavier 小鹏 P7 所采用的 NVIDIA DRIVETM AGX Xavier 自动驾驶计算平台,拥有超强性能且高能效的 Xavier 系统级芯片(SoC),具备 L4 级自动驾驶计算能力,可实现每秒 30 万亿次运算,功耗仅 30
发表于 2020-04-16
小鹏汽车将与NVIDIA合作,搭载NVIDIA DRIVE Xavier车型P7即将上市
是德科技与 NVIDIA 强强联手,加速虚拟化网络移动业务发展
是德科技公司(NYSE:KEYS)与为新的计算时代提供动力的 NVIDIA 公司强强联合,加速开发灵活的虚拟化网络和高价值移动业务。是德科技是一家领先的技术公司,致力于帮助企业、服务提供商和政府客户加速创新,创造一个安全互联的世界。 移动运营商都在使用动态虚拟无线接入网(vRAN)架构和开放式 RAN(O-RAN)标准接口进行网络改造,以便灵活、高效地交付大量依赖于低延迟和高吞吐量特性的服务。软件定义的弹性网络架构可让移动运营商更好地满足新数字时代的要求;在这样一个时代中,增强现实/虚拟现实(AR/VR)、自动驾驶、智能工厂和游戏都将为消费者和行业用户带来全新体验。 是德科技
发表于 2020-04-07
Gumstix推出多款基于Jetson的开发板
Gumstix日前宣布发布四款Edge AI设备,用于机器学习应用程序,支持网络边缘的移动数据。这些设备由运行四核ARM A57的NVIDIA Jetson Nano驱动,具有内置的TensorFlow支持功能,使软件工程师可以更轻松地访问边缘AI原型。据该公司称,AI设备简化了软件-硬件集成,并为用户提供了以下好处:-易于定制Geppetto应用程序中的模块化设计。-支持GPU的TensorFlow支持。-可自定义的操作系统(Yocto),可进行快速,简单的部署。Gumstix Snapshot开发板支持多达16个视频流,此外还有3个新的开发板。Gumstix Jetson Nano Snapshot开发板  
发表于 2020-04-06
Gumstix推出多款基于Jetson的开发板
新架构新核心,NVIDIA MX350笔记本显卡有多强
NVIDIAD的MX150及马甲版MX250大概是世界上最成功的笔记本GPU了,没有之一,过去几年中深受轻薄本喜爱,10W残血版与25W满血版各有拥趸。 今年这个系列的笔记本GPU还要继续升级,现在可以确定会推出MX330、MX350两款,其中MX330没什么新意,基本上确定是新新马甲,继续采用GP108核心,14nm Pascal架构,流处理器增至384个,显存位宽64bit,将取代现在MX250的地位。  MX350显卡终于不马甲了,它应该会使用GP107核心,也就是跟GTX 1050显卡同源,最多640个CUDA核心,比之前的384个CUDA核心大幅增长。 但是MX 350的TDP依然
发表于 2020-02-12
新架构新核心,NVIDIA MX350笔记本显卡有多强
幸运时时彩平台双手离开方向盘,你有这个胆量吗?
,但他并不真正理解它的工作原理。 从表面上看,这个问题似乎还不算很尖锐,但当它触及了关于市场方面的问题时大家就不那么看了:既要让汽车更安全,又不让它们太昂贵,还要定义一条通往完全自主驾驶的进化之路。战略分析研究表明,消费者需要安全技术。这是消费者正在寻找并愿意为一辆新车支付的技术。 安全正在被重新定义,汽车制造商和监管机构已将注意力从被动安全(安全气囊、安全带、儿童约束装置等)转移到主动安全,通过允许车载系统在适当的情况下控制汽车,专门设计来避免碰撞。 Nvidia(Nvidia)在CES2019上推出了DRIVE Autopilot系统,开启了这个潘多拉盒子,Nvidia的L2+自动驾驶解决方案,能实现
发表于 2020-01-17
双手离开方向盘,你有这个胆量吗?
小广播
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 幸运时时彩平台电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 sonata9.com, Inc. All rights reserved
北京pk10 小米彩票网 幸运时时彩平台 吉林快3走势 荣鼎彩 快三娱乐平台 500彩票网 福建快3 北京pk10 幸运时时彩