刚刚，英伟达（Nvidia）在第23届超级计算大会上发布了H200和GH200产品线。这些芯片是Nvidia有史以来最强大的芯片，以现有的HopperH100架构为基础，增加了更多内存和计算能力。这些芯片将为未来新一代人工智能超级计算机提供动力，2024年将有超过200exaflops的人工智能计算能力上线。让我们来详细了解一下。

H200GPU或许是这场秀的真正主角。Nvidia没有提供所有规格的详细明细，但主要的一点似乎是每个GPU的内存容量和带宽大幅增加。

更新后的H200配备了总容量为141GB的HBM3e内存，有效运行速度约为6.25Gbps，六个HBM3e堆栈中每个GPU的总带宽为4.8TB/s。这比原来的H100有了巨大的改进，原来的H100有80GB的HBM3和3.35TB/s的带宽。H100的某些配置确实提供了更多的内存，比如H100NVL，它将两块板子配对使用，总共提供了188GB内存（每个GPU94GB），但与H100SXM变体相比，新的H200SXM内存容量增加了76%，带宽增加了43%。

需要注意的是，原始计算性能似乎没有太大变化。Nvidia展示的唯一计算图形使用了8个GPUHGX200配置，总性能为"32PFLOPSFP8"。最初的H100提供了3958teraflops的FP8性能，因此8个这样的GPU也已经能提供大约32petaflops的FP8性能。

H200与H100相比会快多少？这将取决于工作负载。对于像GPT-3这样因内存容量增加而受益匪浅的LLM，Nvidia声称其性能比原来的A100高出18倍，而H100只比A100快了约11倍。此外，还有关于即将推出的BlackwellB100的预告，不过现在只是一个更高的条形图，并逐渐变黑。

当然，这次英伟达不仅仅是宣布发布了更新的H200GPU。还有一种新的GH200也即将面世，它将H200GPU与GraceCPU结合在一起的"超级芯片"。每个GH200将包含624GB内存。最初的GH100将CPU的480GBLPDDR5x内存与96GBHBM3内存结合在一起，而新版本则增加到了144GBHBM3e。

同样，关于CPU方面是否有其他变化的细节也不多，但Nvidia提供了GH200与"现代双插槽x86"配置的一些比较，其中提到了与"非加速系统"相比的速度提升。

这意味着什么？我们只能假设x86服务器运行的代码没有经过完全优化，特别是考虑到人工智能世界发展迅速，优化方面似乎经常有新进展。

GH200还将用于新的HGXH200系统。据说，这些系统与现有的HGXH100系统"无缝兼容"，这意味着HGXH200可以在相同的设备中使用，以提高性能和内存容量，而无需重新设计基础设施。

瑞士国家超级计算中心（SwissNationalSupercomputingCenter）的阿尔卑斯超级计算机（Alps

supercomputer）很可能是明年投入使用的首批Grace

Hopper超级计算机之一，不过该系统仍然使用GH100。美国第一台投入使用的GH200系统将是洛斯阿拉莫斯国家实验室的Venado超级计算机。今天宣布的德克萨斯高级计算中心（TACC）Vista系统也将使用格雷斯CPU和格雷斯Hopper超级芯片，但尚不清楚是H100还是H200。

据目前所知，即将安装的最大的超级计算机是"胡安里奇"超级计算中心（JϋlichSupercomputingCentre）的Jupiter超级计算机。它将容纳"近"24,000个GH200超级芯片，合计93exaflops的人工智能计算能力（推测这是使用FP8的数字，尽管根据我们的经验，大多数人工智能仍然使用BF16或FP16）。它还将提供1exaflop的传统FP64计算能力。它使用的"quadGH200"板具有四个GH200超级芯片。

总而言之，Nvidia预计在未来一年左右的时间里，这些新安装的超级计算机将提供超过200exaflops的人工智能计算性能。

来源网络，若有侵权，请联系删除