NVIDIA NVLink と NVLink Switch
AI トレーニング、推論、その他の要求の厳しいラックスケール GPU アクセラレーテッド ワークロード向けに、高帯域幅の GPU 間通信によりネットワーク ファブリックをスケールアップします。
より高速でスケールアップな相互接続に対するニーズ
最新の AI モデルのパフォーマンスを最大化するには、サーバー ラック全体にわたるシームレスで高スループットの GPU 間通信が必要です。低遅延、大規模なネットワーク帯域幅、全対全接続性を備えた第 6 世代 NVIDIA NVLink™ と NVLink Switch は、より迅速な推論とエージェント型 AI ワークロードに対応できるよう、トレーニングと推論を高速化します。
NVIDIA NVLink でシステム スループットとアップタイムを最大化する
第 6 世代の NVLink は、NVIDIA Rubin プラットフォームで GPU あたり 3.6 TB/秒の帯域幅を実現します。これは、前世代の 2 倍、PCIe Gen6 の 14 倍以上の帯域幅です。NVIDIA Vera Rubin NVL72 などのラックスケール アーキテクチャは、全対全トポロジで 72 基の GPU を接続し、合計 260 TB/秒を実現します。これにより、業界をリードする混合エキスパート モデル アーキテクチャのトレーニングと推論に必要な全対全通信に大規模な帯域幅が提供されます。NVLink 6 Switch はまた、コントロール プレーンのレジリエンス、部分的に実装されたラックを活用した実行能力、スイッチ トレイのホットスワップなど、システム稼働時間を最大化するために設計された新しい管理機能とレジリエンス機能も導入しています。
NVLink At-Scale Performance
NVIDIA Rubin を搭載した第 6 世代 NVIDIA NVLink は、前世代と比較して GPU 間通信帯域幅を 2 倍に拡張し、最新の AI モデル アーキテクチャによるトレーニングと推論を高速化します。
NVIDIA NVLink と NVIDIA NVSwitch で GPU を完全接続
NVLink は、GPU 間で 3.6 TB/秒の双方向直接相互接続であり、サーバー内でマルチ GPU の入出力 (IO) を拡張します。NVIDIA NVLink Switch チップは、複数の NVLink を接続し、ラック全体であらゆる GPU 通信を NVLink フルスピードで提供します。
高速な集合操作を可能にするため、各 NVLink Switch には、ネットワーク内リダクションとマルチキャスト高速化のための NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 用エンジンが搭載されています。
NVLink Switch システムで兆単位パラメータ モデルのテスト時推論を加速
NVLink Switch を使用すると、NVLink 接続をノード間で拡張し、シームレスな高帯域幅のマルチノード GPU クラスターを作成できます—実質的にデータセンター サイズの GPU を形成します。NVIDIA NVLink Switch は、1 つの NVIDIA Vera Rubin NVL72 で 260 TB/秒の GPU 帯域幅を可能にし、大規模なモデルを並列処理します。NVLink を使用したマルチサーバー クラスターは、増加した計算量に対してバランスよく GPU 通信をスケールするため、NVIDIA Vera Rubin NVL72 は、単一の 8 GPU システムと比較して 9 倍の GPU 数をサポートできます。
NVIDIA NVLink™ Fusion は、NVIDIA NVLink テクノロジとセミカスタム ASIC または CPU を活用し、業界をリードする AI スケールアップおよびスケールアウト パフォーマンスを実現します。ハイパースケーラーは、NVIDIA NVLink テクノロジとラックスケール アーキテクチャを活用し、ASIC ハイブリッド AI インフラを構築できます。
完全接続で比類のないパフォーマンス
Vera Rubin NVL72 の NVLink Switch チップは、ノンブロッキングのコンピューティング ファブリックで 72 基の GPU を完全接続できます。NVLink Switch は、すべての GPU ペアを驚異的な 3.6 TB/秒で相互接続します。完全な All-to-All 通信をサポートします。Vera Rubin NVL72 の 72 基の GPU は、最大 3.6 exaFLOPS の AI 演算能力を備えた 1 台の高性能アクセラレーターとして利用できます。
非常にパワフルな AI/HPC プラットフォーム
NVLink および NVLink Switch は、ハードウェア、ネットワーク、ソフトウェア、ライブラリ、および NVIDIA AI Enterprise ソフトウェア スイートと NVIDIA NGC™ カタログの最適化された AI モデルとアプリケーションを組み込んだ完全な NVIDIA データセンター ソリューションの必須構成要素です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを本番環境に展開でき、かつてない高速化があらゆる規模で可能となります。
仕様
-
NVLink
-
NVLink Switch
| 第 4 世代 | 第 5 世代 | 第 6 世代 | |
|---|---|---|---|
| GPU あたりの NVLink 帯域幅 | 900GB/秒 | 1,800GB/秒 | 3,600GB/秒 |
| GPU あたりの最大リンク数 | 18 | 18 | 36 |
| GPU あたりの最大リンク数 | NVIDIA Hopper™ アーキテクチャ | NVIDIA Blackwell アーキテクチャ | NVIDIA Rubin プラットフォーム |
| NVLink 4 スイッチ | NVLink 5 スイッチ | NVLink 6 スイッチ | |
|---|---|---|---|
| NVLink GPU Domains | 8 | 8 |72 | 8 |72 |
| NVSwitch GPU 間帯域幅 | 900GB/秒 | 1,800GB/秒 | 3,600 GB/s |
| 合計帯域幅 | 7.2 TB/s | 130 TB/s (NVL72) | 260 TB/s (NVL72) |
| サポートされている NVIDIA アーキテクチャ | NVIDIA Hopper™ アーキテクチャ | NVIDIA Blackwell アーキテクチャ | NVIDIA Rubin プラットフォーム |
仮の仕様であり、変更される場合があります。
NVIDIA Rubin プラットフォームの詳細をご覧ください。