PRODUCT

NVIDIA H200 PCIe 141GB NVL

AI Acceleration for Mainstream Enterprise Servers

  • 141GB HBM3e Memory
  • MPC 600W

NVIDIA H200 PCIe 141GB NVLは HBM3eメモリを 141GB搭載し最大 4つの GPUを NVIDIA NVLinkで接続することができ、コンピュータービジョンや音声 AI、RAG(検索拡張生成)などの実稼働向け生成AIソリューションの開発と展開を加速します。
前世代の H100 NVLと比較して大規模言語モデル (LLM) 推論は最大 1.7倍高速化し、HPCアプリケーションは最大 1.3倍のパフォーマンスを実現します。また、5年間のサブスクリプションが付属している NVIDIA AI Enterpriseには、生成AI展開を促進する NVIDIA NIMという使いやすいマイクロサービスセットが含まれており、エンタープライズ向けのセキュリティや管理性、安定性、サポートが提供されます。これにより、最適化されたAIソリューションを通じて、ビジネス価値と実用的な洞察を迅速に得ることが可能になります。搭載するサーバや納期等、導入ご検討の際はお気軽にお問い合わせください。

製品仕様

H200 SXM H200 NVL
FP64 34 TFLOPS 34 TFLOPS
FP64 Tensor コア 67 TFLOPS 67 TFLOPS
FP32 67 TFLOPS 67 TFLOPS
TF32 Tensor コア 989 TFLOPS※2 989 TFLOPS※2
BFLOAT16 Tensor コア 1,979 TFLOPS※2 1,979 TFLOPS※2
FP16 Tensor コア 1,979 TFLOPS※2 1,979 TFLOPS※2
FP8 Tensor コア 3,958 TFLOPS 3,958 TFLOPS
INT8 Tensor コア 3,958 TOPS※2 3,958 TOPS※2
GPU メモリ 141GB 141GB
GPU メモリ帯域幅 4.8TB/秒 4.8TB/秒
デコーダー 7 NVDEC
7 JPEG
7 NVDEC
7 JPEG
最大熱設計電力 最大 700W
(構成可能)
最大 600W
(構成可能)
マルチインスタンス GPU 各18GB
最大7個のMIG
各18GB
最大7個のMIG
フォーム ファクター SXM PCIe
相互接続 NVLink:900GB/秒
PCIe Gen5:128GB/秒
2ウェイまたは4ウェイの
NVIDIA NVLink ブリッジ
900GB/秒
PCIe Gen5: 128GB/秒
サーバオプション GPUを4基または8基搭載の
NVIDIA HGX H200 Partner および
NVIDIA-Certified Systems
GPUを4基または8基搭載の
NVIDIA HGX H200 Partner および
NVIDIA-Certified Systems
NVIDIA AI Enterprise アドオン アドオン

参考仕様。仕様は変更される場合があります。

With sparsity

NVIDIA H200 NVL が 1.8 倍の推論パフォーマンスを実現

Preliminary performance, subject to change
LLAMA2 70B Inference, Max 1st token latency 1 sec
GPT3 175B Inference, FP8, Max 1st token latency 2 sec
All scenario based on following settings: 1)128 ISL/2K OSL; 2) 1K ISL/1K OSL; 3) 2K ISL / 128 OSL
FP8 for H100 NVL and H200 NVL

2-Way and 4-Way NVLink Bridges

2種類の NVLink Bridge

NVIDIA H200 Tensor Core GPU

弊社では、科学技術計算や解析などの各種アプリケーションについて動作検証を行い、
すべてのセットアップをおこなっております。
お客様が必要とされる環境にあわせた最適なシステム構成をご提案いたします。