1. 精度とデータ規模
FP64、TF32、BF16、FP8など、必要な数値精度で対象GPUの適性が変わります。モデル重みだけでなく、活性値、KVキャッシュ、FFTグリッド、近接リストなど実行時メモリも確認します。
Hopper GPU server selection
H100とH200は、名前だけを比較しても適切な構成は決まりません。必要なGPUメモリ、GPU間通信、CPU・メモリ、電源・冷却、使うソフトウェアをそろえてから、1GPU・4GPU・8GPUの候補を絞ります。
Compare exact products
同じH100/H200でも、PCIe、NVL、SXM/HGXでは形状、電力、GPU間接続、搭載されるサーバーが異なります。ここでは、構成アシスタントで比較しやすい H100 80GB PCIe と H200 NVL 141GB を中心に整理します。
| 確認項目 | H100 80GB PCIe | H200 NVL 141GB | 見積時の判断 |
|---|---|---|---|
| GPUメモリ | 80GB HBM2e | 141GB HBM3e | 代表ジョブのピーク使用量に、ランタイムや通信の余裕を含めます。 |
| 形状 | PCIeカード | PCIe、デュアルスロット、空冷 | 筐体の物理スロット、保持金具、エアフローを確認します。 |
| 複数GPU | サーバー仕様と接続方式を個別確認 | NVIDIA公式では2-way/4-way NVLinkブリッジ構成を案内 | ソフトウェアがどの通信方式を使うかまで合わせます。 |
| 電源・冷却 | GPUと筐体の正確な仕様で確認 | 公式仕様では最大600W(構成可能) | GPUの合計値だけでなくCPU、ファン、ストレージ、冗長電源を含めます。 |
注意:上表はGPU単体の選定入口です。実際に搭載できる枚数、NVLink部材、電源、冷却、対応OS・ドライバはサーバー型番ごとに正式確認が必要です。
Selection criteria
FP64、TF32、BF16、FP8など、必要な数値精度で対象GPUの適性が変わります。モデル重みだけでなく、活性値、KVキャッシュ、FFTグリッド、近接リストなど実行時メモリも確認します。
複数GPUで性能を伸ばすには、アプリケーションの並列方式とGPUトポロジーが一致する必要があります。単純なGPU枚数の増加が、同じ比率の短縮を保証するわけではありません。
前処理、I/O、MPIランク、データ供給がCPU側で詰まることがあります。CPUソケット数、メモリチャネル、容量、NUMA配置をGPU構成と一緒に決めます。
チェックポイント、学習データ、trajectory、スクラッチI/Oの量を確認します。複数ノードへ広げる場合はNICとスイッチも構成の一部です。
ラック奥行、電源電圧・回路、発熱、騒音、搬入経路を先に確認します。高密度GPUサーバーは、一般的なオフィス電源だけでは設置できない場合があります。
GPU認識だけでなく、代表入力の完走、エラーの有無、実行時間、温度、電力、再起動後の再現性を合否条件にします。
Quote preparation
この情報を基に、GPUだけでなくCPU、メモリ、ストレージ、ネットワークまで一つの構成として確認します。正式価格、在庫、納期、保証、対応可否は見積時点の条件で回答します。
FAQ
必要なGPUメモリ、メモリ帯域、利用するソフトウェア、GPU間通信、設置可能な電源・冷却条件で判断します。代表ワークロードの実測または再現可能なベンチマークを用意すると、過不足を減らせます。
物理的な総容量と、1プロセスから利用できるメモリは別です。データ並列、テンソル並列、MPIなど、アプリケーション側の分割方式を確認してください。
正確なGPU型番、枚数、筐体、CPU、メモリ、ストレージ、ネットワーク、保証条件で変わります。構成を選び、正式見積をご依頼ください。
可能です。最初に代表ジョブを成立させ、結果を見て4GPU・8GPUへ広げる案も作れます。将来増設の可否は最初の筐体選定時に確認します。
Primary sources
Build a configuration
GPUと希望枚数を事前選択した状態から、対応するサーバー本体、CPU、メモリ、ストレージを確認できます。
本ページは構成検討のための一般情報です。正式な製品仕様、価格、在庫、納期、保証、搭載可否は見積書・メーカー資料・契約書面でご確認ください。