データ並列
同じモデルを各GPUへ置き、異なるデータを処理します。モデル自体が1GPUに収まるか、勾配同期の通信量がどれだけあるかを確認します。
Multi-GPU server planning
4GPUか8GPUか。枚数ではなく、ジョブの分け方から決める
8GPUにすれば必ず4GPUの2倍速くなるわけではありません。単一ジョブを何GPUへ分割するか、複数ジョブを何本並行するか、通信とI/Oがどこで律速するかを整理して選びます。
4 versus 8 GPUs
4GPUと8GPUで変わるのは、演算資源だけではありません
| 比較軸 | 4GPUを検討しやすい条件 | 8GPUを検討しやすい条件 | 確認方法 |
|---|---|---|---|
| 単一ジョブ | 1〜4GPUで必要メモリに収まり、十分な時間で完了 | 8GPU分割をソフトウェアが支援し、期限短縮の価値がある | 1/2/4GPUの実測から通信比率を見て、8GPUの試験条件を作る |
| 並行ジョブ | 4GPUを1台または小単位で管理したい | 2GPU×4、4GPU×2など複数キューを1台に集約したい | 利用者、ジョブサイズ、ピーク時間、待ち時間を記録 |
| GPU間通信 | 4GPU内のトポロジーで十分 | 8GPU全体のcollective通信が必要 | NCCL/MPIのテストとアプリケーション実行を分けて測定 |
| CPU・メモリ | 4GPUへのデータ供給に合わせる | 8GPUのI/O、前処理、MPIランクを支えられる構成 | CPU使用率、NUMA、メモリ帯域、GPU待ち時間を確認 |
| 電源・冷却 | 高密度構成として設置条件を確認 | より大きい受電・排熱・騒音対策が必要になりやすい | GPUだけでなくサーバー全体の最大条件と実測条件を確認 |
| 障害・保守 | システムを分散し、障害範囲を分ける案も可能 | 1台への集約で管理点は減るが、停止時の影響範囲が広い | 予備系、部品交換、ジョブ再開、チェックポイントを設計 |
Memory and parallelism
「総GPUメモリ」と「一つの仕事で使えるメモリ」を分けます
たとえば141GB GPUを4枚搭載した物理的な総メモリ容量は564GBですが、1つの連続した共有メモリになるわけではありません。モデル、データ、FFTグリッド、領域、バッチなどを各GPUへ分割し、必要なデータを通信する処理が必要です。
モデル／テンソル並列
モデルをGPU間で分割します。各層や演算の通信頻度が高くなるため、フレームワークとGPUトポロジーの影響が大きくなります。
タスク並列
独立したジョブをGPUごと、または2GPU・4GPU単位へ割り当てます。単一ジョブの高速化より、待ち時間と総処理量の改善を狙う構成です。
Interconnect
GPU間接続は、GPU名だけでは決まりません
NCCLは、複数GPU間のAllReduce、AllGather、ReduceScatterなどの通信プリミティブを提供します。実際の性能は、GPUの接続方式、PCIeスイッチ、NUMA、NVLinkの有無と構成、フレームワークの使い方で変わります。
H200 NVLは、NVIDIA公式情報で2-wayまたは4-way NVLinkブリッジに対応しています。ただし、ブリッジ部材とスロット配置は対象サーバーで正式確認が必要です。RTX PRO 6000など別製品の接続条件をH200 NVLへ流用してはいけません。
見積書に入れるべき項目：GPU枚数だけでなく、GPU間接続部材、PCIe構成、CPUソケットとの対応、NIC、必要な通信試験を明記します。
Acceptance test
受入試験は「8枚認識」で終わらせません
- ハードウェア：全GPU、ECC、PCIeリンク、温度、ファン、電源冗長、NIC、ストレージを確認。
- 通信：NCCLまたは対象MPIの代表collectiveを、実際に使うGPU組み合わせで測定。
- アプリケーション：代表入力を1/2/4/8GPUで実行し、結果の妥当性、時間、メモリ、安定性を記録。
- 運用：ジョブスケジューラ、GPU割当、ログ、監視、障害時の再開、チェックポイントを確認。
- 再現性：再起動後と複数回実行で、同じ手順から結果を再現できることを確認。
FAQ
よくある質問
8GPUは4GPUの2倍速くなりますか？
保証されません。計算と通信の比率、バッチ、並列方式、GPUトポロジー、CPUやI/Oで変わります。代表ジョブで確認します。
複数の利用者がいる場合は8GPUが必要ですか？
同時ジョブ数と各ジョブのGPU数、待ち時間によります。8GPUを1つのジョブに使う場合と、2GPU×4ジョブで使う場合を分けて設計します。
GPUメモリを全部まとめて使えますか？
各GPUのメモリは独立しています。アプリケーションが分割と通信を支援していることが必要です。
4GPUから8GPUへ後から増設できますか？
最大搭載数だけでは判断できません。GPU対応、電源、冷却、ライザー、ケーブル、CPUとPCIeトポロジーを確認します。増設前提なら最初の依頼に記載してください。
Primary sources
仕様・通信確認に使用した公式情報
Compare systems
4GPUと8GPUの本体候補を、同じGPU条件で比較
H200 NVLを事前選択し、最大搭載数、CPU世代、DIMM、ストレージなどを横断比較できます。希望枚数で実構成できるかは見積時に確認します。