モデル重み
BF16なら概ね2バイト／パラメータという入口計算ができますが、保存形式、量子化メタデータ、MoEの読み込み方などで実際の配置は変わります。
On-premises LLM infrastructure
ローカルLLMのGPU構成を、「モデルが載る」の先まで設計する
モデル重みがGPUメモリに収まるだけでは、実用的な生成AI基盤とは言えません。コンテキスト長、同時実行数、KVキャッシュ、応答時間、量子化品質、利用者管理まで含めてGPUとサーバーを選びます。
Memory model
必要GPUメモリは、モデル重みだけでは決まりません
重みだけの概算は「パラメータ数 × 1パラメータあたりのバイト数」で考えられます。ただし、この値は必要メモリの下限目安にすぎません。実際の推論・学習には次の領域が加わります。
KVキャッシュ
コンテキスト長、バッチ、同時シーケンス、モデル構造、キャッシュ精度に応じて増えます。長文と多人数を両立すると重要度が上がります。
ランタイム領域
CUDAグラフ、カーネル、一時バッファ、通信、プロファイル、推論エンジンの予約領域を含みます。空き容量ゼロを目標にしません。
学習・微調整領域
勾配、オプティマイザ状態、活性値、チェックポイントを考慮します。推論で動く構成が、そのまま微調整に使えるとは限りません。
マルチモーダル
画像・音声エンコーダ、前処理、追加のキャッシュや入力データが必要です。テキストLLMの見積だけを流用しません。
安全余裕
ソフトウェア更新、モデル変更、利用者増加に備える余裕を定義します。必要以上の余剰と、運用不能になる不足を分けて検討します。
GPU candidates
RTX PRO 6000、H100、H200の比較軸
| 候補 | 公式メモリ仕様 | 検討しやすい入口 | 必ず確認すること |
|---|---|---|---|
| RTX PRO 6000 Blackwell | 96GB GDDR7 | ローカルAI、データ分析、可視化を一つのGPUクラスで扱う構成 | Server / Workstation / Max-Qの別、冷却、600W級電源、対象ランタイムのカーネル対応 |
| H100 80GB PCIe | 80GB HBM2e | Hopper世代のAI/HPC、既存H100向けソフトウェア資産を使う構成 | 正確なH100製品、GPU枚数、接続、モデルが80GB内または並列で成立するか |
| H200 NVL | 141GB HBM3e | 1GPUあたりのメモリ容量を増やし、より大きいモデルやキャッシュを扱う構成 | 600W級電源・冷却、NVLink構成、サーバー適合、必要枚数と並列方式 |
GPUの公称演算性能だけで応答速度を決めません。対象モデル、推論エンジン、精度、入力長、出力長、同時実行条件をそろえた測定が必要です。
Parallelism
2GPU以上では、分割方法と通信を先に決めます
テンソル並列
一つのモデルの演算を複数GPUへ分割します。対象モデルが対応し、GPU枚数と分割数が整合すること、GPU間通信が律速にならないことを確認します。
パイプライン並列
モデルの層を段階へ分けます。GPU間の処理バランス、マイクロバッチ、待ち時間の影響を見ます。
データ並列
同じモデルの複製を使い、リクエストやデータを分けます。単一リクエストのメモリ不足を解決する方式とは限りません。
モデルごとの分離
埋め込み、再ランキング、生成モデルを別GPUへ置く案もあります。全GPUを一つのモデルへ束ねるより、運用しやすい場合があります。
Benchmark design
構成比較で測るのは、tokens/sだけではありません
- 起動・ロード：モデル取得からサービス起動、再起動後の復旧まで。
- 単一応答：入力長と出力長を固定し、TTFT、出力速度、GPUメモリを記録。
- 同時実行：実運用に近い同時数で、待ち時間、スループット、失敗率を確認。
- 品質：代表プロンプトと正解条件を決め、BF16/FP8/4bitなどを同じ基準で評価。
- 運用：認証、ログ、モデル更新、監視、バックアップ、外部通信を確認。
ServerGearの2GPU検証記事では、科学計算入力生成タスクに対しBF16、FP8、NVFP4を比較し、速度だけでなく静的checkerのpass/warn/failも記録しています。これは一般性能の保証ではなく、用途別評価が必要であることを示す実例です。
Operations and security
オンプレミス化と情報管理は、同じ意味ではありません
ローカル設置は構成要素の一つです。モデルやコンテナの取得先、テレメトリ、外部API、ログ、バックアップ、保守接続、利用者権限を一覧にし、許可する通信と保存期間を決めます。機密データを扱う場合は、データ投入から削除までの経路を組織の規程と合わせてください。
FAQ
よくある質問
モデルのパラメータ数から必要GPUメモリを決められますか？
重みの入口計算には使えますが、KVキャッシュ、ランタイム、同時実行、コンテキスト、量子化メタデータなどが加わります。実際のモデル形式とエンジンで確認します。
96GB GPUを2枚使えば192GBのモデルをそのまま実行できますか？
一つの共有メモリにはなりません。推論エンジンがモデルを分割でき、通信と一時領域の余裕がある必要があります。
FP8や4bit量子化を選べば品質は同じですか？
同じとは限りません。速度、メモリ、出力品質、カーネル対応を代表タスクで比較します。
ローカル運用なら情報が外部に出ないと保証できますか？
ローカル設置だけでは保証できません。外部通信、ログ、更新、保守、バックアップ、権限を含めた設計と監査が必要です。
Primary sources
仕様・ソフトウェア確認に使用した公式情報
Build a local LLM server
ローカルLLM用途を引き継いで、GPU本体候補を比較
用途、GPU、希望枚数を事前選択し、対応筐体からCPU、メモリ、ストレージまで構成できます。