1GPU：手元で開発・評価
RTX PRO 6000 Blackwell 96GB × 1。デスクサイドならWorkstation / Max-Q Editionを候補に、電源・騒音・画面出力と筐体適合を確認します。
CPU・システムメモリ・SSDは、モデルの読み込み、データ量、保存するモデル数から選定します。
本体一式：個別見積
On-premises LLM infrastructure
オンプレミス・ローカルLLMサーバーの導入・見積もり相談
社内で使うLLMの導入を、使いたいモデル名だけから相談できます。量子化方式、GPU枚数、予算が未定でも、分かる範囲の情報から構成を検討します。必要なGPUメモリや利用条件は、ご相談の中で一緒に整理します。
GPU・枚数が決まっている方：RTX PRO 6000 2GPU候補 ／ H200 NVL 2GPU候補
On-premises LLM configurations
オンプレミスLLM導入の代表構成と、個別見積もりの考え方
社内文書の検索・回答（RAG）、研究用のモデル評価、複数人で使う推論環境など、実現したい用途から構成を検討します。以下は相談を始めるための候補です。使うモデル・量子化・入力長・同時利用人数に合わせて、GPUと本体仕様を確定します。
2GPU：モデル分割・処理分担
RTX PRO 6000 Blackwell 96GB × 2。モデルの分割実行や、生成・埋め込み処理の分担を検討する候補です。Editionは設置形態に合わせて選びます。
公称GPUメモリは合計192GBですが、一つの共有メモリにはなりません。モデルと推論エンジンの対応、CPU・メモリ・SSD、GPU間通信を確認します。
本体一式：個別見積
複数GPU：社内で共有するラック構成
RTX PRO 6000 Server Edition 4GPU / 8GPU、H100 / H200などを比較。対象モデルと同時実行条件から、GPUの種類・枚数を検討します。
CPU・システムメモリ・SSDに加え、ネットワーク、ラック、受電容量、冷却、将来の増設条件を確認します。
本体一式：個別見積
国内販売価格は、見積もり時に確定します
メモリー・SSDなどの部材価格が変動するため、固定の販売価格は掲載していません。GPU・CPU・メモリ・SSDを含む本体構成、環境設定、保証、送料などの条件を整理し、価格・納期・見積有効期限を個別のお見積書でご案内します。予算が未定でも相談できます。
その他のGPUサーバー構成例を見る。リンク先の海外メーカー価格の円換算参考額は、国内販売価格ではありません。
Quotation scope
本体・環境設定・保証を分けて、見積もりの範囲を確認します
「本体の購入から始めたい」「推論環境の設定も相談したい」など、ご希望をお知らせください。対応可否と費用は対象モデル・設置環境ごとに確認し、含まれる作業と別途必要な作業を見積もり時に明確にします。
| 項目 | 見積もりで確認する内容 |
|---|---|
| サーバー本体 | GPU・CPU・システムメモリ・SSD・筐体・電源。GPU単体と本体一式を区別します。 |
| OS・推論環境 | OS、GPUドライバー、推論エンジン、モデル導入、起動確認の要否。必要な設定作業とライセンス費用を確認します。 |
| 社内利用・RAG | Web UI、利用者認証、社内ネットワーク接続、文書取り込み・検索の要件。アプリケーション開発や既存システム連携は、本体購入とは分けて対応範囲を確認します。 |
| 動作確認・性能評価 | モデル名・量子化・入力長・同時実行数と受入条件。掲載済みベンチマーク以外の性能は、条件を合わせた確認が必要です。 |
| 納品・保証・保守 | 送料、搬入・設置の要否、保証期間と修理方法、オンサイト対応の可否、納品後のソフトウェア支援。対象製品・契約ごとに確認します。 |
初回相談で全項目を埋める必要はありません。使いたいモデル名、または実現したいことだけでもお知らせください。
Memory model
必要GPUメモリは、モデル重みだけでは決まりません
重みだけの概算は「パラメータ数 × 1パラメータあたりのバイト数」で考えられます。ただし、この値は必要メモリの下限目安にすぎません。実際の推論・学習には次の領域が加わります。
モデル重み
BF16なら概ね2バイト／パラメータという入口計算ができますが、保存形式、量子化メタデータ、MoEの読み込み方などで実際の配置は変わります。
KVキャッシュ
コンテキスト長、バッチ、同時シーケンス、モデル構造、キャッシュ精度に応じて増えます。長文と多人数を両立すると重要度が上がります。
ランタイム領域
CUDAグラフ、カーネル、一時バッファ、通信、プロファイル、推論エンジンの予約領域を含みます。空き容量ゼロを目標にしません。
学習・微調整領域
勾配、オプティマイザ状態、活性値、チェックポイントを考慮します。推論で動く構成が、そのまま微調整に使えるとは限りません。
マルチモーダル
画像・音声エンコーダ、前処理、追加のキャッシュや入力データが必要です。テキストLLMの見積だけを流用しません。
安全余裕
ソフトウェア更新、モデル変更、利用者増加に備える余裕を定義します。必要以上の余剰と、運用不能になる不足を分けて検討します。
GPU candidates
RTX PRO 6000、H100、H200の比較軸
| 候補 | 公式メモリ仕様 | 検討しやすい入口 | 必ず確認すること |
|---|---|---|---|
| RTX PRO 6000 Blackwell | 96GB GDDR7 | ローカルAI、データ分析、可視化を一つのGPUクラスで扱う構成 | Server / Workstation / Max-Qの別、冷却、600W級電源、対象ランタイムのカーネル対応 |
| H100 80GB PCIe | 80GB HBM2e | Hopper世代のAI/HPC、既存H100向けソフトウェア資産を使う構成 | 正確なH100製品、GPU枚数、接続、モデルが80GB内または並列で成立するか |
| H200 NVL | 141GB HBM3e | 1GPUあたりのメモリ容量を増やし、より大きいモデルやキャッシュを扱う構成 | 600W級電源・冷却、NVLink構成、サーバー適合、必要枚数と並列方式 |
GPUの公称演算性能だけで応答速度を決めません。対象モデル、推論エンジン、精度、入力長、出力長、同時実行条件をそろえた測定が必要です。
Parallelism
2GPU以上では、分割方法と通信を先に決めます
テンソル並列
一つのモデルの演算を複数GPUへ分割します。対象モデルが対応し、GPU枚数と分割数が整合すること、GPU間通信が律速にならないことを確認します。
パイプライン並列
モデルの層を段階へ分けます。GPU間の処理バランス、マイクロバッチ、待ち時間の影響を見ます。
データ並列
同じモデルの複製を使い、リクエストやデータを分けます。単一リクエストのメモリ不足を解決する方式とは限りません。
モデルごとの分離
埋め込み、再ランキング、生成モデルを別GPUへ置く案もあります。全GPUを一つのモデルへ束ねるより、運用しやすい場合があります。
Benchmark design
構成比較で測るのは、tokens/sだけではありません
- 起動・ロード：モデル取得からサービス起動、再起動後の復旧まで。
- 単一応答：入力長と出力長を固定し、TTFT、出力速度、GPUメモリを記録。
- 同時実行：実運用に近い同時数で、待ち時間、スループット、失敗率を確認。
- 品質：代表プロンプトと正解条件を決め、BF16/FP8/4bitなどを同じ基準で評価。
- 運用：認証、ログ、モデル更新、監視、バックアップ、外部通信を確認。
ServerGearの2GPU検証記事では、科学計算入力生成タスクに対しBF16、FP8、NVFP4を比較し、速度だけでなく静的checkerのpass/warn/failも記録しています。これは一般性能の保証ではなく、用途別評価が必要であることを示す実例です。
Operations and security
オンプレミス化と情報管理は、同じ意味ではありません
ローカル設置は構成要素の一つです。モデルやコンテナの取得先、テレメトリ、外部API、ログ、バックアップ、保守接続、利用者権限を一覧にし、許可する通信と保存期間を決めます。機密データを扱う場合は、データ投入から削除までの経路を組織の規程と合わせてください。
FAQ
よくある質問
価格が掲載されていないのはなぜですか？
メモリー・SSDなどの部材価格が変動するため、国内販売価格は見積もり時に確定します。本体構成、環境設定、保証、送料などの条件を整理し、価格・納期・見積有効期限を個別にご案内します。モデル名だけでも相談でき、予算が未定でも受け付けています。
モデルのパラメータ数から必要GPUメモリを決められますか？
重みの入口計算には使えますが、KVキャッシュ、ランタイム、同時実行、コンテキスト、量子化メタデータなどが加わります。実際のモデル形式とエンジンで確認します。
96GB GPUを2枚使えば192GBのモデルをそのまま実行できますか？
一つの共有メモリにはなりません。推論エンジンがモデルを分割でき、通信と一時領域の余裕がある必要があります。
FP8や4bit量子化を選べば品質は同じですか？
同じとは限りません。速度、メモリ、出力品質、カーネル対応を代表タスクで比較します。
ローカル運用なら情報が外部に出ないと保証できますか？
ローカル設置だけでは保証できません。外部通信、ログ、更新、保守、バックアップ、権限を含めた設計と監査が必要です。
Primary sources
仕様・ソフトウェア確認に使用した公式情報
Build a local LLM server
使いたいモデル名から、ローカルLLMの構成を相談
GPUや量子化方式を決める前でもご相談いただけます。モデル名や実現したいことを伺い、動作条件を確認しながら構成を検討します。
GPU・枚数が決まっている方：RTX PRO 6000 2GPUで始める ／ H200 NVL 2GPUで始める