ローカルLLMへ移行する判断基準と、2026年秋時点のハードウェア選び

「どのGPUを買えばよいか」というご相談をよくいただきます。ただ、先に決めるべきは機材ではなく、どの業務をクラウドから降ろすかです。機材の話は、その答えが出てからで間に合います。

この記事では、ローカル推論を採用すべきかどうかの判断基準と、2026年10月時点で各状況に合うハードウェアを整理します。

ローカルで動かす理由、動かさない理由

コストが最初に挙がりがちですが、実は最も弱い理由です。実務で成り立つ理由は次の4つです。

1. データを社外に出せない。 個人データ、契約書、製造データ、セキュリティログなど。個人情報保護法（APPI） では、第三者提供や外国にある第三者への提供に条件があり、委託先の管理も問われます。金融・医療・製造の現場では、入力データが外部で学習や保管に使われるリスクそのものを排除したい、という要請が強くあります。J-SOX の観点では、AIの出力に対する監査証跡をどこに残すかも論点になります。重要インフラや防衛関連の取引先を持つ企業では、NISC のガイドラインや 経済安全保障推進法 への対応から、データの所在を明確にしたいという事情もあります。この理由は、利用量や価格に左右されません。
2. 単純だが大量の処理。 分類、抽出、翻訳、埋め込み、社内文書の検索などは、小〜中規模のオープンモデルで十分に動きます。公開されている損益分岐点の試算は、置き換え対象のモデルと機材によって、月数千万トークンから1億トークン超まで幅があります。それ未満であれば、APIのほうが安いことが多いです。
3. 遅延や接続の制約。 検査工程やエッジ拠点など、クラウドリージョンへの往復が遅すぎる、あるいは回線が不安定な場所。
4. 自社でチューニングしたモデルがあり、提供事業者にそれがない。

一方、利用量が少ない・波がある場合、ピーク時の余力が必要な場合、最高水準の推論が必要な場合は、クラウドのままが適切です。難度の高いエージェント型コーディングでは、依然としてクローズドの最上位モデルが先行しています。オープンウェイトとの差は縮まりましたが、デスクトップ1台で量子化したモデルは最上位モデルの代替ではなく、1トークンあたりの価格を同列に比較するのはよくある誤りです。

損益分岐の計算を、正直にやる

単純な式は「月額の機材コスト ÷ APIの1トークン単価」ですが、2つ抜けています。

• 稼働率。 マシンが1か月に生成できるトークン数には上限があります。損益分岐の量がその上限を超えるなら、どれだけ使っても自前運用は勝てません。
• 運用工数。 更新、監視、フェイルオーバー、当番対応。これらを入れると損益分岐は後ろにずれます。

簡易チェックとして、事業者のダッシュボードから実際の月間トークン数を取り、置き換える現実的なモデル（最も高価なモデルではなく）の単価を掛け、減価償却した機材費＋電気代＋エンジニア工数の按分と比べてください。

ハードウェア：状況別の選び方

ほぼすべてを決めるのは、メモリ帯域とメモリ容量です。1トークンを生成するたびに重みをメモリから読み出すため、帯域が広いほど速く、容量が大きいほど大きなモデルが載ります。チャットやエージェント用途では、演算性能の数値はそれほど効きません。

下表は2026年10月時点の購入ガイドにある概算の実勢価格（米ドル）です。週単位で動くため、購入前に最新の価格を確認してください。日本国内では為替や販売店によって大きく変わります。

補足が2点あります。Mac Studio M5 Ultraの512GB構成は2026年10月に出荷開始と報じられていますが、執筆時点で独立した検証結果はありません。また、第4四半期にAppleとNVIDIAの新製品が見込まれるため、待てるなら待つよう勧める購入ガイドもあります。

どのモデルを、どの機材で

• gpt-oss-20b は約16GB、gpt-oss-120b は約80GB以内に収まります。いずれもApache 2.0です。
• Qwen3-Coder 30B（稼働パラメータ約3.3B）は、コンシューマー向けGPU1枚で動くコーディングモデルとして評価が高いものの一つです。
• Qwen3-Coder-Next（総計80B、稼働3B、Apache 2.0）は、128GBクラスのマシンで自前運用するコーディング用途の有力候補です。
• GLM-5.2やKimi K3のような最大級のオープンモデルは、重みは公開されていても、サーバーノード一式が必要です。多くの組織にとっては、ローカルではなくAPIで使う選択肢になります。

日本語の業務では、必ず自社の実文書で試験してください。評価指標の多くは英語中心で、敬語や契約書の文体での品質は、ランキングの数字以上にモデルごとの差が出ます。日本語に調整したモデル（ELYZAなど）も候補に入れる価値があります。

判断フロー

flowchart TD
    A["業務を1つ選ぶ"] --> B["データを社内ネットワークから出せないか"]
    B -->|"はい"| L["ローカルで動かす"]
    B -->|"いいえ"| C["月間量が多く処理が単純か"]
    C -->|"はい"| D["ローカルモデルで試行し品質を比較する"]
    C -->|"いいえ"| E["最上位の推論能力が必要か"]
    E -->|"はい"| F["クラウドAPIのままにする"]
    E -->|"いいえ"| G["遅延や接続が制約になっているか"]
    G -->|"はい"| L
    G -->|"いいえ"| F
    D -->|"品質が十分"| L
    D -->|"品質が不足"| F

判断は会社単位ではなく、業務単位で行ってください。多くの組織は最終的に両方を使い分けます。

実務で機能する形：業務ごとに振り分ける

現実的な構成はハイブリッドです。

• 難しい推論や複雑なコーディングは、クラウドAPIを維持する。
• 社内文書のRAG、大量処理、機微なデータを扱う業務は、ローカルモデルに載せる。
• ローカルモデルはOpenAI互換のエンドポイントで公開し、アプリケーションは設定の変更だけでローカルとクラウドを切り替えられるようにする。

最後の点が、この判断を後から覆せるものにします。来四半期に優れたオープンモデルが出ても、業務量が変わっても、アプリを作り直さずに業務を移せます。

Simplicoができること

Simplicoは、タイ、日本、周辺地域の企業向けにオンプレミスLLM環境を構築しています。ハードウェアに合わせたモデル選定と量子化、OpenAI互換のAPI層、社内文書向けRAG、ガードレールと監査ログ、ERP・MESとの連携までを扱います。最初のステップは、どの業務をローカル推論に置き、どれをクラウドに残せるかの評価です。機材を購入する前に、範囲を絞ったPoCを行うことも可能です。

自社の現在地が分からない場合は、無料のローカルLLM準備度アセスメント（25問）をご利用ください。コンプライアンス、インフラ、ユースケース、システム連携、組織の準備状況を確認できます。サービスの詳細はsimpliLLMのページをご覧いただくか、業務内容とデータ上の制約を簡単にまとめて hello@simplico.net までお送りください。

よくある質問

ローカルLLMはクラウドAPIより安いですか？
継続的に大量に使い、かつ置き換える現実的なモデルと比べた場合に限られます。利用量が少ない、または読めない場合は、機材・電気代・運用工数を含めるとAPIのほうが安いのが普通です。

NVIDIAのGPUは必須ですか？
推論だけなら必須ではありません。Apple SiliconやAMD Strix Haloでも、llama.cpp、Ollama、MLXで大きなモデルが動きます。CUDA、vLLM、TensorRT-LLMが必要な場合や、本番のCUDA環境と揃えたい場合はNVIDIAが現実的です。

メモリはどのくらい必要ですか？
Q4量子化の目安は、7B〜8Bで約8GB、20B〜24Bで約16GB、32Bで約24GB、70B denseで40GB以上です。gpt-oss-120bのような大型MoEは約80GBで、コンテキスト用の余裕も見込んでください。

ローカルモデルでClaude、GPT、Geminiを置き換えられますか？
要約、分類、抽出、文書Q&Aであれば、多くの場合は可能です。最も難しい推論やエージェント型コーディングでは、クローズドの最上位モデルが依然として先行しているため、ハイブリッド構成が妥当な既定値です。

今買うべきですか、待つべきですか？
規制対象の業務と明確なユースケースがあるなら、128GBクラスの中位機は、リスクが低く転用もしやすい出発点です。まだ検討段階なら、GPUのレンタルや手元の機材から始めてください。第4四半期に新製品が見込まれています。

ローカルで動かせばAPPIに対応したことになりますか？
第三者提供や越境移転の論点は減りますが、アクセス制御、ログ、保存期間、運用方法も対応の一部です。一つの統制手段として捉え、自社固有の義務は法務・コンプライアンス部門にご確認ください。