何时把大模型搬到本地：2026年秋季的硬件选型与切换判断

很多企业一上来就问"该买哪块显卡"。这个问题问早了。更该先问的是：哪些业务真的需要从云端撤下来？答案是"需要"之后，硬件才是下一步。

这篇文章回答两件事：判断本地推理是否值得的标准，以及截至2026年10月，各种情形下适合的硬件。

什么时候该本地部署，什么时候不该

大家最先想到成本，但它恰恰是最弱的理由。真正站得住的理由有四条：

1. 数据不能出内网。 客户与员工个人信息、合同、生产数据、安全日志。《个人信息保护法》（PIPL） 对个人信息向境外提供和委托处理有明确要求；《数据安全法》 要求对重要数据分类分级管理，对"数据不出境"有现实压力的行业（金融、医疗、能源、制造）尤其如此；系统若按等保2.0定级，往往需要满足更严格的访问控制、审计与日志留存要求。对出海企业而言，同一套业务在泰国、日本、中国的数据合规要求并不一致，本地部署可以把这个问题简化为"数据留在哪个机房"。这条理由与调用量和价格无关。
2. 简单但量大的任务。 分类、抽取、翻译、向量化、内部文档检索，小型到中型开放模型就能胜任。已公开的盈亏平衡估算相差很大，从每月数千万到超过一亿token不等，取决于你要替代的模型和购买的硬件。低于这个量级，用API通常更便宜。
3. 时延或网络条件受限。 产线检测工位、边缘站点，到云端区域的往返太慢，或者专线不稳定。
4. 已经有自己微调的模型，而云厂商没有提供。

反过来，调用量低或波动大、需要突发算力、任务需要顶级推理能力时，继续用云端更合适。对于最难的智能体式编程，最强的闭源模型目前仍然领先。开放权重模型的差距在缩小，但一台台式机上量化后的模型并不能替代前沿模型，把两者的单token价格直接对比，是常见的误区。

把盈亏平衡算得老实一点

朴素公式是"每月硬件成本 ÷ API单token价格"，但漏了两点：

• 利用率。 一台机器每月能生成的token有上限。如果你的盈亏平衡量超过这个上限，那么无论用多少，自建都不可能划算。
• 运维投入。 升级、监控、故障切换、值班。把它们算进去，盈亏平衡点会往后移。

一个简单的自查方法：从服务商后台取实际月度token数，乘以你真正会替换的那个模型的价格（而不是最贵的那个），再与折旧后的硬件费用、电费以及工程师时间的分摊相比较。

硬件：什么情形配什么

几乎一切都由显存（内存）带宽和容量决定。每生成一个token，都要从内存中读取一遍模型权重，所以带宽越高越快，容量越大能装的模型越大。对对话和智能体类负载，纸面算力数字的影响要小得多。

下表为2026年10月选购指南中的大致市场价（美元），每周都会波动，购买前请核对最新报价。国内渠道价格、关税与供货情况可能差别较大。

两点补充。据报道，Mac Studio M5 Ultra的512GB版本在2026年10月开始出货，写作时尚无独立评测。另外，有选购指南建议能等就等，因为预计第四季度Apple和NVIDIA会有新品。

哪个模型配哪台机器

• gpt-oss-20b 约需16GB内存，gpt-oss-120b 可装进约80GB。两者均为Apache 2.0许可。
• Qwen3-Coder 30B（激活参数约3.3B）被普遍认为是单块消费级显卡上最好的编程模型之一。
• Qwen3-Coder-Next（总参数80B，激活3B，Apache 2.0）是128GB级机器上自建编程助手的有力选择。
• GLM-5.2、Kimi K3这类最大的开放模型虽然开放权重，但需要整台服务器节点。对多数团队来说，它们是API选项，而不是本地选项。

对中文业务，Qwen和DeepSeek一类模型原生针对中文优化，是自然的候选，但仍然务必用你自己的真实文档测试。评测基准多以英文为主，公文、合同条款或行业术语下的表现，差异往往比排行榜显示的更大。

决策流程

flowchart TD
    A["先选一个业务"] --> B["数据是否必须留在内网"]
    B -->|"是"| L["本地部署"]
    B -->|"否"| C["月调用量大且任务简单吗"]
    C -->|"是"| D["试点本地模型并对比质量"]
    C -->|"否"| E["是否需要前沿级推理能力"]
    E -->|"是"| F["继续使用云端API"]
    E -->|"否"| G["时延或网络是否构成限制"]
    G -->|"是"| L
    G -->|"否"| F
    D -->|"质量足够"| L
    D -->|"质量不足"| F

按业务逐个决策，而不是按公司一刀切。大多数企业最终两者并用。

真正行得通的做法：按任务分流

务实的方案是混合式：

• 难度高的推理和复杂编程，保留云端API。
• 内部文档RAG、批量处理和敏感数据相关的业务，放到本地模型上。
• 通过兼容OpenAI接口的端点对外提供本地模型，让应用只需改配置、不必改代码，就能在本地与云端之间切换。

最后一点让这个决定可以回头。下个季度出现更好的开放模型，或者业务量变了，你可以直接迁移业务，而不必重写应用。这也契合"智改数转"中常见的做法：先在产线或内部系统里把一两个高价值场景跑通，再逐步扩展。

Simplico能做什么

Simplico为泰国、日本及周边地区的企业部署本地大模型系统：按硬件选型并量化模型、兼容OpenAI的API层、基于企业自有文档的RAG、护栏与审计日志，以及与ERP、MES的对接。第一步是评估哪些业务应该放在本地推理上，哪些可以继续留在云端。在你决定采购硬件之前，我们也可以先做范围清晰的概念验证。

不确定自己处在哪个位置？可以先做免费的本地大模型就绪度评估，共25题，覆盖合规、基础设施、应用场景、系统集成和组织准备度五个维度。服务详情见simpliLLM页面，也可以把业务场景和数据约束简要写下来，发到 hello@simplico.net。

常见问题

本地部署大模型比云端API便宜吗？
只有在持续、大量使用，并且对比的是你真正会替换的那个模型时才成立。调用量低或难以预测时，把硬件、电费和运维时间算进去，API通常更便宜。

必须用NVIDIA显卡吗？
只做推理的话不必须。Apple Silicon和AMD Strix Halo通过llama.cpp、Ollama和MLX都能很好地运行大模型。需要CUDA、vLLM或TensorRT-LLM，或者希望本地环境与CUDA生产环境保持一致时，NVIDIA更现实。

需要多大内存？
Q4量化下的粗略参考：7B-8B约8GB，20B-24B约16GB，32B约24GB，70B稠密模型40GB以上。gpt-oss-120b这类大型MoE约需80GB。还要给上下文留出余量。

本地模型能替代Claude、GPT或Gemini吗？
对摘要、分类、抽取和文档问答，多数情况下可以。对最难的推理和智能体式编程，最强的闭源模型仍然领先，所以混合方案是合理的默认选择。

现在买硬件还是再等等？
如果你有受监管的业务和明确的用例，128GB级的中档机器是风险较低的起点，也容易转用或转售。如果还在探索阶段，先租用GPU或用现有设备。预计第四季度会有新硬件发布。

本地部署就等于合规了吗？
它能去掉数据出境和第三方提供方面的问题，但合规还取决于访问控制、日志、留存期限和系统的使用方式。把它看作一项控制措施，具体义务请与法务和合规部门确认，涉及等保测评或数据出境安全评估的，应以主管部门和测评机构的要求为准。