有些工作不能交给托管的 AI 接口：可能是保险方的要求，可能是客户合同的约定，也可能这些文档本来就不是你有权发出去的。对此，答案不是找一家政策更好的供应商，而是让模型运行在数据本来所在的地方。
它运行在哪里#
在你自己的基础设施里，或者在你掌控的私有隔离实例中。两种都算。具体哪种合适，取决于你的审批流程、你的基础设施，以及你的安全团队愿意签字认可什么——而不是取决于我的偏好。
为什么开放权重模型是交付的一部分#
如果数据确实不能离开你的环境，那模型就必须运行在里面。这排除了托管接口，也就引入了由你自己托管的开放权重模型，运行在你掌控的基础设施上。具体选用哪个模型家族，取决于你的工作流、硬件和审批要求——这是每次合作时回答的问题，而不是事先定死的。
我目前常用的模型家族包括 DeepSeek、Qwen、Kimi 和 GLM。开放权重模型的发布节奏很快，所以这只是一个快照，不是一份短名单：这项工作的一部分，就是拿你自己的文档去评测候选模型，而不是照搬排行榜。
数据放在哪里，是最显而易见的理由。工作流一旦进入生产环境，另外三点更重要：
- 模型不会在你脚下发生变化。 托管接口可能按别人的节奏更新或下线。上个季度能够被辩护的报告，这个季度应当可以复现，而固定权重正是让这件事成为可能的前提。
- 没有任何东西被传出去。 提示词、文档、客户名称都不会离开你的场所——这不是对某家供应商政策的信任，而是因为根本不存在对外请求。
- 最昂贵的那一环不被锁定。 你持有的权重可以替换、可以互相评测，也可以多年沿用。在报告体量下，推理成本是一项持续开支，而不是一次性投入。
开放权重并不总是正确答案——用托管模型验证一个工作流往往更快，这一点我会直说。关键在于：选择权在你，而且这个选择依据的是工作流的约束，而不是我恰好能转售什么。
开放权重真正保护的是什么#
数据放在哪里，是大多数人首先会讲的理由。但这不是最有价值的那一条。
让一家机构的 AI 真正好用的，往往不是模型本身，而是围绕它搭起来的那些东西：你认定为权威的文档、你花几个月打磨出来的提示词、教会它你们行文风格的示例，以及同事一次次做出并回流的修正。这些累积起来的判断，就是你们的专业知识，也是竞争对手买不到的那一部分。
每一次发往托管接口的请求，都会把其中一小块带到你们的边界之外。那时你拥有的保护是合同层面的：一份供应商政策——它可能非常完善，而你之所以依赖它，是因为你无法查验另一种可能。自己持有权重，是让这个问题不再存在，而不是去回答它：根本没有对外请求需要治理。
把话说准一点：这只防住了一种特定的风险，也就是数据被传给第三方。它并不能解决内部部署治理不当、权限开得过宽，或者语料根本没人整理这些问题。那些依然是你们要面对的，而把它们设计好，也是这项工作的一部分。
它归你，也由你运行#
交接本身就在交付范围内，不额外开票：文档、运行手册，以及一套你的团队没有我也能运行的系统。跑在你自己的硬件上，并不改变这一点；甚至更重要，因为硬件也是你的。
运行它的是你的团队，不是我。机器的管理——操作系统、驱动、补丁、备份——仍然由本来就负责这些事的人来做。我负责构建、写文档、完成交接。与其把这个问题留到签合同时才谈，我更愿意在这里直说。
我目前跑的是什么#
我在自己拥有的硬件上运行自托管的开放权重模型：多块 48GB 的工作站级 GPU，以及 256GB 以上的主机内存，可以运行 70B 以上的模型，具体精度按模型选择。我还没有在客户的生产环境里运行过，在这一点改变之前，本页会一直这样写明。
需要你这边配合什么#
一个可以部署进去的环境，以及一位能批准对该环境作变更的人。你的基础设施和安全同事请尽早参与，而不是到签字环节才出现。还需要一个真实的工作流和真实的文档——演示用的样例数据，暴露不出决定这件事成不成立的那些约束。
费用怎么算#
按项目单独议定，而且是有意如此。这不属于那几档有公开价格区间的打包服务，因为影响价格的是你这边的条件，而不是我这边的：我要部署进去的环境、一次变更需要经过多少审批、你的安全评审会提出什么要求，以及你已经拥有的硬件。这些在范围界定时谈清楚，双方再决定是否推进。
目前还没有公布的内容#
一位审慎的买家会问到两件事，以及我没有把它们写在这里的原因：
- 没有私有部署的客户成果。 目前没有可以描述的项目。与其暗示有，我宁可直说没有。
- 没有针对你的环境的硬件配置数字。 我自己跑的配置写在上面；你需要什么，取决于模型大小、文档体量，以及你已经拥有的设备。
这里的每一条，等到它不再成立的那一天就会被删掉。
常见问题#
什么是私有 AI 部署？
把开放权重模型运行在你自己的基础设施里，或运行在你掌控的私有、隔离实例中，让文档和提示词都不离开你的环境。
为什么使用开放权重模型？
数据不能离开你的环境时，模型就必须在环境内运行。你持有的权重也不会在你脚下发生变化，没有任何内容被传给第三方，最昂贵的组件也不会被锁定。
交付之后由谁来运行系统？
由你的团队运行。交接本身就在范围内：文档、运行手册，以及一个你的团队可以自行操作的系统。机器的日常管理仍由原本负责这项工作的人承担。
私有 AI 部署的费用是多少？
按具体情况而定。费用取决于部署环境、每次变更需要的审批、你的安全审查要求，以及你已有的硬件；在双方做出承诺之前，会在范围界定中谈清楚。
从成本最低的那一步开始#
价值检查估的是一个工作流对你值多少钱。这和这项服务本身要花多少钱是两个问题，但它仍然是最值得先做的一步：它能让第一次沟通从泛泛地聊 AI，变成聊一个具体的工作流和一个具体的数字。如果诚实的答案是"用托管模型验证它更快也更便宜"，我会直说。
模型与产品名称仅为描述目的引用，不代表与任何第三方存在合作、背书或认证关系。