有些工作不能交給託管的 AI 接口：可能是保險方的要求，可能是客戶合同的約定，也可能這些文件本來就不是你有權發出去的。對此，答案不是找一家政策更好的供應商，而是讓模型運行在數據本來所在的地方。
它運行在哪裏#
在你自己的基礎設施裏，或者在你掌控的私有隔離實例中。兩種都算。具體哪種合適，取決於你的審批流程、你的基礎設施，以及你的安全團隊願意簽字認可什麼——而不是取決於我的偏好。
為什麼開放權重模型是交付的一部分#
如果數據確實不能離開你的環境，那模型就必須運行在裏面。這排除了託管接口，也就引入了由你自己託管的開放權重模型，運行在你掌控的基礎設施上。具體選用哪個模型家族，取決於你的工作流程、硬件和審批要求——這是每次合作時回答的問題，而不是事先定死的。
我目前常用的模型家族包括 DeepSeek、Qwen、Kimi 和 GLM。開放權重模型的發佈節奏很快，所以這只是一個快照，不是一份短名單：這項工作的一部分，就是拿你自己的文件去評測候選模型，而不是照搬排行榜。
數據放在哪裏，是最顯而易見的理由。工作流程一旦進入生產環境，另外三點更重要：
- 模型不會在你腳下發生變化。 託管接口可能按別人的節奏更新或下線。上個季度能夠被辯護的報告，這個季度應當可以復現，而固定權重正是讓這件事成為可能的前提。
- 沒有任何東西被傳出去。 提示詞、文件、客戶名稱都不會離開你的場所——這不是對某家供應商政策的信任，而是因為根本不存在對外請求。
- 最昂貴的那一環不被鎖定。 你持有的權重可以替換、可以互相評測，也可以多年沿用。在報告體量下，推理成本是一項持續開支，而不是一次性投入。
開放權重並不總是正確答案——用託管模型驗證一個工作流程往往更快，這一點我會直說。關鍵在於：選擇權在你，而且這個選擇依據的是工作流程的約束，而不是我恰好能轉售什麼。
開放權重真正保護的是什麼#
數據放在哪裏，是大多數人首先會講的理由。但這不是最有價值的那一條。
讓一家機構的 AI 真正好用的，往往不是模型本身，而是圍繞它搭起來的那些東西：你認定為權威的文件、你花幾個月打磨出來的提示詞、教會它你們行文風格的例子，以及同事一次次做出並回流的修正。這些累積起來的判斷，就是你們的專業知識，也是競爭對手買不到的那一部分。
每一次發往託管接口的請求，都會把其中一小塊帶到你們的邊界之外。那時你擁有的保護是合同層面的：一份供應商政策——它可能非常完善，而你之所以依賴它，是因為你無法查驗另一種可能。自己持有權重，是讓這個問題不再存在，而不是去回答它：根本沒有對外請求需要治理。
把話說準一點：這隻防住了一種特定的風險，也就是數據被傳給第三方。它並不能解決內部部署治理不當、權限開得過寬，或者語料根本沒人整理這些問題。那些依然是你們要面對的，而把它們設計好，也是這項工作的一部分。
它歸你，也由你運行#
交接本身就在交付範圍內，不額外開票：文件、運行手冊，以及一套你的團隊沒有我也能運行的系統。跑在你自己的硬件上，並不改變這一點；甚至更重要，因為硬件也是你的。
運行它的是你的團隊，不是我。機器的管理——操作系統、驅動、補丁、備份——仍然由本來就負責這些事的人來做。我負責建立、寫文件、完成交接。與其把這個問題留到籤合同時才談，我更願意在這裏直說。
我目前跑的是什麼#
我在自己擁有的硬件上運行自託管的開放權重模型：多塊 48GB 的工作站級 GPU，以及 256GB 以上的主機內存，可以運行 70B 以上的模型，具體精度按模型選擇。我還沒有在客戶的生產環境裏運行過，在這一點改變之前，本頁會一直這樣寫明。
需要你這邊配合什麼#
一個可以部署進去的環境，以及一位能批准對該環境作變更的人。你的基礎設施和安全同事請儘早參與，而不是到簽字環節才出現。還需要一個真實的工作流程和真實的文件——演示用的樣例數據，暴露不出決定這件事成不成立的那些約束。
費用怎麼算#
按項目單獨議定，而且是有意如此。這不屬於那幾檔有公開價格區間的打包服務，因為影響價格的是你這邊的條件，而不是我這邊的：我要部署進去的環境、一次變更需要經過多少審批、你的安全評審會提出什麼要求，以及你已經擁有的硬件。這些在範圍界定時談清楚，雙方再決定是否推進。
目前還沒有公佈的內容#
一位審慎的買家會問到兩件事，以及我沒有把它們寫在這裏的原因：
- 沒有私有部署的客戶成果。 目前沒有可以描述的項目。與其暗示有，我寧可直說沒有。
- 沒有針對你的環境的硬件配置數字。 我自己跑的配置寫在上面；你需要什麼，取決於模型大小、文件體量，以及你已經擁有的設備。
這裏的每一條，等到它不再成立的那一天就會被刪掉。
常見問題#
什麼是私有 AI 部署？
把開放權重模型運行在你自己的基礎設施裏，或運行在你掌控的私有、隔離實例中，讓文件和提示詞都不離開你的環境。
為什麼使用開放權重模型？
數據不能離開你的環境時，模型就必須在環境內運行。你持有的權重也不會在你腳下發生變化，沒有任何內容被傳給第三方，最昂貴的組件也不會被鎖定。
交付之後由誰來運行系統？
由你的團隊運行。交接本身就在範圍內：文件、運行手冊，以及一個你的團隊可以自行操作的系統。機器的日常管理仍由原本負責這項工作的人承擔。
私有 AI 部署的費用是多少？
按具體情況而定。費用取決於部署環境、每次變更需要的審批、你的安全審查要求，以及你已有的硬件；在雙方作出承諾之前，會在範圍界定中談清楚。
從成本最低的那一步開始#
價值檢查估的是一個工作流程對你值多少錢。這和這項服務本身要花多少錢是兩個問題，但它仍然是最值得先做的一步：它能讓第一次溝通從泛泛地聊 AI，變成聊一個具體的工作流程和一個具體的數字。如果誠實的答案是"用託管模型驗證它更快也更便宜"，我會直說。
模型與產品名稱僅為描述目的引用，不代表與任何第三方存在合作、背書或認證關係。