Ollama 上的 Abliterated 模型與託管 API 的比較
搜尋 abliterated models ollama 通常意味著一件事:你想要一個不會拒絕回答的模型,並且希望它運行在你自己的機器上。這可行,本文將展示它在記憶體、時間和維護上的成本,然後將其與託管的 OpenAI 相容端點進行比較。
更新


重點摘要
- Ollama 在本地運行 abliterated 權重,並在埠 11434 上公開 OpenAI 風格的端點。
- VRAM 而非磁碟空間是你遇到的第一個限制;量化以品質換取記憶體。
- 託管 API 的費用為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,因此小型應用程式每月成本為 $12.75。
- 兩種方式都使用相同的聊天完成格式,因此切換只需更改兩行程式碼。
abliterated 的含義與 Ollama 的角色
abliteration 是一種權重編輯。研究人員在模型激活中找到與拒絕請求相關的權重方向,然後將其從權重中移除。結果是一個傾向於回答而非拒絕的模型。這不是重新訓練,因此模型保留其一般技能,品質可能會在任一方向上略有變化。
Ollama 是一個本地運行時。你拉取模型,它下載權重,並在 http://localhost:11434 上提供服務。伺服器也在 /v1 下提供 OpenAI 相容的路由,因此大多數聊天前端和 SDK 都可以與之通訊。社群成員發布熱門開放模型的 abliterated 構建版本,通常以 Ollama 可匯入的 GGUF 檔案形式提供。
因此流程很簡單:找到一個 build、拉取它、將你的客戶端指向 localhost。困難的部分不在於指令,而在於硬體以及後續的維護。
逐步在本地運行 abliterated 模型
首先從官方網站安裝 Ollama。然後透過名稱拉取已發布的建構,或匯入你自己下載的 GGUF 檔案。
- 使用
ollama pull some-user/some-abliterated-model拉取已發布的建構(名稱僅為範例,請搜尋你信任的版本)。 - 或匯入 GGUF 檔案:撰寫一個 Modelfile,其第一行為
FROM ./model.Q4_K_M.gguf,然後執行ollama create my-abliterated -f Modelfile。 - 使用
ollama run my-abliterated在終端機中開始聊天。
要從程式碼呼叫它,請使用任何具有本地 base URL 的 OpenAI 客戶端。金鑰可以是任何非空字串,因為 Ollama 預設不會檢查它。
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
如果這能運行,你就擁有一個可用的本地設置。注意片段中的第二個客戶端已經指向託管端點;本文其餘部分將解釋何時這是更好的選擇。首先介紹的是決定本地是否仍有用的部分:記憶體、速度和維護。
VRAM、速度與量化的取捨
模型必須能放入快速記憶體中以達到有用的運行速度。一個粗略的規則是:以 4-bit 量化計算,每個參數約佔半個 byte,因此 8B 模型需要約 4 到 5 GB 的權重空間,而 70B 模型需要約 35 到 40 GB。請為 KV cache 預留空間,它會隨上下文長度增長。長提示詞可能會額外消耗數 GB 的空間。
當模型無法裝入 GPU 記憶體時,Ollama 會將層溢出到系統 RAM 和 CPU。它仍然可以回答,但生成速度會大幅減慢。在 24 GB 卡上使用大型模型時每秒只能生成 2 個 token 的人,通常處於這種情況。
- 較小模型:容易裝入,回答快速,但在處理長且細緻的場景時寫作能力較差。
- 較低比特量化:節省記憶體,但會損失一些連貫性。Q4 是常見的平衡點;Q2 和 Q3 通常會顯示可見的損壞。
- 較短上下文:節省 cache 記憶體。許多本地設置運行在 8K 或 16K token 以保持速度。
abliteration 增加了一個變數。由於權重已被編輯,建構可能比原始版本稍不穩定,出現更多漫不經心或奇怪的重複。在依賴它之前,請使用你自己的提示詞測試任何建構。
教程中未列出的維護工作
本地運行每 token 免費,但並非沒有工作成本。預期你需要在以下方面花費時間:
- 選擇構建。 存在許多 abliterated 上傳版本,具有不同的基礎模型、方法和量化。閱讀卡片、檢查許可證並測試輸出是你的工作。
- 更新。 新的基礎模型出現,運行時更改預設值,且在 Ollama 升級後,原本有效的建構可能會表現不同。
- 並行處理。 一張 GPU 能很好地服務一個或兩個請求。如果三個用戶同時聊天,他們會排隊。
- 可用性。 應用程式僅在你的機器運行時可用。睡眠的筆記型電腦會使你的機器人離線。
- 輸出安全。 沒有拒絕的模型需要你自己制定規則來限制誰可以訪問它。僅限合法成人使用,並確保它不接觸任何涉及未成年人的內容。
另一個成本是注意力。當回覆看起來不正確時,你必須弄清楚是提示詞、量化、模板還是建構出了問題。使用託管端點時,你仍然可以除錯提示詞,但模型檔案和運行時不是你的問題。保留一份簡短日誌,記錄哪些建構、量化和設定產生了良好結果,因為你會在一個月內忘記。
這些都不是避免本地的理由。如果你擁有良好的 GPU 並享受調優,這是一個很好的愛好,並提供完整的隱私。問題在於它是否是用戶使用的應用程式最經濟的路線。
託管替代方案與每月成本估算
託管選項是一個 OpenAI 相容的端點,提供一個開放權重模型,針對合法成人用途進行調整以無內容拒絕地回答。你發送請求至 POST /v1/chat/completions,模型為 uncensored。它僅支援文字,具備 100,000 token 上下文視窗、串流輸出和函式呼叫功能。它並非任何模型供應商的官方 API。請參閱 API 文件以獲取完整方法列表。
價格為每 1M 輸入 token $0.15 以及每 1M 輸出 token $0.50,從預付額度扣除且無訂閱制。失敗或被拒絕的請求不會收費,且預付額度不會過期。以下是針對每天 1,000 次請求的小型聊天應用程式的估算,平均每次請求包含 1,500 個輸入 token 和 400 個輸出 token:
| 項目 | 每日 token 數 | 費率 | 每日成本 |
|---|---|---|---|
| 輸入 | 1,000 x 1,500 = 1.5M | $0.15 / 1M | $0.225 |
| 輸出 | 1,000 x 400 = 0.4M | $0.50 / 1M | $0.20 |
| 總計 | $0.425 |
30 天合計為 $12.75。將其與電力、硬體分攤成本以及您自行維護的時間成本相比較。如果您已經擁有 GPU,本地部署在現金支出上仍具優勢;若您需要購買或租用,請將目前的租賃報價與此數值進行比較。定價頁面列出儲值方案,起儲金額為 $20,且儲值金額達 $50 起贈送獎金。
使用相同客戶端呼叫託管端點
由於 Ollama 和託管 API 都使用聊天完成格式,你上面編寫的程式碼幾乎不需要更改。交換 base URL、金鑰和模型名稱:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
一個實用的模式是同時保留兩者。當你在離線狀態或測試提示詞時,針對本地 Ollama 進行開發,並將生產流量發送到託管端點。從環境變數讀取 base URL,應用程式中的其他部分無需知道這一點。
新帳戶可一鍵領取 $0.50 試用額度(API 金鑰頁面),有效期 7 天且免綁卡。注意限制:試用金鑰允許 2 個並行請求與每分鐘 60 次請求;完整金鑰則允許 8 個與 300 次。API 速率限制一文說明如何處理 429 回應。
如何選擇
當你已經擁有足夠記憶體的 GPU、希望數據留在本地機器上、能容忍大型模型的較慢生成速度,或項目是個人用途時,選擇本地 Ollama。當其他用戶使用應用程式、你需要同時處理多個請求、希望在不購買記憶體的情況下獲得 100K 上下文,或不想維護模型檔案時,選擇託管端點。
一個簡單的測試:計算你本月在設置上花費的小時數,並給它們定價。對於愛好來說,這個數字是零,因為你享受其中。對於有用戶的產品,這是真實的錢,而按 token 計費的帳單可能僅需幾美元。還請考慮失敗情況。如果你的家用機器在夜間重啟,託管端點仍會繼續回答;本地伺服器則不會。
這兩者並不互斥,嘗試託管試用無需成本。將相同的十個提示詞通過兩者運行,並比較答案和你花費的時間。
更多指南
問答
Ollama 能運行 abliterated 模型嗎?
可以。Ollama 可以拉取已發布的建構或匯入你下載的 GGUF 檔案。載入後,模型會在 /v1 下以 OpenAI 相容的端點在本機提供服務。
我需要多少 VRAM?
在 4-bit 量化下,每個參數約佔半個位元組,再加上 KV cache。8B 模型在上下文視窗適中的情況下約需 5 到 6 GB,而 70B 模型則需要遠超過 35 GB。
abliterated 模型與原始模型相同嗎?
不相同。權重中的拒絕行為已被移除,品質或穩定性可能會有些微變化。請使用你自己的提示詞進行測試。
託管式 API 是否支援與 Ollama 相容的客戶端?
任何允許你設定 OpenAI Base URL 和金鑰的客戶端皆可運作。使用 Base URL https://api.abliteratedapi.com/v1 與模型 uncensored。