Ollama 上的无审查模型与托管 API
搜索“无审查模型 ollama”通常意味着一件事:你想要一个不会拒绝回答的模型,并且希望它运行在你自己的机器上。这可行,本文展示了它在内存、时间和维护上的成本,然后将其与托管的 OpenAI 兼容端点进行对比。
已更新


要点
- Ollama 在本地运行无审查权重,并在 11434 端口提供 OpenAI 风格的接口。
- 显存而非磁盘空间是你遇到的第一个限制;量化以质量换取内存。
- 托管 API 的成本为每 1M 输入 token $0.15,每 1M 输出 token $0.50,因此小型应用每月成本为 $12.75。
- 两种路径都使用相同的聊天补全格式,因此切换只需更改两行代码。
去审查的含义及 Ollama 的作用
去审查是一种权重编辑。研究人员找到模型激活中与拒绝请求相关的方向,然后将其从权重中移除。结果是一个倾向于回答而非拒绝的模型。这不是重新训练,因此模型保留其通用技能,质量可能会向任一方向轻微变化。
Ollama 是一个本地运行时环境。你拉取一个模型,它会下载权重,并在 http://localhost:11434 提供服务。该服务器还提供 /v1 下的 OpenAI 兼容路由,因此大多数聊天前端和 SDK 都可以与其通信。社区成员发布了流行开放模型的无审查版本,通常以 Ollama 可导入的 GGUF 文件形式提供。
因此流程很简单:找到构建,拉取它,将客户端指向 localhost。难点不在于命令,而在于硬件以及后续维护。
本地运行去审查模型的分步指南
首先从其官方网站安装 Ollama。然后通过名称拉取已发布的构建,或导入你自己下载的 GGUF 文件。
- 使用
ollama pull some-user/some-abliterated-model拉取已发布的构建(名称仅为示例,请搜索你信任的版本)。 - 或者导入 GGUF 文件:编写一个 Modelfile,其第一行为
FROM ./model.Q4_K_M.gguf,然后运行ollama create my-abliterated -f Modelfile。 - 使用
ollama run my-abliterated在终端中开始聊天。
要从代码调用它,请使用任何带有本地基础 URL 的 OpenAI 客户端。密钥可以是任何非空字符串,因为 Ollama 默认不检查它。
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
如果此代码运行,说明你的本地设置已就绪。注意片段中的第二个客户端已指向托管接口;本文其余部分解释了何时这是更好的选择。首先介绍决定本地是否仍有用的部分:内存、速度和维护。
显存、速度与量化的权衡
模型必须容纳在快速内存中才能以有用的速度运行。一个粗略的规则是:在 4-bit 量化下,每个参数大约占用半字节,因此 8B 模型需要约 4 到 5 GB 权重,而 70B 模型需要约 35 到 40 GB。加上 KV 缓存的空间,它会随上下文长度增长。长提示词可能需要额外的几 GB。
当模型无法容纳在 GPU 内存中时,Ollama 会将层溢出到系统 RAM 和 CPU。它仍然可以回答,但生成速度会大幅降低。在 24 GB 显卡上使用大模型看到每秒 2 个 token 的人通常处于这种情况。
- 较小模型: 轻松运行,回答速度快,但在长且细微的场景下写作质量较差。
- 较低位量化: 节省内存,但损失一些连贯性。Q4 是常见的中间点;Q2 和 Q3 通常会出现可见的损坏。
- 较短上下文: 节省缓存内存。许多本地设置运行在 8K 或 16K token 以保持速度。
去审查增加了一个变量。由于权重被编辑,构建可能比原始版本稍不稳定,出现更多冗长或奇怪重复。在依赖任何构建之前,请针对你自己的提示词进行测试。
教程中未列出的维护工作
本地按 token 免费,但并非无需工作。预计需要花费时间在以下方面:
- 选择构建版本。 存在许多无审查上传版本,具有不同的基础模型、方法和量化方式。阅读说明卡、检查许可证并测试输出是你的工作。
- 更新。 新的基础模型出现,运行时更改默认值,经过 Ollama 升级后,原本有效的构建可能表现不同。
- 并发。 一个 GPU 很好地服务一个或两个请求。如果三个用户同时聊天,他们会排队。
- 可用性。 应用仅在机器运行时可用。睡眠的笔记本电脑会使你的机器人离线。
- 输出安全。 一个没有拒绝行为的模型需要你自己制定访问规则。将其用于合法的成人用途,并使其远离涉及未成年人的任何内容。
另一个成本是注意力。当回复看起来错误时,你必须找出是提示词、量化、模板还是构建的问题。使用托管接口时,你仍然调试提示词,但模型文件和运行时不是你的问题。保留一份简短日志,记录哪些构建、量化和设置产生了良好结果,因为一个月内你就会忘记。
这些都不是避免本地的理由。如果你拥有良好的 GPU 且喜欢调整,这是一个很好的爱好并提供完全隐私。问题是它是否是其他人使用的应用最便宜的路线。
托管替代方案及月费估算
托管选项是一个 OpenAI 兼容接口,服务于一个经过调整的开放权重模型,旨在为合法的成人用途提供无内容拒绝的回答。你向 POST /v1/chat/completions 发送请求,模型为 uncensored。它仅支持文本,具有 100,000 token 上下文窗口、流式输出和函数调用功能。它不是任何模型供应商的官方 API。请参阅 API 文档 获取完整的方法列表。
定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50,从预付额度中扣除,无订阅。失败或被拒绝的请求不收费,且额度永不过期。以下是小型聊天应用(每天 1,000 次请求,平均 1,500 输入 token 和 400 输出 token)的估算:
| 项目 | 每日 token 数 | 费率 | 每日成本 |
|---|---|---|---|
| 输入 | 1,000 x 1,500 = 1.5M | 每 100 万 $0.15 | $0.225 |
| 输出 | 1,000 x 400 = 0.4M | 每 100 万 $0.50 | $0.20 |
| 总计 | $0.425 |
30 天总计 $12.75。将其与电力、硬件份额和你自己的时间进行比较。如果你已经拥有 GPU,本地在现金方面仍然胜出;如果需要购买或租用,请将当前租赁报价与此数字进行比较。定价页面 列出了充值,起始金额为 $20,从 $50 起提供奖励。
使用相同客户端调用托管接口
由于 Ollama 和托管 API 都使用聊天补全格式,你上面编写的代码几乎不需要更改。交换基础 URL、密钥和模型名称:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
一个实用模式是同时保留两者。在离线或测试提示词时针对本地 Ollama 进行开发,并将生产流量发送到托管接口。从环境变量读取基础 URL,应用中的其他部分无需知晓。
新账户可以点击 API 密钥页面一键领取 $0.50 试用额度,有效期 7 天且无需绑定信用卡。请注意限制:试用密钥允许 2 个并发请求和每分钟 60 个请求,而完整密钥允许 8 个并发请求和每分钟 300 个请求。API 速率限制一文解释了如何处理 429 响应。
如何选择
当你已经拥有具有足够内存的 GPU、希望数据留在本地机器上、容忍大模型较慢的生成速度,或者项目是个人使用时,选择本地 Ollama。当其他人使用应用、需要同时处理多个请求、希望在不购买内存的情况下获得 100K 上下文,或者不想维护模型文件时,选择托管接口。
一个简单的测试:计算你本月用于设置的小时数并估算其价格。对于爱好,这个数字是零,因为你享受它。对于有用户的产品,这是真金白银,几美元的按 token 计费账单可能更少。还要考虑故障情况。如果你的家用机器在夜间重启,托管端点会继续响应;本地服务器则不会。
两者并不互斥,尝试托管试用无需成本。将相同的十个提示词通过两者运行并比较答案和你花费的时间。
更多指南
问答
Ollama 能运行无审查模型吗?
可以。Ollama 可以拉取已发布的构建或导入你下载的 GGUF 文件。加载后,模型会在 /v1 下通过 OpenAI 兼容路由本地提供服务。
我需要多少 VRAM?
在 4-bit 量化下,每个参数约占半字节,加上 KV 缓存。8B 模型在上下文窗口适中的情况下大约占用 5 到 6 GB,而 70B 模型则需要超过 35 GB。
无审查模型与原始模型相同吗?
不。拒绝行为已从权重中编辑掉,质量和稳定性可能会有所变化。请在你自己的提示词上测试构建版本。
托管 API 是否与兼容 Ollama 的客户端配合使用?
任何允许你设置 OpenAI Base URL 和 API 密钥的客户端均可使用。使用 Base URL https://api.abliteratedapi.com/v1 和模型 uncensored。