Các mô hình Abliterated trên Ollama so với API lưu trữ
Tìm kiếm các mô hình abliterated ollama thường có nghĩa là một điều: bạn muốn một mô hình trả lời mà không từ chối và bạn muốn nó trên máy của riêng mình. Điều đó hoạt động, và bài viết này cho thấy chi phí về bộ nhớ, thời gian và bảo trì, sau đó so sánh nó với một endpoint tương thích OpenAI được lưu trữ.
Cập nhật


Điểm chính
- Ollama chạy các trọng số Abliterated cục bộ và cung cấp một endpoint kiểu OpenAI trên cổng 11434.
- VRAM, không phải dung lượng đĩa, là giới hạn đầu tiên bạn sẽ gặp phải; lượng tử hóa đánh đổi chất lượng để lấy bộ nhớ.
- API lưu trữ có giá $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, vì vậy một ứng dụng nhỏ có thể tốn $12,75 một tháng.
- Cả hai tuyến đều sử dụng cùng định dạng hoàn thành trò chuyện, vì vậy việc chuyển đổi chỉ là thay đổi hai dòng.
Abliterated có nghĩa là gì và Ollama phù hợp như thế nào
Abliteration là một chỉnh sửa trọng số. Các nhà nghiên cứu tìm ra hướng trong các kích hoạt của mô hình tương quan với việc từ chối một yêu cầu, sau đó loại bỏ nó khỏi các trọng số. Kết quả là một mô hình có xu hướng trả lời thay vì từ chối. Đây không phải là một quá trình huấn luyện lại, vì vậy mô hình vẫn giữ được các kỹ năng chung, và chất lượng có thể thay đổi nhẹ theo cả hai hướng.
Ollama là một thời gian chạy cục bộ. Bạn kéo một mô hình, nó tải xuống các trọng số và phục vụ chúng trên http://localhost:11434. Máy chủ cũng cung cấp một tuyến tương thích OpenAI dưới /v1, đó là lý do tại sao hầu hết các giao diện trò chuyện và SDK đều có thể giao tiếp với nó. Các thành viên cộng đồng công bố các bản xây dựng abliterated của các mô hình mở phổ biến, thường dưới dạng các tệp GGUF mà Ollama có thể nhập.
Vì vậy, quy trình rất đơn giản: tìm một bản xây dựng, kéo nó, trỏ máy khách của bạn vào localhost. Phần khó không phải là các lệnh. Đó là phần cứng và sự chăm sóc đến sau.
Chạy một mô hình Abliterated cục bộ, từng bước
Đầu tiên, hãy cài đặt Ollama từ trang chính thức của nó. Sau đó, hoặc kéo một bản xây dựng đã công bố theo tên hoặc nhập một tệp GGUF bạn đã tự tải về.
- Kéo một bản xây dựng đã công bố với
ollama pull some-user/some-abliterated-model(tên là một ví dụ, hãy tìm một cái bạn tin tưởng). - Hoặc nhập một tệp GGUF: viết một Modelfile có dòng đầu tiên là
FROM ./model.Q4_K_M.gguf, sau đó chạyollama create my-abliterated -f Modelfile. - Bắt đầu một cuộc trò chuyện trong terminal với
ollama run my-abliterated.
Để gọi nó từ mã, hãy sử dụng bất kỳ máy khách OpenAI nào với URL cơ sở cục bộ. Khóa có thể là bất kỳ chuỗi nào không rỗng, vì Ollama không kiểm tra nó theo mặc định.
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
Nếu điều này chạy, bạn có một thiết lập cục bộ hoạt động. Lưu ý rằng máy khách thứ hai trong đoạn mã đã trỏ đến endpoint lưu trữ; phần còn lại của bài viết này giải thích khi nào đó là lựa chọn tốt hơn. Những gì tiếp theo trước tiên là phần quyết định liệu cục bộ có tiếp tục hữu ích hay không: bộ nhớ, tốc độ và bảo trì.
VRAM, tốc độ và sự đánh đổi lượng tử hóa
Một mô hình phải vừa với bộ nhớ nhanh để chạy ở tốc độ hữu ích. Một quy tắc thô: ở mức lượng tử hóa 4-bit, mỗi tham số chiếm khoảng nửa byte, vì vậy một mô hình 8B cần khoảng 4 đến 5 GB cho các trọng số, và một mô hình 70B cần khoảng 35 đến 40 GB. Thêm không gian cho bộ nhớ đệm KV, tăng theo độ dài ngữ cảnh. Các prompt dài có thể tốn thêm vài gigabyte.
Khi mô hình không vừa với bộ nhớ GPU, Ollama tràn các lớp vào RAM hệ thống và CPU. Nó vẫn trả lời, nhưng việc tạo nội dung chậm hơn đáng kể. Những người thấy 2 token mỗi giây trên thẻ 24 GB với một mô hình lớn thường ở trong tình huống này.
- Mô hình nhỏ hơn: vừa dễ dàng, trả lời nhanh, viết kém hơn trong các cảnh dài, tinh tế.
- Lượng tử hóa bit thấp hơn: tiết kiệm bộ nhớ, mất một số độ mạch lạc. Q4 là điểm trung gian phổ biến; Q2 và Q3 thường cho thấy thiệt hại rõ ràng.
- Ngữ cảnh ngắn hơn: tiết kiệm bộ nhớ cache. Nhiều thiết lập cục bộ chạy ở 8K hoặc 16K token để giữ tốc độ.
Abliteration thêm một biến số nữa. Vì các trọng số được chỉnh sửa, một bản xây dựng có thể kém ổn định hơn một chút so với bản gốc, với nhiều lời lan man hoặc lặp lại kỳ lạ. Hãy kiểm tra bất kỳ bản xây dựng nào trên các prompt của riêng bạn trước khi dựa vào nó.
Bảo trì không được liệt kê trong hướng dẫn
Cục bộ miễn phí theo token, nhưng không miễn phí công sức. Hãy chuẩn bị dành thời gian cho những việc sau:
- Chọn các bản xây dựng. Có nhiều bản tải lên abliterated, với các mô hình cơ sở, phương pháp và lượng tử hóa khác nhau. Đọc thẻ, kiểm tra giấy phép và kiểm tra đầu ra là công việc của bạn.
- Cập nhật. Các mô hình cơ sở mới xuất hiện, thời gian chạy thay đổi mặc định và một bản xây dựng đã hoạt động có thể hoạt động khác sau khi nâng cấp Ollama.
- Tính đồng thời. Một GPU phục vụ tốt một hoặc hai yêu cầu. Nếu ba người dùng trò chuyện cùng lúc, họ sẽ xếp hàng.
- Khả năng sẵn có. Ứng dụng chỉ trực khi máy của bạn trực. Một máy tính xách tay ngủ sẽ đưa bot của bạn ngoại tuyến.
- An toàn xung quanh đầu ra. Một mô hình không có từ chối cần các quy tắc của riêng bạn về việc ai có thể truy cập nó. Giữ nó cho việc sử dụng người lớn hợp pháp và không bao giờ để nó gần bất cứ thứ gì liên quan đến người chưa thành niên.
Một chi phí khác là sự chú ý. Khi một câu trả lời trông sai, bạn phải tìm ra xem prompt, lượng tử hóa, mẫu hay bản dựng là nguyên nhân. Với một endpoint lưu trữ, bạn vẫn gỡ lỗi các prompt, nhưng tệp mô hình và thời gian chạy không phải là vấn đề của bạn. Hãy giữ một nhật ký ngắn về bản dựng, lượng tử hóa và cài đặt nào tạo ra kết quả tốt, vì bạn sẽ quên trong vòng một tháng.
Không có gì trong số này là lý do để tránh cục bộ. Nếu bạn sở hữu một GPU tốt và thích tinh chỉnh, đó là một sở thích tuyệt vời và mang lại quyền riêng tư đầy đủ. Câu hỏi là liệu đó có phải là tuyến đường rẻ nhất cho một ứng dụng mà những người khác sử dụng hay không.
Lựa chọn thay thế được lưu trữ và phác thảo chi phí hàng tháng
Tùy chọn lưu trữ là một endpoint tương thích OpenAI phục vụ một mô hình trọng số mở được tinh chỉnh để trả lời mà không có từ chối nội dung cho việc sử dụng người lớn hợp pháp. Bạn gửi các yêu cầu đến POST /v1/chat/completions với mô hình uncensored. Nó chỉ dành cho văn bản, với cửa sổ ngữ cảnh 100.000 token, truyền phát (streaming) và gọi hàm. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Xem tài liệu API để biết danh sách phương thức đầy đủ.
Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, trừ từ tín dụng trả trước, không có gói đăng ký. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng không hết hạn. Dưới đây là bản phác thảo cho một ứng dụng chat nhỏ với 1.000 yêu cầu mỗi ngày, trung bình 1.500 token đầu vào và 400 token đầu ra:
| Mục | Token mỗi ngày | Tỷ lệ | Chi phí mỗi ngày |
|---|---|---|---|
| Đầu vào | 1.000 x 1.500 = 1,5M | $0,15 cho 1 triệu | $0,225 |
| Đầu ra | 1.000 x 400 = 0,4 triệu | $0,50 cho 1 triệu | $0,20 |
| Tổng cộng | $0,425 |
Trong 30 ngày đó là $12,75. So sánh điều đó với điện, chia sẻ phần cứng và giờ làm việc của riêng bạn cho một hộp cục bộ. Nếu bạn đã sở hữu GPU, cục bộ vẫn thắng về tiền mặt; nếu bạn cần mua hoặc thuê một cái, hãy kiểm tra các báo giá thuê hiện tại so với con số này. Trang giá cả liệt kê các khoản nạp tiền, bắt đầu từ $20 và thêm một khoản tiền thưởng từ $50.
Gọi endpoint lưu trữ bằng cùng một máy khách
Vì Ollama và API được lưu trữ đều hỗ trợ định dạng chat completions, mã bạn đã viết ở trên hầu như không thay đổi. Hãy thay đổi base URL, khóa và tên mô hình:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
Một mẫu thực tế là giữ cả hai. Phát triển với Ollama cục bộ khi bạn ngoại tuyến hoặc kiểm tra các prompt và gửi lưu lượng sản xuất đến endpoint lưu trữ. Đọc URL cơ sở từ biến môi trường và không có gì khác trong ứng dụng của bạn cần biết.
Tài khoản mới có thể nhận $0,50 tín dụng dùng thử bằng một cú nhấp chuột trên trang khóa API, có hiệu lực trong 7 ngày và không cần thẻ tín dụng. Lưu ý các giới hạn: khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, trong khi khóa đầy đủ cho phép 8 và 300. Bài viết về giới hạn tốc độ API giải thích cách xử lý phản hồi 429.
Cách để lựa chọn
Hãy chọn Ollama cục bộ khi bạn đã có một GPU với đủ bộ nhớ, bạn muốn dữ liệu ở lại trên máy của mình, bạn chấp nhận tốc độ tạo chậm hơn trên các mô hình lớn hoặc dự án là cá nhân. Hãy chọn endpoint lưu trữ khi những người khác sử dụng ứng dụng, bạn cần nhiều yêu cầu cùng lúc, bạn muốn ngữ cảnh 100K mà không cần mua bộ nhớ cho nó hoặc bạn không muốn duy trì các tệp mô hình.
Một bài kiểm tra đơn giản: đếm số giờ bạn đã dành cho việc thiết lập trong tháng này và đặt giá cho chúng. Đối với một sở thích, con số đó là không vì bạn thích nó. Đối với một sản phẩm có người dùng, đó là tiền thật và hóa đơn trả theo token vài đô la có thể nhỏ hơn. Hãy cũng xem xét trường hợp thất bại. Nếu máy chủ nhà của bạn khởi động lại vào ban đêm, một endpoint lưu trữ vẫn tiếp tục trả lời; một máy chủ cục bộ thì không.
Cả hai không loại trừ nhau và việc dùng thử endpoint lưu trữ không tốn gì. Hãy chạy cùng mười prompt qua cả hai và so sánh các câu trả lời và thời gian bạn đã dành.
Hướng dẫn khác
Hỏi đáp
Ollama có thể chạy các mô hình abliterated không?
Có. Ollama có thể kéo các bản xây dựng đã công bố hoặc nhập các tệp GGUF bạn tải về. Sau khi tải, mô hình được phục vụ cục bộ với một tuyến tương thích OpenAI dưới /v1.
Tôi cần bao nhiêu VRAM?
Ở lượng tử hóa 4-bit, hãy tính khoảng nửa byte trên mỗi tham số cộng với bộ nhớ đệm KV. Mô hình 8B vừa trong khoảng 5 đến 6 GB với ngữ cảnh vừa phải, trong khi mô hình 70B cần hơn 35 GB.
Mô hình đã loại bỏ từ chối có giống với bản gốc không?
Không. Hành vi từ chối đã được loại bỏ khỏi trọng số, và chất lượng hoặc độ ổn định có thể thay đổi nhẹ. Hãy kiểm thử một bản dựng với các prompt của bạn.
API được lưu trữ có hoạt động với các client tương thích Ollama không?
Bất kỳ client nào cho phép bạn đặt Base URL và khóa OpenAI đều hoạt động. Hãy sử dụng Base URL https://api.abliteratedapi.com/v1 và mô hình uncensored.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.
Lấy khóa API