LLM đã loại bỏ kiểm duyệt trên Hugging Face: Những điều cần kiểm tra trước tiên
Nếu bạn đang duyệt trang Hugging Face về LLM đã loại bỏ kiểm duyệt, bạn sẽ tìm thấy hàng chục bản tải lên có tên tương tự nhưng chất lượng rất khác nhau. Dưới đây là danh sách kiểm tra ngắn để đọc thẻ mô hình, cùng với cái nhìn rõ ràng về khi nào việc tải trọng lượng là đáng giá và khi nào việc gọi mô hình được lưu trữ dễ dàng hơn.
Cập nhật


Điểm chính
- Đọc mô hình gốc, giấy phép, định dạng và lượng tử hóa trên thẻ trước khi bạn tải xuống bất cứ thứ gì.
- Ưu tiên các tệp safetensors hoặc GGUF thay vì các định dạng dựa trên pickle.
- Kiểm thử bất kỳ bản dựng nào trên các prompt của riêng bạn; việc loại bỏ kiểm duyệt có thể thay đổi độ ổn định.
- Nếu bạn chỉ cần câu trả lời qua HTTP, một endpoint được lưu trữ sẽ bỏ qua việc tải xuống và phần cứng.
Hộp câu trả lời nhanh: năm điều cần kiểm tra
- Mô hình cơ sở. Thẻ phải nêu rõ mô hình gốc được tạo ra từ đó. Nếu không, bạn hãy nghi ngờ việc tải lên này.
- Giấy phép. Một mô hình đã chỉnh sửa sẽ thừa kế giấy phép của mô hình gốc. Một số giấy phép hạn chế việc sử dụng thương mại hoặc yêu cầu ghi công.
- Định dạng tệp. Safetensors và GGUF là các lựa chọn an toàn và phổ biến. Tránh các tệp
.binhoặc.ptdựa trên pickle từ các tác giả mà bạn không biết, vì việc tải chúng có thể chạy mã. - Lượng hóa. Tên tệp cho bạn biết độ rộng bit, chẳng hạn như Q4_K_M hoặc Q8_0. Các số thấp hơn có nghĩa là tệp nhỏ hơn và mất chất lượng nhiều hơn.
- Bằng chứng. Hãy tìm các kết quả đầu ra mẫu, phương pháp được sử dụng và các thảo luận của cộng đồng.
Phần còn lại của bài viết giải thích từng điểm, vì thẻ là nơi bạn có thể tránh được hầu hết các bản tải xuống kém chất lượng.
Nếu bạn chỉ có hai phút, hãy kiểm tra mô hình gốc và định dạng tệp, sau đó đọc mười bình luận cuối cùng trong tab cộng đồng. Ba bước này sẽ bắt được hầu hết các vấn đề mà mọi người thường phàn nàn sau này.
Ý nghĩa của "abliterated" trên thẻ mô hình
Abliteration loại bỏ hướng nội bộ liên quan đến việc từ chối một yêu cầu bằng cách chỉnh sửa trực tiếp các trọng số. Nó rẻ hơn tinh chỉnh và không cần dữ liệu huấn luyện mới. Các thẻ thường liệt kê công cụ hoặc kịch bản được sử dụng, các lớp đã được tác động và giá trị độ mạnh.
Điều đó quan trọng vì phương pháp không đồng nhất. Một số tác giả loại bỏ hướng từ chối một cách nhẹ nhàng và giữ lại hầu hết hành vi ban đầu. Những người khác đẩy mạnh hơn, điều này có thể làm cho mô hình tuân thủ hơn nhưng cũng kém mạch lạc hơn. Một thẻ tốt sẽ nói rõ những gì đã được thực hiện. Một thẻ yếu chỉ nói "uncensored" và hiển thị ảnh chụp màn hình.
Hãy cũng kiểm tra cách tác giả mô tả việc tinh chỉnh mô hình gốc. Một mô hình gốc đã được tinh chỉnh cho chat sẽ trả lời theo định dạng chat; một mô hình gốc thô sẽ không tuân theo hướng dẫn theo cách tương tự, và việc chỉnh sửa sẽ không khắc phục điều đó.
Đọc thẻ từ trên xuống dưới
Tiêu đề và thẻ
Phần đầu trang hiển thị giấy phép, thẻ thư viện (ví dụ: transformers hoặc GGUF), số lượng tham số và liên kết mô hình gốc. Hãy theo liên kết đó và đọc thẻ gốc. Bạn sẽ biết độ dài ngữ cảnh, mẫu chat dự kiến và bất kỳ điểm kỳ quặc nào đã biết.
Tệp và phiên bản
Mở danh sách tệp. Kiểm tra kích thước của từng tệp so với những gì bạn có thể chạy. Một mô hình 70B ở độ chính xác 16-bit vượt xa khả năng của GPU tiêu dùng, trong khi phiên bản GGUF Q4 của nó có thể vừa với một máy trạm có đủ bộ nhớ. Nếu kho lưu trữ chứa nhiều lượng hóa, hãy chọn một phiên bản phù hợp với bộ nhớ của bạn và để lại dung lượng dự phòng cho bộ nhớ đệm KV.
Mẫu chat
Mỗi họ mô hình mong đợi một định dạng prompt cụ thể. Sử dụng sai mẫu là lý do phổ biến nhất gây ra đầu ra kỳ lạ, lặp lại hoặc trống, và nó thường bị đổ lỗi cho việc loại bỏ kiểm duyệt một cách oan uổng. Các thời gian chạy như Ollama và llama.cpp đọc mẫu từ siêu dữ liệu tệp, nhưng hãy kiểm tra xem nó có tồn tại không.
Kích thước mô hình so với phần cứng của bạn
Một ước tính nhanh: ở lượng hóa 4-bit, một mô hình cần khoảng nửa byte cho mỗi tham số trọng số. Một mô hình 8B chiếm khoảng 5 GB, một mô hình 32B chiếm khoảng 18 đến 20 GB, và một mô hình 70B chiếm khoảng 40 GB, trước khi tính bộ nhớ đệm KV. Nếu con số lớn hơn bộ nhớ GPU của bạn, hãy mong đợi quá trình tạo chậm, hỗ trợ bởi CPU hoặc lỗi hết bộ nhớ.
Tab cộng đồng
Các cuộc thảo luận cho thấy kinh nghiệm thực tế: báo cáo về các token bị hỏng, lặp lại, thiếu tệp hoặc kết quả kém ở một số lượng hóa nhất định. Một mô hình không có thảo luận và không có lượt tải xuống là chưa được chứng minh, không nhất thiết là kém chất lượng.
Những cạm bẫy cần tránh trước khi bạn nhấn tải xuống
- Tác giả không rõ ràng với các tệp thực thi. Chỉ tải các định dạng mà bạn tin tưởng. Safetensors không thể chạy mã khi được tải; các tệp pickle thì có.
- Các tuyên bố không khớp. Nếu một thẻ nói rằng nó có cửa sổ ngữ cảnh dài nhưng mô hình gốc hỗ trợ ít hơn, thì việc chỉnh sửa đã không thay đổi điều đó.
- Tải lại. Nhiều tài khoản sao chép cùng một trọng số. Hãy ưu tiên tác giả gốc và so sánh các băm tệp nếu chúng được hiển thị.
- Không có thông tin về lượng hóa. Nếu bạn không thể xác định độ rộng bit, bạn không thể dự đoán việc sử dụng bộ nhớ hoặc chất lượng.
- Kỳ vọng vào phép màu. Một mô hình đã loại bỏ kiểm duyệt vẫn có kiến thức và giới hạn của mô hình gốc. Nó sẽ không biết những điều mà mô hình gốc không biết, và nó vẫn có thể tạo ra lỗi.
Một thói quen nữa giúp ích: hãy ghi lại chính xác tên kho lưu trữ, tên tệp và commit mà bạn đã kiểm thử. Các tác giả thay đổi tệp, và một bản dựng hoạt động tốt vào tuần trước có thể là một tệp khác vào ngày hôm nay. Không có hồ sơ, bạn không thể tái tạo kết quả tốt hoặc giải thích kết quả xấu.
Hãy nhớ các quy tắc xung quanh nội dung. Các mô hình không có từ chối chỉ dành cho người trưởng thành sử dụng hợp pháp, và nội dung liên quan đến người chưa thành niên nằm ngoài giới hạn bất kể mô hình được chỉnh sửa như thế nào.
Khi tự lưu trữ trọng lượng mang lại lợi ích
Tải trọng lượng có ý nghĩa khi bạn cần kiểm soát hoàn toàn. Bạn có thể khóa một bản dựng chính xác, chạy ngoại tuyến, sử dụng việc lấy mẫu tùy chỉnh hoặc bộ điều hợp, và giữ mọi prompt trên phần cứng của riêng bạn. Đây cũng là cách đúng đắn để tìm hiểu cách các mô hình này hoạt động.
Cũng có lợi ích về học tập. Tự chạy một mô hình cho bạn thấy cách độ dài ngữ cảnh, cài đặt lấy mẫu và lượng tử hóa thay đổi đầu ra, và kiến thức đó sẽ áp dụng cho bất kỳ API nào bạn sử dụng sau này.
Giá là phần cứng và thời gian. Bạn cần đủ bộ nhớ GPU, một thời gian chạy như llama.cpp, vLLM hoặc Ollama, và thói quen kiểm thử sau mỗi thay đổi. Đối với một người thử nghiệm vào ban đêm, điều đó ổn. Đối với một ứng dụng có nhiều người dùng, nó trở thành một công việc vận hành: xếp hàng, khởi động lại, cập nhật và giám sát.
Khi gọi mô hình được lưu trữ sẽ đơn giản hơn
Nếu bạn chỉ cần câu trả lời văn bản bên trong một ứng dụng, một endpoint được lưu trữ sẽ loại bỏ việc tải xuống, lập kế hoạch bộ nhớ và bảo trì. Dịch vụ này là một API tương thích OpenAI với một mô hình trọng số mở, được tinh chỉnh để trả lời mà không có từ chối nội dung dành cho người trưởng thành sử dụng hợp pháp, do một nhà cung cấp độc lập vận hành. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và nó chỉ dành cho văn bản.
Bạn gọi như bất kỳ API kiểu OpenAI nào. Base URL là https://api.abliteratedapi.com/v1, model ID là uncensored, và khóa nằm trong tiêu đề Authorization: Bearer:
curl https://api.abliteratedapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Write a tense opening line for a noir story."}],
"stream": false
}'
Cửa sổ ngữ cảnh là 100.000 token, hỗ trợ truyền phát, gọi hàm và chế độ JSON. Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, không có gói đăng ký. Prompt không được sử dụng để huấn luyện. Chi tiết có trong tài liệu và trên trang giá cả.
Bạn có thể kiểm tra nó mà không cần thẻ tín dụng: người dùng mới nhận $0,50 tín dụng dùng thử bằng một cú nhấp vào trang khóa API, có hiệu lực 7 ngày. Với 1.000 token đầu vào và 500 token đầu ra mỗi yêu cầu, một yêu cầu tốn $0,0004, nên $0,50 dùng được khoảng 1.250 yêu cầu. Điều này đủ để so sánh kết quả đầu ra với mô hình bạn đã tải về.
Cách thực tế để ra quyết định
Viết ra mười prompt phản ánh cách sử dụng thực tế của bạn. Chạy chúng qua bản dựng bạn tìm thấy trên Hugging Face và qua endpoint được lưu trữ. Ghi chú chất lượng câu trả lời, tốc độ và thời gian bạn dành để làm cho mỗi cái hoạt động. Nếu bạn sử dụng giao diện người dùng trò chuyện, trang trên kết nối Open WebUI với API tương thích OpenAI cho thấy cách thêm endpoint được lưu trữ bên cạnh các mô hình cục bộ của bạn, để bạn có thể chuyển đổi giữa chúng trong cùng một giao diện. Để biết thêm thông tin chung về những gì các mô hình này có thể và không thể làm, hãy xem thần thoại và sự thật về API trò chuyện không kiểm duyệt.
Hướng dẫn khác
Hỏi đáp
Có an toàn khi tải xuống các mô hình bị loại bỏ từ Hugging Face không?
Nó đủ an toàn nếu bạn chọn tệp safetensors hoặc GGUF từ các tác giả có uy tín và đọc kỹ thẻ mô tả. Tránh các tệp dựa trên pickle từ các tài khoản không rõ nguồn gốc, vì việc tải chúng có thể thực thi mã.
Việc abliteration có làm mô hình thông minh hơn không?
Không. Nó loại bỏ hành vi từ chối nhưng không thêm kiến thức mới. Chất lượng vẫn gần với mô hình gốc và có thể giảm nhẹ nếu phần chỉnh sửa quá mạnh.
Tôi nên chọn lượng hóa nào?
Các biến thể Q4 là sự cân bằng phổ biến giữa kích thước và chất lượng. Bạn hãy chọn phiên bản lớn nhất vừa với bộ nhớ của mình và còn chỗ trống cho bộ nhớ đệm KV.
Tôi có thể dùng API được lưu trữ thay vì tải xuống không?
Có. Một endpoint tương thích OpenAI được lưu trữ chỉ cần một URL cơ sở, một khóa và tên mô hình, không yêu cầu phần cứng cục bộ.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.
Lấy khóa API