LLM แบบ Abliterated บน Hugging Face: สิ่งที่ต้องตรวจสอบเป็นอันดับแรก
หากคุณกำลังค้นหาหน้า Hugging Face ของ LLM ที่ผ่านการลบเซ็นเซอร์ คุณจะพบไฟล์อัปโหลดหลายรายการที่มีชื่อคล้ายกันแต่คุณภาพแตกต่างกันมาก นี่คือรายการตรวจสอบสั้นๆ สำหรับการอ่านการ์ดโมเดล พร้อมมุมมองที่ชัดเจนว่าเมื่อใดที่การดาวน์โหลดน้ำหนักโมเดลคุ้มค่า และเมื่อใดที่การใช้โมเดลแบบโฮสต์ง่ายกว่า
อัปเดต


ประเด็นสำคัญ
- อ่านโมเดลฐาน ใบอนุญาต รูปแบบ และการ quantization บนโมเดลการ์ดก่อนดาวน์โหลดสิ่งใด
- เลือกไฟล์ safetensors หรือ GGUF แทนรูปแบบที่ใช้ pickle
- ทดสอบทุก build กับพรอมต์ของคุณเอง; abliteration อาจเปลี่ยนความเสถียรได้
- หากคุณต้องการเพียงการตอบกลับผ่าน HTTP เอนด์พอยต์แบบโฮสต์จะข้ามการดาวน์โหลดและฮาร์ดแวร์
กล่องคำตอบด่วน: สิ่งที่ต้องตรวจสอบห้าประการ
- โมเดลฐาน การ์ดควรระบุโมเดลต้นฉบับที่ใช้สร้างโมเดลนี้ หากไม่มี ให้สงสัยการอัปโหลดนั้น
- ใบอนุญาต โมเดลที่ปรับแต่งจะสืบทอดใบอนุญาตจากโมเดลฐาน ใบอนุญาตบางฉบับจำกัดการใช้งานเชิงพาณิชย์หรือต้องการการอ้างอิง
- รูปแบบไฟล์ Safetensors และ GGUF เป็นตัวเลือกที่ปลอดภัยและพบได้ทั่วไป หลีกเลี่ยงไฟล์
.binหรือ.ptที่ใช้ pickle จากผู้เขียนที่คุณไม่รู้จัก เนื่องจากการโหลดไฟล์เหล่านี้อาจรันโค้ดแบบสุ่มได้ - การควอนไทซ์ ชื่อไฟล์บอกความกว้างของบิต เช่น Q4_K_M หรือ Q8_0 ตัวเลขที่ต่ำกว่าหมายถึงไฟล์เล็กลงและสูญเสียคุณภาพมากขึ้น
- หลักฐาน ดูตัวอย่างผลลัพธ์ วิธีการที่ใช้ และการอภิปรายในชุมชน
ส่วนที่เหลือของบทความอธิบายแต่ละจุด เนื่องจากการ์ดคือจุดที่การดาวน์โหลดที่ไม่ดีส่วนใหญ่สามารถหลีกเลี่ยงได้
หากคุณมีเวลาเพียงสองนาที ให้ตรวจสอบโมเดลฐานและรูปแบบไฟล์ จากนั้นอ่านความคิดเห็นสิบรายการล่าสุดในแท็บชุมชน ขั้นตอนเหล่านี้ช่วยตรวจจับปัญหาส่วนใหญ่ที่ผู้คนบ่นถึงในภายหลัง
ความหมายของ abliteration บนการ์ดโมเดล
Abliteration ลบทิศทางภายในที่เกี่ยวข้องกับการปฏิเสธคำขอ โดยแก้ไขน้ำหนักโดยตรง มีราคาถูกกว่าการปรับแต่งพิเศษและไม่ต้องการข้อมูลการฝึกใหม่ การ์ดมักแสดงเครื่องมือหรือสคริปต์ที่ใช้ ชั้นที่แก้ไข และค่าความแข็งแกร่ง
นั่นสำคัญเพราะวิธีการไม่สม่ำเสมอ ผู้เขียนบางคนลบทิศทางปฏิเสธอย่างเบาและรักษาพฤติกรรมเดิมส่วนใหญ่ ผู้อื่นผลักดันหนักกว่า ซึ่งอาจทำให้โมเดลเชื่อฟังมากขึ้นแต่ก็มีความสอดคล้องน้อยลง การ์ดที่ดีจะบอกว่าทำอะไร การ์ดที่ขาดข้อมูลหรือการ์ดที่ไม่สมบูรณ์จะบอกเพียงว่า "uncensored" และแสดงภาพหน้าจอ
ตรวจสอบวิธีที่ผู้เขียนอธิบายการปรับแต่งโมเดลฐาน โมเดลฐานที่ปรับสำหรับการสนทนาจะตอบในรูปแบบการสนทนา โมเดลฐานแบบดิบจะไม่ปฏิบัติตามคำแนะนำในลักษณะเดียวกัน และการแก้ไขจะไม่แก้ไขปัญหานี้
การอ่านการ์ดจากบนลงล่าง
ส่วนหัวและแท็ก
ส่วนบนสุดของหน้าแสดงใบอนุญาต แท็กไลบรารี (เช่น transformers หรือ GGUF) จำนวนพารามิเตอร์ และลิงก์โมเดลฐาน ติดตามลิงก์นั้นและอ่านการ์ดต้นฉบับด้วย คุณจะได้เรียนรู้ความยาวบริบท เทมเพลตการสนทนาที่ออกแบบไว้ และพฤติกรรมแปลกๆ ที่ทราบ
ไฟล์และเวอร์ชัน
เปิดรายการไฟล์ ตรวจสอบขนาดของแต่ละไฟล์เทียบกับสิ่งที่คุณสามารถรันได้ โมเดล 70B ที่ความแม่นยำ 16 บิตเกินกว่า GPU ผู้บริโภคมาก ในขณะที่ GGUF Q4 ของมันอาจพอดีกับสถานีทำงานที่มีหน่วยความจำเพียงพอ หากรีโพซิทอรีหรือที่เก็บโค้ดมีการควอนไทซ์หลายแบบ ให้เลือกแบบที่ตรงกับหน่วยความจำของคุณและทิ้งระยะขอบสำหรับ KV cache
เทมเพลตการสนทนา
แต่ละตระกูลโมเดลคาดหวังรูปแบบพรอมต์เฉพาะ การใช้เทมเพลตผิดเป็นสาเหตุที่พบบ่อยที่สุดของเอาต์พุตแปลกๆ ซ้ำหรือว่างเปล่า และมักถูกกล่าวหาว่าเกิดจาก abliteration โดยไม่ยุติธรรม Runtime เช่น Ollama และ llama.cpp อ่านเทมเพลตจากเมตาดาต้าของไฟล์ แต่ตรวจสอบให้แน่ใจว่ามีอยู่
ขนาดโมเดลเทียบกับฮาร์ดแวร์ของคุณ
การประมาณอย่างรวดเร็ว: ที่การควอนไทซ์ 4 บิต โมเดลต้องการประมาณครึ่งไบต์ต่อพารามิเตอร์สำหรับน้ำหนัก โมเดล 8B มีขนาดประมาณ 5 GB โมเดล 32B มีขนาดประมาณ 18 ถึง 20 GB และโมเดล 70B มีขนาดประมาณ 40 GB ก่อน KV cache หากตัวเลขมากกว่าหน่วยความจำ GPU ของคุณ คาดว่าการสร้างแบบช้าด้วย CPU หรือข้อผิดพลาดหน่วยความจำไม่เพียงพอ
แท็บชุมชน
การสนทนาแสดงประสบการณ์จริง: รายงานเกี่ยวกับโทเคนที่เสีย ความซ้ำซ้อน ไฟล์ที่หายไป หรือผลลัพธ์ไม่ดีที่การควอนไทซ์บางแบบ โมเดลที่ไม่มีการสนทนาและการดาวน์โหลดยังไม่ได้ผ่านการพิสูจน์ ไม่ใช่ไม่ดีเสมอไป
กับดักที่ต้องหลีกเลี่ยงก่อนคลิกดาวน์โหลด
- ผู้เขียนที่ไม่รู้จักพร้อมไฟล์ที่ทำงานได้ โหลดเฉพาะรูปแบบที่คุณไว้วางใจ Safetensorsไม่สามารถรันโค้ดเมื่อโหลด; ไฟล์ pickle สามารถรันโค้ดได้
- ข้อมูลที่อ้างถึงไม่ตรงกัน หากการ์ดระบุว่ามีหน้าต่างบริบทยาว แต่โมเดลพื้นฐานรองรับน้อยกว่า การแก้ไขนั้นไม่ได้เปลี่ยนความยาวบริบทนั้น
- การอัปโหลดซ้ำ บัญชีหลายแห่งคัดลอกน้ำหนักโมเดลเดียวกัน เลือกผู้เขียนต้นฉบับ และเปรียบเทียบค่าแฮชของไฟล์หากมีการแสดง
- ไม่มีข้อมูลการควอนไทซ์ หากคุณไม่สามารถระบุความกว้างของบิตได้ คุณไม่สามารถคาดการณ์การใช้งานหน่วยความจำหรือคุณภาพได้
- คาดหวังความวิเศษ โมเดลที่ผ่านการ abliteration ยังคงมีความรู้และข้อจำกัดของโมเดลพื้นฐานอยู่ มันจะไม่รู้สิ่งที่โมเดลพื้นฐานไม่รู้ และยังคงสามารถผลิตข้อผิดพลาดได้
นิสัยอีกอย่างหนึ่งที่ช่วยได้คือ บันทึกชื่อ repository ชื่อไฟล์ และ commit ที่คุณทดสอบไว้ ผู้เขียนอาจเปลี่ยนไฟล์ และการ build ที่ทำงานได้ดีเมื่อสัปดาห์ที่แล้วอาจเป็นไฟล์อื่นในวันนี้ โดยไม่มีบันทึก คุณจะไม่สามารถทำผลลัพธ์ที่ดีให้เกิดขึ้นซ้ำหรืออธิบายผลลัพธ์ที่ไม่ดีได้
โปรดระวังกฎเกี่ยวกับเนื้อหา โมเดลที่ไม่มีการปฏิเสธใช้สำหรับผู้ใหญ่ตามกฎหมายเท่านั้น และเนื้อหาที่เกี่ยวข้องกับ ผู้เยาว์ ถือว่าห้ามใช้ไม่ว่าโมเดลจะถูกปรับอย่างไร
เมื่อการโฮสต์น้ำหนักโมเดลเองคุ้มค่า
การดาวน์โหลดน้ำหนักโมเดลสมเหตุสมผลเมื่อคุณต้องการการควบคุมแบบเต็มรูปแบบ คุณสามารถระบุ build ที่แน่นอน รันแบบออฟไลน์ ใช้การสุ่มตัวอย่างหรือ adapters แบบกำหนดเอง และเก็บทุกพรอมต์ไว้ในฮาร์ดแวร์ของคุณเอง นอกจากนี้ยังเป็นวิธีที่ดีในการเรียนรู้พฤติกรรมของโมเดลเหล่านี้
ยังมีประโยชน์ด้านการเรียนรู้ด้วย การรันโมเดลด้วยตัวเองแสดงให้เห็นว่าความยาวของหน้าต่างบริบท การตั้งค่าการสุ่มตัวอย่าง และการควอนไทซ์เปลี่ยนแปลงผลลัพธ์อย่างไร และความรู้เหล่านี้สามารถนำไปใช้กับ API ใดๆ ที่คุณใช้ในอนาคตได้
ราคาคือฮาร์ดแวร์และเวลา คุณต้องการหน่วยความจำ GPU เพียงพอ runtime เช่น llama.cpp, vLLM หรือ Ollama และนิสัยในการทดสอบหลังการเปลี่ยนแปลงทุกครั้ง สำหรับบุคคลหนึ่งคนที่ทดลองตอนกลางคืนนั้นเป็นเรื่องปกติ แต่สำหรับแอปที่มีผู้ใช้หลายราย มันกลายเป็นงานปฏิบัติการ: การคิว การรีสตาร์ท การอัปเดต และการตรวจสอบ
เมื่อการเรียกใช้โมเดลที่โฮสต์ไว้สะดวกกว่า
หากคุณต้องการเพียงคำตอบข้อความภายในแอป เอนด์พอยต์ที่โฮสต์ไว้จะขจัดความจำเป็นในการดาวน์โหลด การวางแผนหน่วยความจำ และการบำรุงรักษา บริการนี้เป็น API ที่เข้ากันได้กับ OpenAI โดยมีโมเดลแบบเปิดน้ำหนักหนึ่งตัว ซึ่งปรับแต่งเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ตามกฎหมาย ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้ขายโมเดลใด และรองรับเฉพาะข้อความ
คุณเรียกใช้เหมือน API สไตล์ OpenAI อื่นๆ Base URL คือ https://api.abliteratedapi.com/v1, model ID คือ uncensored, และคีย์จะอยู่ใน header Authorization: Bearer:
curl https://api.abliteratedapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Write a tense opening line for a noir story."}],
"stream": false
}'
หน้าต่างบริบทคือ 100,000 โทเคน และรองรับการสตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens โดยไม่มีบริการสมัครสมาชิก พรอมต์ไม่ถูกนำไปใช้ในการฝึก รายละเอียดอยู่ใน เอกสารประกอบ และที่ หน้าราคา
คุณสามารถทดสอบได้โดยไม่ต้องใช้บัตรเครดิต: ผู้ใช้ใหม่ได้รับเครดิตทดลองใช้ $0.50 ด้วยคลิกเดียวที่ หน้าคีย์ API มีอายุการใช้งาน 7 วัน ที่ 1,000 input tokens และ 500 output tokens ต่อคำขอ คำขอหนึ่งมีค่าใช้จ่าย $0.0004 ดังนั้น $0.50 จะครอบคลุมคำขอประมาณ 1,250 คำขอ ซึ่งเพียงพอสำหรับการเปรียบเทียบผลลัพธ์กับโมเดลที่คุณดาวน์โหลดมา
วิธีปฏิบัติในการตัดสินใจ
จดบันทึกพรอมต์สิบรายการที่สะท้อนการใช้งานจริงของคุณ นำไปรันผ่านบิลด์ที่คุณพบบน Hugging Face และผ่านเอนด์พอยต์แบบโฮสต์ ระบุคุณภาพคำตอบ ความเร็ว และเวลาที่ใช้เพื่อให้แต่ละรายการทำงานได้ หากคุณใช้หน้าเว็บแชท หน้าเว็บ เชื่อมต่อ Open WebUI กับ API ที่เข้ากันได้กับ OpenAI แสดงวิธีเพิ่มเอนด์พอยต์แบบโฮสต์ถัดจากโมเดลในเครื่องของคุณ เพื่อให้คุณสามารถสลับระหว่างโมเดลเหล่านั้นในอินเทอร์เฟซเดียวกัน สำหรับข้อมูลพื้นฐานทั่วไปเกี่ยวกับสิ่งที่โมเดลเหล่านี้ทำได้และทำไม่ได้ ดู ความเชื่อและข้อเท็จจริงเกี่ยวกับ API ของแชทแบบไม่เซ็นเซอร์
คู่มือเพิ่มเติม
ถาม-ตอบ
ปลอดภัยหรือไม่ที่จะดาวน์โหลดโมเดล abliterated จาก Hugging Face?
ปลอดภัยพอหากคุณสามารถเลือกไฟล์ safetensors หรือ GGUF จากผู้เขียนที่มีประวัติและอ่านการ์ดได้ หลีกเลี่ยงไฟล์ที่ใช้ pickle จากบัญชีที่ไม่รู้จัก เนื่องจากเมื่อโหลดไฟล์เหล่านี้อาจรันโค้ดได้
การ abliteration ทำให้โมเดลฉลาดขึ้นหรือไม่?
ไม่ มันลบพฤติกรรม การปฏิเสธ แต่ไม่เพิ่มความรู้ คุณภาพจะอยู่ใกล้กับโมเดลพื้นฐานและอาจลดลงเล็กน้อยหากการแก้ไขมีความรุนแรง
ฉันควรเลือกการควอนไทซ์แบบไหน?
รุ่น Q4 แบบต่างๆ เป็นจุดสมดุลที่พบได้ทั่วไประหว่างขนาดและคุณภาพ เลือกแบบที่ใหญ่ที่สุดที่พอดีกับหน่วยความจำของคุณ โดยเหลือพื้นที่สำหรับ KV cache
ฉันสามารถใช้ API แบบโฮสต์แทนการดาวน์โหลดได้หรือไม่
ได้ เอนด์พอยต์ที่เข้ากันได้กับ OpenAI แบบโฮสต์ต้องการเพียงที่อยู่ฐาน URL, คีย์ API และชื่อโมเดล โดยไม่ต้องใช้ฮาร์ดแวร์ในเครื่อง
คีย์ของคุณพร้อมใช้งานเพียงกรอกแบบฟอร์ม
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
รับคีย์ API