โมเดล Abliterated บน Ollama เทียบกับ API แบบโฮสต์
การค้นหาโมเดล abliterated สำหรับ ollama มักหมายถึงสิ่งเดียว: คุณต้องการโมเดลที่ตอบโดยไม่มีการปฏิเสธ และคุณต้องการให้ทำงานบนเครื่องของคุณเอง สิ่งนี้ทำได้ และบทความนี้แสดงต้นทุนด้านหน่วยความจำ เวลา และการดูแลรักษา จากนั้นเปรียบเทียบกับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI แบบโฮสต์
อัปเดต


ประเด็นสำคัญ
- Ollama รันน้ำหนัก abliterated ในเครื่องและเปิดเผยเอนด์พอยต์รูปแบบ OpenAI บนพอร์ต 11434
- VRAM ไม่ใช่พื้นที่ดิสก์ เป็นข้อจำกัดแรกที่คุณจะพบ; การควอนไทซ์เป็นการแลกเปลี่ยนคุณภาพเพื่อประหยัดหน่วยความจำ
- API ที่โฮสต์ไว้มีค่าใช้จ่าย $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ดังนั้นแอปขนาดเล็กอาจมีค่าใช้จ่าย $12.75 ต่อเดือน
- ทั้งสองเส้นทางใช้รูปแบบ chat completions เดียวกัน ดังนั้นการสลับจึงเป็นการแก้ไขเพียงสองบรรทัด
ความหมายของ Abliteration และวิธีที่ Ollama เข้ามาเกี่ยวข้อง
Abliteration คือการแก้ไขน้ำหนัก (weight) นักวิจัยพบทิศทางใน activation ของโมเดลที่สัมพันธ์กับการปฏิเสธคำขอ จากนั้นจึงนำทิศทางนั้นออกจากการถ่วงน้ำหนัก ผลลัพธ์ที่ได้คือโมเดลที่มีแนวโน้มที่จะตอบแทนที่จะปฏิเสธ นี่ไม่ใช่การฝึกใหม่ ดังนั้นโมเดลจึงคงทักษะทั่วไปไว้ และคุณภาพอาจเปลี่ยนแปลงเล็กน้อยในทิศทางใดทิศทางหนึ่ง
Ollama คือโปรแกรมรันไทม์ในเครื่อง คุณดึงโมเดลมา มันจะดาวน์โหลดน้ำหนัก แล้วให้บริการบน http://localhost:11434 เซิร์ฟเวอร์ยังมีเส้นทางที่เข้ากันได้กับ OpenAI ภายใต้ /v1 ซึ่งทำให้หน้าแชทและ SDK ส่วนใหญ่สามารถสื่อสารกับมันได้ สมาชิกในชุมชนเผยแพร่เวอร์ชัน abliterated ของโมเดลโอเพนซอร์สยอดนิยม มักเป็นไฟล์ GGUF ที่ Ollama สามารถนำเข้าได้
ดังนั้นกระบวนการทำงานจึงเรียบง่าย: หาเวอร์ชันที่สร้าง, ดึงมัน, ชี้โปรแกรมฝั่งไคลเอนต์ของคุณไปที่ localhost ส่วนที่ยากไม่ใช่คำสั่ง มันคือฮาร์ดแวร์และการดูแลหลังจากนั้น
การรันโมเดลแบบอับลิเทอเรตในเครื่องทีละขั้นตอน
ขั้นแรกติดตั้ง Ollama จากเว็บไซต์ทางการ จากนั้น either pull published build ตามชื่อหรือ import ไฟล์ GGUF ที่คุณดาวน์โหลดเอง
- ดึงเวอร์ชันที่เผยแพร่ไว้ด้วย
ollama pull some-user/some-abliterated-model(ชื่อนี้เป็นตัวอย่าง ค้นหาเวอร์ชันที่คุณไว้ใจ) - หรือนำเข้าไฟล์ GGUF: เขียน Modelfile ที่บรรทัดแรกคือ
FROM ./model.Q4_K_M.ggufจากนั้นรันollama create my-abliterated -f Modelfile - เริ่มแชทในเทอร์มินัลด้วย
ollama run my-abliterated
เพื่อเรียกใช้จากโค้ด ใช้ไคลเอนต์ OpenAI ใดๆ ก็ได้พร้อม base URL ท้องถิ่น คีย์สามารถเป็นสตริงไม่ว่างใดๆ ก็ได้ เนื่องจาก Ollama ไม่ตรวจสอบโดยค่าเริ่มต้น
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
หากสิ่งนี้ทำงานได้ แสดงว่าคุณมีการตั้งค่าในเครื่องที่ใช้งานได้ สังเกตว่าไคลเอนต์ที่สองในตัวอย่างชี้ไปที่เอนด์พอยต์แบบโฮสต์แล้ว ส่วนที่เหลือของบทความนี้จะอธิบายเมื่อไหร่ที่ตัวเลือกนั้นดีกว่า สิ่งที่จะตามมาคือส่วนที่จะตัดสินใจว่าการใช้งานแบบโลคัลยังคงมีประโยชน์หรือไม่: หน่วยความจำ ความเร็ว และการบำรุงรักษา
VRAM, ความเร็วและการแลกเปลี่ยนด้านการควอนไทซ์
โมเดลต้องพอดีกับหน่วยความจำเร็วเพื่อทำงานด้วยความเร็วที่มีประโยชน์ กฎโดยประมาณ: ที่ quantization แบบ 4-bit แต่ละพารามิเตอร์ใช้พื้นที่ประมาณครึ่งไบต์ ดังนั้นโมเดล 8B ต้องการพื้นที่ประมาณ 4 ถึง 5 GB สำหรับ weights และโมเดล 70B ต้องการพื้นที่ประมาณ 35 ถึง 40 GB เพิ่มพื้นที่สำหรับ KV cache ซึ่งเติบโตตามความยาวของบริบท พรอมต์ที่ยาวอาจมีค่าใช้จ่ายหลายกิกะไบต์เพิ่มเติม
เมื่อโมเดลไม่พอดีกับหน่วยความจำ GPU Ollama จะเทชั้นของโมเดลลงสู่ RAM ของระบบและ CPU มันยังคงตอบได้ แต่การสร้างข้อความจะช้าลงมาก คนที่เห็นความเร็ว 2 โทเคน ต่อวินาทีบนการ์ด 24 GB กับโมเดลขนาดใหญ่ มักจะอยู่ในสถานการณ์นี้
- โมเดลขนาดเล็ก: พอดีได้ง่าย ตอบเร็ว เขียนได้ไม่ดีนักในฉากที่ยาวและละเอียดอ่อน
- Quantization แบบบิตต่ำ: ประหยัดหน่วยความจำ แต่เสียความต่อเนื่องไปบ้าง Q4 เป็นจุดกลางที่พบบ่อย; Q2 และ Q3 มักแสดงความเสียหายที่มองเห็นได้
- บริบทสั้น: ประหยัดหน่วยความจำแคช การตั้งค่าโลคัลจำนวนมากทำงานที่ 8K หรือ 16K โทเคน เพื่อรักษาความเร็ว
Abliteration เพิ่มตัวแปรอีกตัวหนึ่ง เนื่องจากน้ำหนักถูกแก้ไข การบิลด์อาจมีความเสถียรน้อยกว่าต้นฉบับเล็กน้อย มีการพูดวกไปวนมาหรือทำซ้ำที่แปลกประหลาดมากขึ้น ทดสอบการบิลด์ใดๆ กับพรอมต์ของคุณเองก่อนที่จะพึ่งพา
การบำรุงรักษาที่ไม่มีใครระบุไว้ในบทช่วยสอน
แบบโลคัลฟรีต่อโทเคน แต่ไม่ฟรีจากงาน คุณควรคาดหวังที่จะใช้เวลาไปกับสิ่งเหล่านี้:
- การเลือกเวอร์ชันที่สร้าง. มีการอัปโหลดแบบ abliterated หลายรายการ โดยมีโมเดลพื้นฐาน วิธีการ และการควอนไทซ์ต่างกัน การอ่านการ์ด ตรวจสอบใบอนุญาต และทดสอบผลลัพธ์คือหน้าที่ของคุณ
- การอัปเดต โมเดลพื้นฐานใหม่ปรากฏขึ้น รันไทม์เปลี่ยนค่าเริ่มต้น และเวอร์ชันที่ทำงานได้ก่อนหน้านี้อาจทำงานแตกต่างออกไปหลังการอัปเกรด Ollama
- การทำงานพร้อมกัน GPU หนึ่งตัวให้บริการคำขอหนึ่งหรือสองคำขอได้ดี หากมีผู้ใช้สามคนแชทพร้อมกัน พวกเขาจะต้องเข้าคิว
- ความพร้อมใช้งาน แอปพลิเคชันจะทำงานก็ต่อเมื่อเครื่องของคุณเปิดอยู่ หากแล็ปท็อปเข้าสู่โหมดสลีป บอทของคุณจะออฟไลน์
- ความปลอดภัยของผลลัพธ์ โมเดลที่ไม่มีข้อจำกัดการตอบกลับต้องการกฎของคุณเองเกี่ยวกับผู้ที่สามารถเข้าถึงได้ เก็บไว้สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และอย่าปล่อยให้เกี่ยวข้องกับบุคคลที่ยังไม่บรรลุนิติภาวะ
ค่าใช้จ่ายอีกอย่างคือความสนใจ เมื่อคำตอบดูผิด คุณต้องทำงานออกว่าพรอมต์ quantization เทมเพลตหรือ build คือผู้ผิด ที่ endpoint ที่โฮสต์ไว้คุณยังคงดีบักพรอมต์ แต่ไฟล์โมเดลและ runtime ไม่ใช่ปัญหาของคุณ เก็บบันทึกสั้นๆ ของ build quantization และการตั้งค่าที่ผลิตผลลัพธ์ที่ดี เพราะคุณจะลืมภายในหนึ่งเดือน
สิ่งเหล่านี้ไม่ใช่เหตุผลที่จะหลีกเลี่ยงการใช้งานแบบโลคัล หากคุณมี GPU ที่ดีและสนุกกับการปรับแต่ง มันคืองานอดิเรกที่ยอดเยี่ยมและให้ความเป็นส่วนตัวเต็มรูปแบบ คำถามคือมันเป็นเส้นทางที่ประหยัดที่สุดสำหรับแอปพลิเคชันที่ผู้อื่นใช้งานหรือไม่
ทางเลือกแบบโฮสต์และบทประมาณการค่าใช้จ่ายรายเดือน
ตัวเลือกแบบโฮสต์คือเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ซึ่งให้บริการโมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย คุณส่งคำขอไปยัง POST /v1/chat/completions ด้วยโมเดล uncensored รองรับเฉพาะข้อความ มีหน้าต่างบริบท 100,000 โทเคน สตรีมมิง และการเรียกใช้ฟังก์ชัน ไม่ใช่ API อย่างเป็นทางการจากผู้ขายโมเดลรายใดรายหนึ่ง ดู เอกสาร API สำหรับรายการเมธอดทั้งหมด
ราคาอยู่ที่ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต จากเครดิตแบบเติมเงินล่วงหน้าโดยไม่ต้องสมัครสมาชิก คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ นี่คือบทประมาณการสำหรับแอปแชทขนาดเล็กที่มี 1,000 คำขอต่อวัน โดยเฉลี่ย 1,500 โทเคนอินพุตและ 400 โทเคนเอาต์พุต:
| รายการ | โทเคนต่อวัน | อัตรา | ค่าใช้จ่ายต่อวัน |
|---|---|---|---|
| อินพุต | 1,000 x 1,500 = 1.5M | $0.15 ต่อ 1M | $0.225 |
| เอาต์พุต | 1,000 x 400 = 0.4M | $0.50 ต่อ 1M | $0.20 |
| รวม | $0.425 |
ตลอด 30 วันคิดเป็น $12.75 เปรียบเทียบกับค่าไฟฟ้า ส่วนแบ่งฮาร์ดแวร์ และชั่วโมงของคุณเองสำหรับเครื่องโลคัล หากคุณมี GPU อยู่แล้ว การใช้งานแบบโลคัลยังคงชนะในแง่เงินสด หากคุณต้องซื้อหรือเช่า ตรวจสอบราคาเช่าปัจจุบันกับตัวเลขนี้ หน้า ราคา ระบุการเติมเงิน ซึ่งเริ่มต้นที่ $20 และได้รับโบนัสเมื่อเติมตั้งแต่ $50
การเรียกใช้เอนด์พอยต์แบบโฮสต์ด้วยไคลเอนต์เดียวกัน
เนื่องจาก Ollama และ API ที่โฮสต์ทั้งสองพูดรูปแบบ chat completions โค้ดที่คุณเขียนด้านบนจึงแทบไม่เปลี่ยนแปลง เปลี่ยน base URL คีย์และชื่อโมเดล:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
รูปแบบที่ใช้งานได้จริงคือการรักษาทั้งสองอย่าง พัฒนากับ Ollama แบบโลคัลเมื่อคุณออฟไลน์หรือทดสอบพรอมต์ และส่งคำขอจากผู้ใช้จริงไปยังเอนด์พอยต์แบบโฮสต์ อ่าน Base URL จากตัวแปรสภาพแวดล้อมและส่วนอื่นของแอปของคุณไม่จำเป็นต้องรู้
บัญชีใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้งบน หน้าคีย์ API มีอายุ 7 วันและไม่ต้องใช้บัตรเครดิต หมายเหตุถึงขีดจำกัด: คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ในขณะที่คีย์เต็มรูปแบบอนุญาตให้ทำ 8 และ 300 คำขอ บทความเกี่ยวกับ ขีดจำกัดอัตรา API อธิบายวิธีการจัดการกับสถานะ 429
วิธีการเลือก
เลือก Ollama แบบโลคัลเมื่อคุณมี GPU ที่มีหน่วยความจำเพียงพอแล้ว คุณต้องการให้ข้อมูลอยู่บนเครื่องของคุณ คุณทนต่อการสร้างที่ช้ากว่าในโมเดลขนาดใหญ่ หรือโปรเจกต์เป็นแบบส่วนตัว เลือกเอนด์พอยต์แบบโฮสต์เมื่อผู้อื่นใช้งานแอป คุณต้องการคำขอหลายคำขอพร้อมกัน คุณต้องการหน้าต่างบริบท 100K โดยไม่ต้องซื้อหน่วยความจำเพิ่ม หรือคุณไม่ต้องการดูแลไฟล์โมเดล
การทดสอบอย่างง่าย: นับชั่วโมงที่คุณใช้ในการติดตั้งในเดือนนี้และกำหนดมูลค่าให้ชั่วโมงเหล่านั้น สำหรับงานอดิเรก ตัวเลขนี้คือศูนย์เพราะคุณสนุกกับมัน สำหรับผลิตภัณฑ์ที่มีผู้ใช้ มันคือเงินจริง และบิลแบบจ่ายตามโทเคนหลายดอลลาร์อาจน้อยกว่านี้ นอกจากนี้ยังพิจารณากรณีล้มเหลว หากเครื่องที่บ้านของคุณรีบูตในเวลากลางคืน เอนด์พอยต์แบบโฮสต์จะยังคงตอบคำถามได้ แต่เซิร์ฟเวอร์โลคัลจะไม่ทำ
ทั้งสองอย่างไม่ใช่สิ่งที่แยกจากกัน และการลองใช้เครดิตทดลองแบบโฮสต์ไม่มีค่าใช้จ่าย รันพรอมต์สิบตัวเดียวกันผ่านทั้งสองระบบและเปรียบเทียบคำตอบและเวลาที่คุณใช้
คู่มือเพิ่มเติม
ถาม-ตอบ
Ollama สามารถรันโมเดล Abliterated ได้หรือไม่?
ใช่ Ollama สามารถดึง build ที่เผยแพร่หรือนำเข้าไฟล์ GGUF ที่คุณดาวน์โหลดได้ เมื่อโหลดแล้ว โมเดลจะถูกให้บริการในเครื่องด้วยเส้นทางที่เข้ากันได้กับ OpenAI ภายใต้ /v1
ฉันต้องการ VRAM กี่ GB?
ที่ quantization แบบ 4-bit นับประมาณครึ่งไบต์ต่อพารามิเตอร์บวกกับ KV cache โมเดล 8B พอดีกับหน่วยความจำประมาณ 5 ถึง 6 GB พร้อมบริบทขนาดจำกัด ในขณะที่โมเดล 70B ต้องการหน่วยความจำมากกว่า 35 GB อย่างมาก
โมเดล Abliterated เหมือนกับต้นฉบับหรือไม่?
ไม่ พฤติกรรมการปฏิเสธถูกแก้ไขออกจากเวท และคุณภาพหรือความเสถียรอาจเปลี่ยนเล็กน้อย ทดสอบ build บนพรอมต์ของคุณเอง
API ที่โฮสต์ไว้ใช้งานกับไคลเอนต์ที่เข้ากันได้กับ Ollama ได้หรือไม่?
ไคลเอนต์ใดก็ตามที่อนุญาตให้คุณตั้งค่า base URL และคีย์ API ของ OpenAI ได้จะใช้งานได้ ใช้ base URL https://api.abliteratedapi.com/v1 และโมเดล uncensored
คีย์ของคุณพร้อมใช้งานแล้ว เพียงกรอกแบบฟอร์ม
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
รับคีย์ API