نماذج مُزالة الرقابة على Ollama مقابل API مُستضاف
البحث عن نماذج مُزالة الرقابة على Ollama يعني عادةً شيئاً واحداً: تريد نموذجاً يجيب دون رفض وتريده على جهازك. هذا يعمل، وتوضح هذه المقالة التكلفة من حيث الذاكرة والوقت والصيانة، ثم تقارنه مع نقطة نهاية متوافقة مع OpenAI مُستضافة.
محدّث


نقاط رئيسية
- تشغّل Ollama الأوزان المُزالة الرقابة محليًا وتكشف نقطة نهاية على نمط OpenAI عبر المنفذ 11434.
- الذاكرة المرئية (VRAM)، وليس مساحة القرص، هي الحد الأول الذي ستصل إليه؛ التكميم يوازن بين الجودة والذاكرة.
- تتكلف الـ API المستضافة $0.15 لكل مليون رمز إدخال و$0.50 لكل مليون رمز إخراج، لذا يمكن أن تكلف تطبيقاً صغيراً $12.75 شهرياً.
- كلا المسارين يتكلمان بنفس تنسيق إكمال الدردشة، لذا فإن التبديل يتطلب تغييراً في سطرين فقط.
ما تعنيه إزالة الرقابة وكيف ينسجم Ollama
إزالة الرقابة هي تعديل للأوزان. يجد الباحثون الاتجاه في تنشيط النموذج الذي يرتبط برفض الطلب، ثم يزيلونه من الأوزان. النتيجة هي نموذج يميل للإجابة بدل الرفض. ليس إعادة تدريب، لذا يحتفظ النموذج بمهاراته العامة، وقد تتغير الجودة قليلاً في أي اتجاه.
Ollama هو بيئة تشغيل محلية. تسحب النموذج، فيقوم بتنزيل الأوزان، ثم يقدمها على http://localhost:11434. يقدم الخادم أيضًا مسارًا متوافقًا مع OpenAI تحت /v1، ولهذا السبب يمكن لمعظم واجهات الدردشة وأدوات SDK التواصل معه. ينشر أعضاء المجتمع إصدارات مُزالة من النماذج المفتوحة الشائعة، وعادةً ما تكون ملفات GGUF التي يمكن لـ Ollama استيرادها.
لذا فإن خط الأنابيب بسيط: ابحث عن إصدار، اسحبه، وجه عميلك إلى localhost. الجزء الصعب ليس في الأوامر. إنه الأجهزة والعناية التي تلي ذلك.
تشغيل نموذج Abliterated محليًا، خطوة بخطوة
أولاً قم بتثبيت Ollama من موقعه الرسمي. ثم إما اسحب إصدار منشور بالاسم أو استورد ملف GGUF قمت بتنزيله بنفسك.
- اسحب إصدار منشور باستخدام
ollama pull some-user/some-abliterated-model(الاسم مثال، ابحث عن واحد تثق به). - أو استورد ملف GGUF: اكتب Modelfile يكون سطره الأول
FROM ./model.Q4_K_M.gguf، ثم شغلollama create my-abliterated -f Modelfile. - ابدأ دردشة في الطرفية باستخدام
ollama run my-abliterated.
للدعوة إليها من الكود، استخدم أي عميل OpenAI مع عنوان URL الأساسي المحلي. يمكن أن يكون المفتاح أي سلسلة غير فارغة، لأن Ollama لا يتحقق منه افتراضياً.
from openai import OpenAI
# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")
r = local.chat.completions.create(
model="my-abliterated", # hosted: "uncensored"
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)
إذا عمل هذا، لديك إعداد محلي يعمل. لاحظ أن العميل الثاني في المقتطف يشير بالفعل إلى نقطة النهاية المستضافة؛ يشرح بقية هذا المقال متى يكون هذا هو الخيار الأفضل. ما يلي أولاً هو الجزء الذي يقرر ما إذا كان المحلي سيظل مفيداً: الذاكرة، السرعة والصيانة.
VRAM، السرعة ومساومة التكميم
يجب أن يتسع النموذج في الذاكرة السريعة ليعمل بسرعة مفيدة. قاعدة تقريبية: في التكميم بـ 4 بت، يأخذ كل معلمة حوالي نصف بايت، لذا يحتاج نموذج 8B إلى حوالي 4 إلى 5 جيجابايت للأوزان، ويحتاج نموذج 70B إلى حوالي 35 إلى 40 جيجابايت. أضف مساحة لخازن KV، الذي ينمو مع طول السياق. يمكن أن تكلف الموجّهات الطويلة عدة جيجابايت إضافية.
عندما لا يتسع النموذج في ذاكرة GPU، يسكب Ollama الطبقات إلى ذاكرة النظام وCPU. لا يزال يجيب، لكن التوليد يتباطأ كثيراً. الأشخاص الذين يرون 2 رمز في الثانية على بطاقة 24 GB مع نموذج كبير يكونون عادةً في هذا الوضع.
- نموذج أصغر: يتسع بسهولة، يجيب بسرعة، يكتب بشكل أقل دقة في المشاهد المعقدة طويلة المدى.
- تكميم منخفض البت: يوفر الذاكرة، يكلف بعض الاتساق. Q4 هو نقطة وسط شائعة؛ غالباً ما تظهر Q2 وQ3 أضراراً مرئية.
- سياق أقصر: يوفر ذاكرة التخزين المؤقت. تعمل العديد من الإعدادات المحلية عند 8K أو 16K رمز للبقاء سريعاً.
الأبليراتيشن يضيف متغيراً آخر. لأن الأوزان تم تعديلها، يمكن أن يكون الإصدار أقل استقراراً قليلاً من الأصلي، مع المزيد من التشرذم أو التكرار الغريب. اختبر أي إصدار على مطالباتك الخاصة قبل الاعتماد عليه.
الصيانة التي لا يسردونها في البرنامج التعليمي
المحلي مجاني لكل رمز، لكنه ليس خالياً من العمل. توقع قضاء الوقت في هذه:
- اختيار الإصدارات. توجد العديد من الإصدارات المُزالة الرقابة، بنماذج أساسية وطرق وضغط مختلفة. قراءة البطاقة، التحقق من الرخصة واختبار المخرجات هو دورك.
- التحديثات. تظهر نماذج أساسية جديدة، تتغير افتراضيات بيئات التشغيل، وقد يتصرف الإصدار الذي كان يعمل بشكل مختلف بعد ترقية Ollama.
- الطلبات المتزامنة. تخدم بطاقة واحدة طلبًا أو اثنين بشكل جيد. إذا دردش ثلاثة مستخدمين في آن واحد، فإنهم ينتظرون في الطابور.
- التوافر. التطبيق يعمل فقط طالما أن جهازك يعمل. الحاسوب المحمول الذي يدخل في وضع السكون يأخذ البوت الخاص بك من الإنترنت.
- الأمان حول المخرجات. النموذج الذي لا يرفض يحتاج إلى قواعدك الخاصة حول من يمكنه الوصول إليه. احتفظ به للاستخدام القانوني للبالغين، ولا تسمح له أبداً بالاقتراب من أي شيء يتضمن قاصرين.
تكلفة أخرى هي الانتباه. عندما يبدو الرد خاطئاً، يجب عليك معرفة ما إذا كان السبب في الموجّه أو التكميم أو القالب أو البناء. مع نقطة نهاية مستضافة، لا تزال تقوم بتصحيح أخطاء الموجّهات، لكن ملف النموذج وبيئة التشغيل ليسا مشكلتك. احتفظ بسجل قصير لأي بناء أو تكميم وإعدادات أنتجت نتائج جيدة، لأنك ستنسى ذلك خلال شهر.
لا شيء من هذا سبب لتجنب التشغيل المحلي. إذا كنت تمتلك بطاقة رسومات جيدة وتستمتع بضبط الإعدادات، فهو هواية رائعة وتوفر خصوصية كاملة. السؤال هو ما إذا كان هذا هو أرخص مسار لتطبيق يستخدمه الآخرون.
البديل المستضاف وتكلفة شهرية تقديرية
الخيار المُستضاف هو نقطة نهاية متوافقة مع OpenAI تخدم نموذجًا واحدًا مفتوح الأوزان مضبوطًا للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. ترسل الطلبات إلى POST /v1/chat/completions مع النموذج uncensored. النص فقط، مع نافذة سياق 100,000 رمز، البث المتدفق واستدعاء الدوال. ليس API رسمي لأي بائع نماذج. انظر وثائق API لقائمة الطرق الكاملة.
السعر هو $0.15 لكل مليون رمز مدخل و $0.50 لكل مليون رمز مخرج، من رصيد مسبق الدفع بدون اشتراك. الطلبات الفاشلة أو المرفوضة لا تُحتسب، ولا ينتهي الرصيد. إليك نموذج لتطبيق دردشة صغير مع 1,000 طلب في اليوم، بمتوسط 1,500 رمز مدخل و 400 رمز مخرج:
| العنصر | الرموز في اليوم | المعدل | التكلفة في اليوم |
|---|---|---|---|
| مدخل | 1,000 × 1,500 = 1.5M | $0.15 لكل 1M | $0.225 |
| مخرج | 1,000 × 400 = 0.4M | $0.50 لكل 1M | $0.20 |
| المجموع | $0.425 |
على مدار 30 يومًا، هذا $12.75. قارن ذلك بالكهرباء، حصة العتاد وساعاتك الخاصة لجهاز محلي. إذا كنت تمتلك بطاقة الرسومات بالفعل، فإن المحلي لا يزال يفوز من حيث النقد؛ إذا كنت بحاجة إلى شراء أو استئجار واحدة، تحقق من عروض الاستئجار الحالية مقابل هذا الرقم. صفحة التسعير تعرض شحنات الرصيد، التي تبدأ من $20 وتضيف مكافأة من $50.
استدعاء نقطة النهاية المستضافة باستخدام نفس العميل
نظراً لأن Ollama و API المستضاف يتكلمان كلاهما تنسيق إكمال الدردشة، فإن الكود الذي كتبته أعلاه يتغير قليلاً فقط. قم بتغيير عنوان URL الأساسي والمفتاح واسم النموذج:
from openai import OpenAI
client = OpenAI(
base_url="https://api.abliteratedapi.com/v1",
api_key="YOUR_KEY",
)
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
stream=False,
)
print(r.choices[0].message.content)
نمط عملي هو الاحتفاظ بكلاهما. قم بالتطوير ضد Ollama المحلي عندما تكون غير متصل أو تختبر الموجّهات، وأرسل حركة الإنتاج إلى نقطة النهاية المستضافة. اقرأ عنوان URL الأساسي من متغير البيئة ولا يحتاج أي شيء آخر في تطبيقك إلى المعرفة.
يمكن للحسابات الجديدة المطالبة بـ $0.50 من رصيد تجريبي بنقرة واحدة على صفحة مفتاح API، صالح لمدة 7 أيام وبدون بطاقة ائتمان. لاحظ الحدود: مفتاح التجربة يسمح بـ 2 طلب متزامن و60 طلب في الدقيقة، بينما يسمح المفتاح الكامل بـ 8 و300. المقال حول حدود معدل API يشرح كيفية التعامل مع استجابات 429.
كيفية الاختيار
اختر Ollama المحلي عندما يكون لديك بطاقة رسومات (GPU) ذات ذاكرة كافية بالفعل، وتريد أن تبقى البيانات على جهازك، وتتقبل توليدًا أبطأ للنماذج الكبيرة، أو أن المشروع شخصي. اختر نقطة النهاية المستضافة عندما يستخدم الآخرون التطبيق، وتحتاج إلى عدة طلبات في وقت واحد، وتريد نافذة سياق بحجم 100K دون شراء ذاكرة إضافية لها، أو لا تريد صيانة ملفات النموذج.
اختبار بسيط: احسب عدد الساعات التي قضيتها في الإعداد هذا الشهر وضع سعراً لها. بالنسبة لهواية، هذا الرقم صفر لأنك تستمتع بذلك. بالنسبة لمنتج مع مستخدمين، هو مال حقيقي، وقد تكون فاتورة الدفع لكل رمز بضع دولارات أقل. فكر أيضاً في حالة الفشل. إذا أعاد جهازك المنزلي تشغيله ليلاً، فإن نقطة النهاية المستمرة ستستمر في الإجابة؛ خادم محلي لا يفعل ذلك.
الأثنان ليسا حصريين، وتجربة النسخة التجريبية المستضافة لا تكلف شيئاً. شغّل نفس عشرة موجّهات عبر الاثنين وقارن الإجابات والوقت الذي قضيت فيه.
المزيد من الأدلة
أسئلة وأجوبة
هل يمكن لـ Ollama تشغيل نماذج بدون رقابة؟
نعم. يمكن لـ Ollama سحب الإصدارات المنشورة أو استيراد ملفات GGUF التي تقوم بتنزيلها. بمجرد تحميلها، يتم تقديم النموذج محليًا عبر مسار متوافق مع OpenAI تحت /v1.
كم ذاكرة VRAM أحتاج؟
عند التكميم بـ 4 بت، احسب حوالي نصف بايت لكل معلمة بالإضافة إلى ذاكرة KV. يتسع نموذج بحجم 8B في حوالي 5 إلى 6 جيجابايت مع سياق متواضع، بينما يحتاج نموذج بحجم 70B إلى أكثر من 35 جيجابايت.
هل النموذج المُزال هو نفسه الأصلي؟
لا. يتم تعديل سلوك الرفض من الأوزان، وقد تتغير الجودة أو الاستقرار قليلاً. اختبر إصداراً على موجّهاتك الخاصة.
هل يعمل API المستضاف مع عملاء متوافقين مع Ollama؟
أي عميل يتيح لك تعيين عنوان URL الأساسي ومفتاح OpenAI يعمل. استخدم عنوان URL الأساسي https://api.abliteratedapi.com/v1 والنموذج uncensored.
مفتاحك على بُعد استمارة واحدة
أنشئ حساباً، وانسخ المفتاح، ثم غيّر عنوان URL الأساسي. هذا هو الإعداد الكامل.
احصل على مفتاح API