HI ▾

Ollama पर एबलिटरेटेड मॉडल्स बनाम होस्टेड API

एबलिटरेटेड मॉडल्स Ollama खोजने का मतलब आमतौर पर एक ही बात है: आपको एक ऐसा मॉडल चाहिए जो बिना रिफ्यूज़ल के जवाब दे और वह आपकी अपनी मशीन पर हो। यह काम करता है, और यह लेख दिखाता है कि यह मेमोरी, समय और रखरखाव में कितना खर्च आता है, फिर इसे एक होस्टेड OpenAI-संगत एंडपॉइंट से तुलना करता है।

अद्यतन

स्थानीय और होस्टेड LLM सेटअप की तुलना करने वाले स्थानीय GPU और क्लाउड सर्वर का संतुलन
एक होस्टेड API सर्वर से चमकदार केबल द्वारा लिंक चैट इंटरफ़ेस, एक Open WebUI कनेक्शन का प्रतिनिधित्व करता है

मुख्य बिंदु

  • Ollama एबलिटरेटेड वेट्स को स्थानीय रूप से चलाता है और पोर्ट 11434 पर एक OpenAI-शैली एंडपॉइंट प्रकट करता है।
  • VRAM, न कि डिस्क स्पेस, वह पहली सीमा है जिससे आप टकराएंगे; क्वांटीज़ेशन मेमोरी के लिए गुणवत्ता का व्यापार करता है।
  • एक होस्टेड API का खर्च 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 होता है, इसलिए एक छोटा ऐप महीने में $12.75 का खर्च कर सकता है।
  • दोनों ही चैट कंप्लीशन्स फॉर्मेट का उपयोग करते हैं, इसलिए स्विच करने में केवल दो लाइन का बदलाव होता है।

अबलिटरेशन का अर्थ क्या है और Ollama इसमें कैसे फिट बैठता है

अबलिटरेशन एक वेट एडिट है। शोधकर्ता मॉडल की एक्टिवेशन में उस दिशा को खोजते हैं जो अनुरोध को अस्वीकार करने से सहसंबंधित होती है, और फिर उसे वेट्स से हटा देते हैं। परिणाम एक ऐसा मॉडल होता है जो अस्वीकार करने के बजाय जवाब देने की प्रवृत्ति रखता है। यह रीट्रेन नहीं है, इसलिए मॉडल अपनी सामान्य क्षमताएँ बनाए रखता है, और गुणवत्ता किसी भी दिशा में थोड़ी बदल सकती है।

Ollama एक स्थानीय रनटाइम है। आप एक मॉडल खींचते हैं, यह वेट डाउनलोड करता है, और उन्हें http://localhost:11434 पर सर्व करता है। सर्वर /v1 के तहत एक OpenAI-संगत रूट भी प्रदान करता है, जिसके कारण अधिकांश चैट फ्रंटएंड और SDKs इससे बात कर सकते हैं। समुदाय के सदस्य लोकप्रिय ओपन मॉडल्स के अबलिटरेटेड बिल्ड प्रकाशित करते हैं, जो आमतौर पर GGUF फ़ाइलों के रूप में होते हैं जिन्हें Ollama आयात कर सकता है।

इसलिए पाइपलाइन सरल है: एक बिल्ड खोजें, उसे खींचें, और अपने क्लाइंट को localhost पर कॉन्फ़िगर करें। कठिन हिस्सा कमांड्स नहीं है। यह हार्डवेयर और उसके बाद आने वाली देखभाल है।

एक अबलिटरेटेड मॉडल को स्थानीय रूप से चलाना, चरण-दर-चरण

सबसे पहले Ollama को इसकी आधिकारिक वेबसाइट से इंस्टॉल करें। फिर या तो एक प्रकाशित बिल्ड को नाम से खींचें या एक GGUF फ़ाइल को आयात करें जिसे आपने स्वयं डाउनलोड किया है।

  1. ollama pull some-user/some-abliterated-model (नाम एक उदाहरण है, किसी भरोसेमंद का खोजें) के साथ प्रकाशित बिल्ड खींचें।
  2. या एक GGUF फ़ाइल आयात करें: एक Modelfile लिखें जिसकी पहली पंक्ति FROM ./model.Q4_K_M.gguf हो, फिर ollama create my-abliterated -f Modelfile चलाएं।
  3. टर्मिनल में ollama run my-abliterated के साथ चैट शुरू करें।

कोड से इसे कॉल करने के लिए, लोकल बेस यूआरएल के साथ किसी भी OpenAI क्लाइंट का उपयोग करें। कुंजी एक गैर-शून्य स्ट्रिंग हो सकती है, क्योंकि Ollama डिफ़ॉल्ट रूप से इसे जाँचता नहीं है।

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

यदि यह चलता है, तो आपके पास एक कार्यरत स्थानीय सेटअप है। ध्यान दें कि स्निपेट में दूसरा क्लाइंट पहले से ही होस्टेड एंडपॉइंट की ओर इशारा कर रहा है; इस लेख का शेष भाग समझाता है कि वह कब बेहतर विकल्प है। जो आगे है वह वह हिस्सा है जो तय करता है कि स्थानीय उपयोगी रहता है या नहीं: मेमोरी, गति और रखरखाव।

VRAM, गति और क्वांटीज़ेशन ट्रेडऑफ

एक मॉडल को उपयोगी गति के लिए तेज़ मेमोरी में फिट होना चाहिए। एक अनुमानित नियम: 4-बिट क्वांटीज़ेशन पर, प्रत्येक पैरामीटर लगभग आधा बाइट लेता है, इसलिए 8B मॉडल को वेट्स के लिए लगभग 4 से 5 GB की आवश्यकता होती है, और 70B मॉडल को लगभग 35 से 40 GB की आवश्यकता होती है। KV कैश के लिए जगह जोड़ें, जो कॉन्टेक्स्ट लंबाई के साथ बढ़ता है। लंबे प्रॉम्प्ट कई अतिरिक्त गीगाबाइट ले सकते हैं।

जब मॉडल GPU मेमोरी में फिट नहीं होता है, तो Ollama परतों को सिस्टम RAM और CPU में बहा देता है। यह अभी भी जवाब देता है, लेकिन जनरेशन बहुत धीमा हो जाता है। 24 GB कार्ड पर एक बड़े मॉडल के साथ 2 टोकन प्रति सेकंड देखने वाले लोग आमतौर पर इसी स्थिति में होते हैं।

  • छोटा मॉडल: आसानी से फिट होता है, तेज़ी से जवाब देता है, लंबे और सूक्ष्म दृश्यों पर कम अच्छा लिखता है।
  • कम-बिट क्वांटीज़ेशन: मेमोरी बचाता है, कुछ तार्किकता खर्च करता है। Q4 एक सामान्य मध्य बिंदु है; Q2 और Q3 अक्सर दृश्यमान क्षति दिखाते हैं।
  • छोटा संदर्भ: कैश मेमोरी बचाता है। कई स्थानीय सेटअप तेज़ रहने के लिए 8K या 16K टोकन पर चलते हैं।

अबलिटरेशन एक और चर जोड़ता है। चूंकि वेट्स एडिट किए गए हैं, एक बिल्ड मूल से थोड़ा कम स्थिर हो सकता है, अधिक भटकने या अजीब दोहराव के साथ। किसी भी बिल्ड पर भरोसा करने से पहले इसे अपने प्रॉम्प्ट पर परीक्षण करें।

वह रखरखाव जो ट्यूटोरियल में सूचीबद्ध नहीं है

लोकल टोकन प्रति मुफ़्त है, लेकिन काम के बिना नहीं। इन पर समय बिताने की उम्मीद करें:

  • बिल्ड चुनना। कई अबलिटरेटेड अपलोड मौजूद हैं, जिनके अलग-अलग बेस मॉडल, विधियाँ और क्वांटीज़ेशन हैं। कार्ड पढ़ना, लाइसेंस जाँचना और आउटपुट का परीक्षण करना आपका काम है।
  • अपडेट। नए बेस मॉडल आते हैं, रनटाइम डिफ़ॉल्ट बदलते हैं, और एक बिल्ड जो काम करता था, Ollama अपग्रेड के बाद अलग व्यवहार कर सकता है।
  • समवर्ती अनुरोध। एक GPU एक या दो अनुरोधों को अच्छी तरह संभालता है। यदि तीन उपयोगकर्ता एक साथ चैट करते हैं, तो वे कतार में लगते हैं।
  • उपलब्धता। ऐप तभी तक चलता है जब तक आपकी मशीन चलती है। एक लैपटॉप जो स्लीप मोड में जाता है, आपके बॉट को ऑफलाइन कर देता है।
  • आउटपुट के आसपास सुरक्षा। बिना अस्वीकृति वाले मॉडल को आपके अपने नियमों की आवश्यकता होती है कि इसे कौन उपयोग कर सकता है। इसे कानूनी वयस्क उपयोग के लिए रखें, और इसे कभी भी नाबालिगों से संबंधित किसी भी चीज़ के पास न जाएं।

एक और लागत ध्यान है। जब कोई जवाब गलत दिखता है, तो आपको यह निर्धारित करना होगा कि प्रॉम्प्ट, क्वांटीज़ेशन, टेम्पलेट या बिल्ड में से कौन सा दोषी है। एक होस्ट किए गए एंडपॉइंट के साथ, आप अभी भी प्रॉम्प्ट डिबग करते हैं, लेकिन मॉडल फ़ाइल और रनटाइम आपकी समस्या नहीं है। एक छोटा लॉग रखें कि किस बिल्ड, क्वांटीज़ेशन और सेटिंग्स ने अच्छे परिणाम दिए, क्योंकि आप एक महीने के भीतर भूल जाएंगे।

इनमें से कोई भी बात स्थानीय से बचने का कारण नहीं है। यदि आपके पास एक अच्छा GPU है और ट्यूनिंग में मज़ा आता है, तो यह एक शानदार शौक है और पूर्ण गोपनीयता प्रदान करता है। सवाल यह है कि क्या यह एक ऐसी ऐप के लिए सबसे सस्ता रूट है जिसे अन्य लोग उपयोग करते हैं।

होस्टेड विकल्प और मासिक लागत का आकलन

होस्टेड विकल्प एक OpenAI-संगत एंडपॉइंट है जो एक ओपन-वेट मॉडल को सर्व करता है जो कानूनी वयस्कों के उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड है। आप अनुरोध भेजते हैं POST /v1/chat/completions मॉडल uncensored के साथ। यह केवल टेक्स्ट है, 100,000 टोकन की कॉन्टेक्स्ट विंडो, स्ट्रीमिंग और फ़ंक्शन कॉलिंग के साथ। यह किसी भी मॉडल विक्रेता की आधिकारिक API नहीं है। पूर्ण विधि सूची के लिए API दस्तावेज़ देखें।

मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, प्रीपेड क्रेडिट से, कोई सदस्यता नहीं। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट समाप्त नहीं होता है। 1,000 अनुरोध प्रति दिन, औसतन 1,500 इनपुट टोकन और 400 आउटपुट टोकन वाले एक छोटे चैट ऐप के लिए एक आकलन यहाँ है:

आइटमप्रति दिन टोकनदरप्रति दिन लागत
इनपुट1,000 x 1,500 = 1.5M$0.15 प्रति 1M$0.225
आउटपुट1,000 x 400 = 0.4M$0.50 प्रति 1M$0.20
कुल$0.425

30 दिनों में यह $12.75 है। इसकी तुलना बिजली, हार्डवेयर शेयर और अपने स्थानीय बॉक्स के लिए अपने घंटों से करें। यदि आपके पास पहले से GPU है, तो स्थानीय अभी भी नकदी में जीतता है; यदि आपको एक खरीदना या किराए पर लेना होगा, तो इस नंबर के खिलाफ वर्तमान किराया कोटेशन की जांच करें। मूल्य निर्धारण पेज टॉप-अप सूचीबद्ध करता है, जो $20 से शुरू होते हैं और $50 से एक बोनस जोड़ते हैं।

समान क्लाइंट के साथ होस्टेड एंडपॉइंट को कॉल करना

क्योंकि Ollama और होस्ट किए गए API दोनों चैट पूर्णता प्रारूप बोलते हैं, आपका लिखा गया कोड बहुत कम बदलता है। बेस URL, कुंजी और मॉडल नाम बदलें:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

एक व्यावहारिक पैटर्न दोनों को रखना है। जब आप ऑफ़लाइन हों या प्रॉम्प्ट का परीक्षण कर रहे हों तो स्थानीय Ollama के खिलाफ विकास करें, और उत्पादन ट्रैफ़िक को होस्ट किए गए एंडपॉइंट पर भेजें। एक एन्वायरनमेंट वेरिएबल से बेस URL पढ़ें और आपकी एप्लिकेशन का कोई अन्य हिस्सा इसे जानने की आवश्यकता नहीं है।

नए खाते API कुंजी पेज पर एक क्लिक के साथ $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं, जो 7 दिनों के लिए मान्य है और बिना क्रेडिट कार्ड के। सीमाओं पर ध्यान दें: एक ट्रायल कुंजी 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों की अनुमति देती है, जबकि एक पूर्ण कुंजी 8 और 300 की अनुमति देती है। API रेट लिमिट पर लेख 429 प्रतिक्रियाओं को कैसे संभालें, यह समझाता है।

चुनने का तरीका

स्थानीय Ollama का चयन करें जब आपके पास पर्याप्त मेमोरी वाला GPU पहले से हो, आप चाहते हैं कि डेटा आपकी मशीन पर रहे, आप बड़े मॉडल पर धीमी जनरेशन सहन कर सकते हैं, या प्रोजेक्ट व्यक्तिगत है। होस्टेड एंडपॉइंट का चयन करें जब अन्य लोग ऐप का उपयोग करते हैं, आपको एक साथ कई अनुरोधों की आवश्यकता होती है, आप बिना मेमोरी खरीदे 100K कॉन्टेक्स्ट चाहते हैं, या आप मॉडल फ़ाइलों को मेंटेन नहीं करना चाहते।

एक सरल परीक्षण: इस महीने में सेटअप पर आपने कितने घंटे बिताए, उन्हें गिनें और उन पर एक कीमत रखें। एक शौक के लिए यह संख्या शून्य है क्योंकि आप इसे पसंद करते हैं। उपयोगकर्ताओं वाले एक उत्पाद के लिए, यह असली पैसा है, और कुछ डॉलर का पे-पर-टोकन बिल छोटा हो सकता है। विफलता मामले पर भी विचार करें। यदि आपकी होम मशीन रात में रीबूट होती है, तो एक होस्टेड एंडपॉइंट जवाब देता रहता है; एक स्थानीय सर्वर नहीं।

दोनों अपवर्जक नहीं हैं, और होस्टेड ट्रायल चलाने में कुछ भी नहीं लगता है। समान दस प्रॉम्प्ट को दोनों के माध्यम से चलाएं और जवाबों और आपके द्वारा बिताए गए समय की तुलना करें।

प्रश्न और उत्तर

क्या Ollama abliterated मॉडल चला सकता है?

हाँ। Ollama प्रकाशित बिल्ड खींच सकता है या GGUF फ़ाइलों को आयात कर सकता है जिन्हें आप डाउनलोड करते हैं। एक बार लोड होने के बाद, मॉडल /v1 के तहत एक OpenAI-संगत राउट के साथ स्थानीय रूप से सर्व किया जाता है।

मुझे कितनी VRAM की आवश्यकता है?

4-बिट क्वांटीज़ेशन पर, प्रति पैरामीटर आधा बाइट और KV कैश के लिए गिनती करें। एक 8B मॉडल सीमित कॉन्टेक्स्ट के साथ लगभग 5 से 6 GB में फिट होता है, जबकि एक 70B मॉडल को 35 GB से कहीं अधिक की आवश्यकता होती है।

क्या एक abliterated मॉडल मूल के समान है?

नहीं। अस्वीकृति व्यवहार वेट्स से हटा दिया गया है, और गुणवत्ता या स्थिरता में थोड़ा बदलाव हो सकता है। अपने प्रॉम्प्ट पर एक बिल्ड का परीक्षण करें।

क्या होस्टेड API Ollama-संगत क्लाइंट्स के साथ काम करता है?

कोई भी क्लाइंट जो आपको OpenAI बेस URL और कुंजी सेट करने की अनुमति देता है, काम करेगा। बेस URL https://api.abliteratedapi.com/v1 और मॉडल uncensored का उपयोग करें।

आपकी कुंजी बस एक प्रपत्र दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ