HI ▾

Hugging Face पर Abliterated LLM: पहले क्या जाँचें

यदि आप एक अबलिटेरेटेड एलएलएम Hugging Face पृष्ठ ब्राउज़ कर रहे हैं, तो आपको समान नामों और बहुत अलग गुणवत्ता वाले डज़नों अपलोड मिलेंगे। मॉडल कार्ड पढ़ने के लिए एक छोटी चेकलिस्ट यहाँ दी गई है, साथ ही यह स्पष्ट दृश्य भी कि वेट्स डाउनलोड करना कब मूल्यवान है और कब एक होस्ट किए गए मॉडल को कॉल करना आसान है।

अद्यतन

मॉडल कार्ड्स के स्टैक की जाँच करते हुए मैग्निफाइंग ग्लास, डाउनलोड किए गए वेट्स के क्यूब के ऊपर
एक होस्ट किए गए एपीआई सर्वर से एक चमकदार केबल द्वारा लिंक चैट इंटरफ़ेस, जो एक ओपन वेबयूआई कनेक्शन का प्रतिनिधित्व करता है

मुख्य बिंदु

  • कुछ भी डाउनलोड करने से पहले कार्ड पर बेस मॉडल, लाइसेंस, फॉर्मेट और क्वांटीजेशन पढ़ें।
  • पिकल-आधारित फॉर्मेट्स की तुलना में सेफ्टेंसर या GGUF फ़ाइलों को प्राथमिकता दें।
  • अपने प्रॉम्प्ट पर किसी भी बिल्ड का परीक्षण करें; एब्लिटरेशन स्थिरता को बदल सकता है।
  • यदि आपको केवल HTTP के जवाब चाहिए, तो एक होस्टेड एंडपॉइंट डाउनलोड और हार्डवेयर से बचाता है।

एक त्वरित उत्तर बॉक्स: जांचने के पाँच बातें

  1. बेस मॉडल। कार्ड को उस मूल मॉडल का नाम बताना चाहिए जिससे इसे बनाया गया था। यदि नहीं, तो अपलोड पर शक करें।
  2. लाइसेंस। एक संपादित मॉडल अपने बेस का लाइसेंस विरासत में पाता है। कुछ लाइसेंस वाणिज्यिक उपयोग को सीमित करते हैं या एट्रिब्यूशन की मांग करते हैं।
  3. फ़ाइल प्रारूप। सैफ़टेन्सर और GGUF सुरक्षित, सामान्य विकल्प हैं। ऐसे लेखकों से जिन्हें आप नहीं जानते, पिकल-आधारित .bin या .pt फ़ाइलों से बचें, क्योंकि उन्हें लोड करने पर कोड चलाया जा सकता है।
  4. क्वांटीज़ेशन। फ़ाइल नाम आपको बिट चौड़ाई बताता है, जैसे Q4_K_M या Q8_0। कम संख्याओं का अर्थ है छोटी फ़ाइलें और अधिक गुणवत्ता हानि।
  5. सबूत। नमूना आउटपुट, उपयोग की गई विधि और समुदाय चर्चा खोजें।

लेख का शेष भाग प्रत्येक बिंदु की व्याख्या करता है, क्योंकि कार्ड वह जगह है जहाँ अधिकांश खराब डाउनलोड से बचा जा सकता है।

यदि आपके पास केवल दो मिनट हैं, तो बेस मॉडल और फ़ाइल फॉर्मेट की जाँच करें, फिर सामुदायिक टैब में आखिरी दस टिप्पणियाँ पढ़ें। ये तीन कदम उन समस्याओं को पकड़ते हैं जिनके बारे में लोग बाद में शिकायत करते हैं।

मॉडल कार्ड पर एब्लिटरेशन का अर्थ

एब्लिटरेशन अनुरोध को अस्वीकार करने से जुड़े आंतरिक दिशा को हटा देता है, वेट्स को सीधे संपादित करके। यह फाइन-ट्यूनिंग से सस्ता है और नए ट्रेनिंग डेटा की आवश्यकता नहीं होती। कार्ड अक्सर उपयोग किए गए टूल या स्क्रिप्ट, प्रभावित परतों और एक ताकत मान सूचीबद्ध करते हैं।

यह महत्वपूर्ण है क्योंकि विधि एक समान नहीं है। कुछ लेखक अस्वीकृति दिशा को हल्का हटाते हैं और मूल व्यवहार को बनाए रखते हैं। अन्य अधिक जोर देते हैं, जिससे मॉडल अधिक अनुपालनकारी लेकिन कम सुसंगत हो सकता है। एक अच्छा कार्ड बताता है कि क्या किया गया। एक कमजोर कार्ड केवल "बिना सेंसर" कहता है और एक स्क्रीनशॉट दिखाता है।

यह भी जाँचें कि लेखक बेस मॉडल के ट्यूनिंग का वर्णन कैसे करता है। एक चैट-ट्यूंड बेस चैट फॉर्मेट में जवाब देगा; एक रॉ बेस मॉडल निर्देशों को उसी तरह नहीं फॉलो करेगा, और एडिट इसे ठीक नहीं करेगा।

कार्ड को ऊपर से नीचे तक पढ़ें

हेडर और टैग्स

पेज के शीर्ष पर लाइसेंस, लाइब्रेरी टैग (उदाहरण के लिए transformers या GGUF), पैरामीटर की संख्या और बेस मॉडल लिंक दिखाई देते हैं। उस लिंक पर जाएं और मूल कार्ड भी पढ़ें। आप कॉन्टेक्स्ट लंबाई, इंटेंडेड चैट टेम्पलेट और किसी भी ज्ञात क्विक्स (quirks) के बारे में जानते हैं।

फ़ाइलें और वर्जन

फ़ाइल सूची खोलें। प्रत्येक फ़ाइल का आकार उससे मिलाएं जो आप रन कर सकते हैं। 16-बिट प्रेसिजन में एक 70B मॉडल एक कंज्यूमर GPU के लिए बहुत दूर है, जबकि इसका Q4 GGUF पर्याप्त मेमोरी वाले वर्कस्टेशन में फिट हो सकता है। यदि रिपॉजिटरी में कई क्वान्टाइजेशन हैं, तो एक ऐसा चुनें जो आपकी मेमोरी से मेल खाता हो और KV कैश के लिए मार्जिन छोड़ दें।

चैट टेम्पलेट

प्रत्येक मॉडल फैमिली एक विशिष्ट प्रॉम्प्ट फॉर्मेट की उम्मीद करती है। गलत टेम्पलेट का उपयोग विचित्र, लूपिंग या खाली आउटपुट का सबसे आम कारण है, और इसे बिना सेंसर मॉडल पर अन्यायपूर्ण रूप से दोषारोपित किया जाता है। Ollama और llama.cpp जैसे रनटाइम टेम्पलेट को फ़ाइल मेटाडेटा से पढ़ते हैं, लेकिन यह सुनिश्चित करें कि वह मौजूद है।

आपके हार्डवेयर के सापेक्ष मॉडल का आकार

एक त्वरित अनुमान: 4-बिट क्वान्टाइजेशन पर एक मॉडल को वेट्स के लिए प्रति पैरामीटर लगभग आधा बाइट की आवश्यकता होती है। एक 8B मॉडल लगभग 5 GB पर आता है, एक 32B मॉडल लगभग 18 से 20 GB पर, और एक 70B मॉडल लगभग 40 GB पर, KV कैश से पहले। यदि संख्या आपकी GPU मेमोरी से बड़ी है, तो धीमी, CPU-सहायक जनरेशन या आउट-ऑफ-मेमोरी त्रुटि की उम्मीद करें।

समुदाय टैब

चर्चाएं वास्तविक अनुभव दिखाती हैं: टूटे हुए टोकन, दोहराव, फ़ाइलों की कमी या कुछ क्वान्टाइजेशन पर खराब परिणामों की रिपोर्ट। एक मॉडल जिसमें कोई चर्चा और कोई डाउनलोड नहीं है, वह अप्रमाणित है, जरूरी नहीं कि बुरा हो।

डाउनलोड क्लिक करने से पहले बचने के लिए फंदे

  • अज्ञात लेखकों के साथ एक्जीक्यूटेबल फ़ाइलें। केवल उन फॉर्मेट्स को लोड करें जिन पर आप भरोसा करते हैं। Safetensors लोड करते समय कोड रन नहीं कर सकते; pickle फ़ाइलें कर सकती हैं।
  • असंगत दावे। यदि कार्ड पर लिखा है कि इसमें लंबा कॉन्टेक्स्ट विंडो है, लेकिन बेस मॉडल कम सपोर्ट करता है, तो एडिट ने उसमें बदलाव नहीं किया है।
  • री-अपलोड। कई अकाउंट्स एक ही वेट्स कॉपी करते हैं। मूल लेखक को प्राथमिकता दें, और यदि फ़ाइल हैश दिखाए जाएं तो उनकी तुलना करें।
  • कोई क्वान्टाइजेशन जानकारी नहीं। यदि आप बिट चौड़ाई नहीं बता सकते, तो आप मेमोरी उपयोग या गुणवत्ता की भविष्यवाणी नहीं कर सकते।
  • जादू की उम्मीद। एक abliterated मॉडल में भी अपने बेस का ज्ञान और सीमाएं होती हैं। यह उन चीजों को नहीं जानता जिनका ज्ञान बेस के पास नहीं था, और इसमें अभी भी त्रुटियां हो सकती हैं।

एक और आदत मदद करती है: टेस्ट किए गए सटीक रिपॉजिटरी नाम, फ़ाइल नाम और कमिट को सहेजें। लेखक फ़ाइलों को बदल देते हैं, और पिछले सप्ताह अच्छा व्यवहार करने वाला बिल्ड आज एक अलग फ़ाइल हो सकता है। रिकॉर्ड के बिना आप एक अच्छे परिणाम को पुन: उत्पन्न नहीं कर सकते या एक खराब की व्याख्या नहीं कर सकते।

सामग्री के आसपास के नियमों को ध्यान में रखें। रिफ्यूजल के बिना मॉडल केवल कानूनी वयस्कों के उपयोग के लिए हैं, और नाबालिगों से संबंधित सामग्री मॉडल को कैसे भी एडिट किया जाए, उसकी सीमा के बाहर है।

जब वेट्स को सेल्फ-होस्ट करने से फायदा होता है

वेट्स डाउनलोड करना तब समझ में आता है जब आपको पूर्ण नियंत्रण की आवश्यकता हो। आप एक सटीक बिल्ड को पिन कर सकते हैं, ऑफलाइन रन कर सकते हैं, कस्टम सैम्पलिंग या एडाप्टर्स का उपयोग कर सकते हैं, और हर प्रॉम्प्ट को अपने खुद के हार्डवेयर पर रख सकते हैं। यह उन मॉडल्स के व्यवहार को सीखने का सही तरीका भी है।

इसमें एक सीखने का लाभ भी है। स्वयं एक मॉडल चलाने से यह दिखाई देता है कि कॉन्टेक्स्ट लंबाई, सैम्पलिंग सेटिंग्स और क्वान्टाइजेशन आउटपुट को कैसे बदलते हैं, और यह ज्ञान बाद में किसी भी API पर लागू होता है।

कीमत हार्डवेयर और समय है। आपको पर्याप्त GPU मेमोरी, llama.cpp, vLLM या Ollama जैसे एक रनटाइम की आवश्यकता है, और हर बदलाव के बाद टेस्ट करने की आदत। रात में प्रयोग करने वाले एक व्यक्ति के लिए यह ठीक है। एक ऐप जिसमें कई उपयोगकर्ता हैं, इसके लिए यह एक ऑपरेशंस जॉब बन जाता है: क्यूइंग, रीस्टार्ट, अपडेट और मॉनिटरिंग।

जब होस्टेड मॉडल को कॉल करना आसान होता है

यदि आपको केवल एक ऐप के अंदर टेक्स्ट जवाबों की आवश्यकता है, तो एक होस्टेड एंडपॉइंट डाउनलोड, मेमोरी प्लानिंग और अपकीप को हटा देता है। यह सेवा एक OpenAI-कम्पैटिबल API है जिसमें एक ओपन-वेट मॉडल है, जो कानूनी वयस्कों के उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड है, एक स्वतंत्र प्रोवाइडर द्वारा चलाया जाता है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है, और यह केवल टेक्स्ट है।

आप इसे किसी भी OpenAI-शैली API की तरह कॉल करते हैं। बेस URL https://api.abliteratedapi.com/v1 है, मॉडल ID uncensored है, और कुंजी एक Authorization: Bearer हेडर में जाती है:

curl https://api.abliteratedapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a tense opening line for a noir story."}],
    "stream": false
  }'

कॉन्टेक्स्ट विंडो 100,000 टोकन की है, और स्ट्रीमिंग, फ़ंक्शन कॉलिंग और JSON मोड समर्थित हैं। मूल्य निर्धारण 1M इनपुट टोकन प्रति $0.15 और 1M आउटपुट टोकन प्रति $0.50 है, कोई सब्सक्रिप्शन नहीं है। प्रॉम्प्ट्स को प्रशिक्षण के लिए उपयोग नहीं किया जाता है। विवरण दस्तावेज़ीकरण और मूल्य निर्धारण पृष्ठ पर हैं।

आप बिना कार्ड के परीक्षण कर सकते हैं: नए उपयोगकर्ता API कुंजी पेज पर एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट प्राप्त करते हैं, जो 7 दिनों के लिए मान्य है। प्रति अनुरोध 1,000 इनपुट टोकन और 500 आउटपुट टोकन की दर से, एक अनुरोध की लागत $0.0004 है, इसलिए $0.50 लगभग 1,250 अनुरोधों को कवर करता है। यह आपके द्वारा डाउनलोड किए गए किसी मॉडल के आउटपुट की तुलना करने के लिए पर्याप्त है।

निर्णय लेने का व्यावहारिक तरीका

अपने वास्तविक उपयोग को दर्शाने वाले दस प्रॉम्प्ट लिखें। उन्हें Hugging Face पर मिले बिल्ड और होस्टेड एंडपॉइंट दोनों पर चलाएं। उत्तर की गुणवत्ता, गति और प्रत्येक को काम करने में लगाए गए समय पर नोट करें। यदि आप चैट फ्रंट-एंड का उपयोग करते हैं, तो Open WebUI को OpenAI-कम्पैटिबल API से कनेक्ट करना पेज दिखाता है कि अपने लोकल मॉडल के बगल में होस्टेड एंडपॉइंट कैसे जोड़ें, ताकि आप एक ही इंटरफ़ेस में उनके बीच स्विच कर सकें। इन मॉडल की क्या क्षमताएं हैं और क्या नहीं, इसकी सामान्य पृष्ठभूमि के लिए, अनसेंसर्ड चैट API मिथक और तथ्य देखें।

प्रश्न और उत्तर

क्या Hugging Face से एबलिटरेटेड मॉडल डाउनलोड करना सुरक्षित है?

यदि आप सुरक्षित विकल्प चुनते हैं तो यह पर्याप्त रूप से सुरक्षित है। उन लेखकों से safetensors या GGUF फ़ाइलें चुनें जिनका इतिहास अच्छा हो और कार्ड पढ़ें। अज्ञात खातों से pickle-आधारित फ़ाइलों से बचें, क्योंकि उन्हें लोड करने पर कोड निष्पादित हो सकता है।

क्या एबलिटरेशन मॉडल को स्मार्ट बनाता है?

नहीं। यह अस्वीकृति व्यवहार को हटा देती है लेकिन कोई ज्ञान नहीं जोड़ती। गुणवत्ता बेस मॉडल के करीब बनी रहती है और यदि संपादन मजबूत था तो यह थोड़ी कम भी हो सकती है।

मुझे कौन सा क्वांटीजेशन चुनना चाहिए?

Q4 वेरिएंट आकार और गुणवत्ता के बीच एक सामान्य संतुलन हैं। अपनी मेमोरी में फिट होने वाले सबसे बड़े संस्करण को चुनें, जिसके साथ KV कैश के लिए जगह भी बची हो।

क्या डाउनलोड करने के बजाय होस्टेड API का उपयोग कर सकता हूं?

हाँ। एक होस्टेड OpenAI-संगत एंडपॉइंट केवल एक बेस URL, एक कुंजी और एक मॉडल नाम की आवश्यकता होती है, और कोई स्थानीय हार्डवेयर नहीं।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएं, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ