JA ▾

Hugging FaceのAbliterated LLM:最初に確認すべきこと

Abliteration された LLM の Hugging Face ページを検索すると、類似した名前を持つ数十のアップロードと、非常に異なる品質に出会います。モデルカードの読み方に関する短いチェックリストと、ウェイトのダウンロードが価値がある場合とホストされたモデルの呼び出しの方が容易な場合の明確な判断基準を以下に示します。

更新

ダウンロードされた重みの立方体の上に並べられたモデルカードを拡大鏡で検査
ホスト API サーバーに光るケーブルで接続されたチャットインターフェースは、Open WebUI の接続を表しています

主要ポイント

  • ダウンロードする前に、カード上のベースモデル、ライセンス、フォーマット、量子化を確認してください。
  • pickleベースのフォーマットよりもsafetensorsまたはGGUFファイルを優先してください。
  • 独自のプロンプトでビルドをテストしてください。abliterationは安定性を変更する可能性があります。
  • HTTP経由で回答のみが必要な場合、ホスト型エンドポイントではダウンロードとハードウェアが不要になります。

素早い回答ボックス:確認すべき5つの項目

  1. ベースモデル。カードには、作成元の元のモデルが記載されているべきです。そうでない場合、アップロードを疑ってください。
  2. ライセンス。 編集されたモデルはベースのライセンスを継承します。ライセンスによっては商用利用が制限されるか、帰属表示が必要です。
  3. ファイルフォーマット。 SafetensorsとGGUFは安全で一般的な選択肢です。未知の作者からのpickleベースの .bin または .pt ファイルは避けてください。読み込み時にコードが実行される可能性があるためです。
  4. 量子化。 ファイル名はビット幅を示します(例:Q4_K_M、Q8_0)。数字が小さいほどファイルは小さくなりますが、品質の低下も大きくなります。
  5. エビデンス。 サンプル出力、使用された手法、コミュニティの議論を確認してください。

記事の残りの部分では各ポイントについて説明します。なぜなら、カードでは多くの質の悪いダウンロードを回避できるからです。

時間が2分しかない場合は、ベースモデルとファイル形式を確認し、コミュニティタブの最後の10件のコメントをお読みください。この3つのステップで、後で人が不平を言う問題のほとんどを把握できます。

モデルカードにおけるAbliteratedの意味

Abliterationは、ウェイトを直接編集することで、リクエストを拒否する内部の方向性を除去します。ファインチューニングよりも安価で、新しいトレーニングデータは必要ありません。カードには、使用されたツールやスクリプト、影響を受けたレイヤー、強度の値が記載されていることがよくあります。

これは重要です。なぜなら、この手法は一律ではないからです。ある著者は拒否の方向性を軽く除去し、元の挙動の大部分を保持します。他の著者はより強く押し進め、モデルをより従順にしますが、同時に一貫性を失わせることもあります。良いカードは何が行われたかを明記します。質の低いカードは「無検閲」とだけ書き、スクリーンショットを示すだけです。

また、作者がベースモデルのチューニングをどのように説明しているか確認してください。チャットチューニングされたベースはチャット形式で回答しますが、生ベースモデルは指示に従う方法が異なり、その編集はそれを修正しません。

カードを上から下まで読む

ヘッダーとタグ

ページの上部には、ライセンス、ライブラリのタグ(例:transformers や GGUF)、パラメータ数、ベースモデルへのリンクが表示されます。そのリンクに従い、元のカードも読んでください。コンテキストウィンドウ、意図されたチャットテンプレート、および既知の癖について学べます。

ファイルとバージョン

ファイルリストを開きます。各ファイルのサイズを実行可能な環境と比較して確認してください。16ビット精度の70Bモデルは消費者向けGPUでは遥かに大きすぎますが、そのQ4 GGUFは十分なメモリを持つワークステーションに収まるかもしれません。リポジトリに多くの量子化がある場合は、メモリに一致するものを選び、KVキャッシュの余裕を残してください。

チャットテンプレート

各モデルファミリーは特定のプロンプト形式を想定しています。間違ったテンプレートを使用することは、奇妙でループする、または空の出力が生じる最も一般的な理由であり、Abliteration のせいにされることがよくあります。Ollama や llama.cpp などのランタイムはファイルのメタデータからテンプレートを読み込みますが、それが存在することを確認してください。

ハードウェアに対するモデルサイズ

簡易計算:4ビット量子化では、モデルはパラメータあたり重みに約0.5バイト必要です。8Bモデルは約5GB、32Bモデルは約18〜20GB、70Bモデルは約40GBに達し、KVキャッシュを加える前にこの数値になります。この数値がGPUメモリより大きい場合、遅いCPU補助生成またはメモリ不足エラーが発生します。

コミュニティタブ

ディスカッションは実際の経験を示します:壊れたトークン、繰り返し、欠落したファイル、特定の量子化での貧弱な結果の報告。ディスカッションもダウンロードもないモデルは未検証であり、必ずしも悪いわけではありません。

ダウンロードをクリックする前に避けるべき落とし穴

  • 実行可能ファイルを持つ未知の作者。 信頼できるフォーマットのみ読み込んでください。Safetensorsは読み込み時にコードを実行できませんが、pickleファイルは実行できます。
  • 不一致の主張。 カードに長いコンテキストがあると言っているが、ベースモデルがそれ未満しかサポートしない場合、編集はそれを変えていません。
  • 再アップロード。 複数のアカウントが同じ重みをコピーしています。元の作者を優先し、ファイルハッシュが表示されている場合は比較してください。
  • 量子化情報の欠如。 ビット幅がわからない場合、メモリ使用量や品質を予測できません。
  • 魔法を期待しないこと。 Abliteratedモデルでも、ベースの知識と制限は維持されます。ベースが知らなかったことは知らず、エラーを生成し続けることもあります。

もう一つの習慣が役立ちます:テストしたリポジトリ名、ファイル名、コミットを正確に保存してください。作者はファイルを更新することがあり、先週うまく動作していたビルドが、今日では異なるファイルになっている可能性があります。記録がなければ、良い結果を再現したり、悪い結果を説明したりできません。

コンテンツ自体に関するルールに留意してください。拒否のないモデルは法的に成人した者のみによる使用を目的としており、未成年者を含むコンテンツは、モデルがどのように編集されていても禁止です。

重みをセルフホストする価値がある場合

完全な制御が必要な場合に重みのダウンロードが意味を持ちます。正確なビルドを固定し、オフラインで実行し、カスタムサンプリングやアダプターを使用し、すべてのプロンプトを独自のハードウェアに保持できます。また、これらのモデルがどのように動作するかを学ぶための正しい方法でもあります。

学習の利点もあります。モデルを自分で実行することで、コンテキストの長さ、サンプリング設定、量子化が出力にどのように影響するかを示し、その知識は後で使用する任意の API に持ち越されます。

代償はハードウェアと時間です。十分なGPUメモリ、llama.cpp、vLLM、Ollamaなどのランタイムが必要で、変更ごとにテストする習慣が必要です。夜に実験する一人の場合、これは問題ありません。複数のユーザーを持つアプリの場合、キューイング、再起動、更新、監視の運用業務になります。

ホスト型モデルへの呼び出しがより簡単な場合

アプリ内でテキストの回答だけが必要な場合、ホストされたエンドポイントにより、ダウンロード、メモリ計画、保守が不要になります。このサービスは、コンテンツ拒否なしで回答するようにチューニングされた 1 つのオープンウェイトモデルを持つ OpenAI 互換 API で、独立したプロバイダによって運営されています。任意のモデルベンダーの公式 API ではなく、テキストのみです。

OpenAI互換APIと同様に呼び出せます。Base URLはhttps://api.abliteratedapi.com/v1、モデルIDはuncensored、キーはAuthorization: Bearerヘッダーに設定します。

curl https://api.abliteratedapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a tense opening line for a noir story."}],
    "stream": false
  }'

コンテキストウィンドウは100,000トークンで、ストリーミング、ツール呼び出し、JSONモードがサポートされています。価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、サブスクリプションはありません。プロンプトはトレーニングに使用されません。詳細は ドキュメント と 価格ページ にあります。

クレジットカードなしでテストできます:新しいユーザーは APIキーページ でワンクリックで$0.50の無料トライアルクレジットを取得でき、7日間有効です。リクエストあたり1,000入力トークンと500出力トークンの場合、1つのリクエストは$0.0004かかり、$0.50は約1,250リクエストをカバーします。これは、ダウンロードしたモデルに対して出力を比較するのに十分です。

判断の実用的な方法

実際のユースケースを反映した 10 個のプロンプトを書き出してください。それらを Hugging Face で見つけたビルド済みのモデルとホストされたエンドポイントの両方で実行してください。回答の品質、速度、およびそれぞれを動作させるのに要した時間を記録してください。チャットフロントエンドを使用する場合、Open WebUI を OpenAI 互換 API に接続するのページで、ローカルモデルの横にホストされたエンドポイントをどのように追加し、同じインターフェース間で切り替えるかを示しています。これらのモデルが何ができ、何ができないかについての一般的な背景については、無検閲チャットAPIの神話と事実をご覧ください。

質問と回答

Hugging Faceからabliteratedモデルをダウンロードしても安全ですか?

実績のある著者から safetensors または GGUF ファイルを選び、カードを読む限り安全です。未知のアカウントからの pickle 形式のファイルは避けてください。それらを読み込むとコードが実行される可能性があるためです。

abliteration はモデルを賢くしますか?

いいえ。拒否行動を除去しますが、知識は追加されません。品質はベースモデルに近く、編集が強い場合はわずかに低下する可能性があります。

どの量子化を選ぶべきですか?

Q4バリアントはサイズと品質の一般的なバランスです。KVキャッシュに余裕を残しつつ、メモリに収まる最大のサイズを選択してください。

ダウンロードの代わりにホストされたAPIを使用できますか?

はい。ホストされたOpenAI互換エンドポイントには、ベースURL、キー、モデル名のみが必要で、ローカルハードウェアは必要ありません。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得