JA ▾

Ollamaの無検閲モデルとホスト型APIの比較

Abliterated models ollamaで検索するということは、通常、拒否なしで回答するモデルを自分のマシンで実行したいことを意味します。これは可能ですが、この記事ではメモリ、時間、保守のコストを示し、ホスト型OpenAI互換エンドポイントと比較します。

更新

ローカルとホスト型LLMセットアップを比較する、ローカルGPUとクラウドサーバーのバランス
ホスト API サーバーに光るケーブルで接続されたチャットインターフェースは、Open WebUI の接続を表しています

主要ポイント

  • Ollamaは無検閲重みをローカルで実行し、ポート11434でOpenAIスタイルのエンドポイントを公開します。
  • VRAMはディスクスペースよりも先に制限に達します。量子化はメモリを節約するために品質を犠牲にします。
  • ホスト型APIの入力トークン100万トークンあたり$0.15、出力トークン100万トークンあたり$0.50で、小規模アプリの月額コストは$12.75になります。
  • 両方のルートは同じチャット完了フォーマットを使用するため、切り替えは2行の変更で済みます。

無検閲の意味とOllamaの役割

アブリテレーション(abliteration)は重みの編集です。研究者は、リクエストの拒否と相関するモデルの活性化の方向を見つけ、それを重みから除去します。結果として、拒否するのではなく回答する傾向のあるモデルが得られます。再学習ではないため、モデルは一般的なスキルを維持しますが、品質がどちらの方向にわずかに変化することがあります。

Ollamaはローカルランタイムです。モデルをプルすると重みがダウンロードされ、http://localhost:11434で提供されます。また、/v1の下でOpenAI互換のルートも提供するため、ほとんどのチャット用フロントエンドやSDKがこれと通信できます。コミュニティメンバーは、Ollamaが取り込める通常GGUFファイルとして、人気のあるオープンモデルの無検閲ビルドを公開しています。

つまりパイプラインはシンプルです:ビルドを見つけ、プルし、クライアントをlocalhostにポイントします。難しいのはコマンドではありません。ハードウェアと、その後の運用です。

無検閲モデルのローカル実行手順

まず、公式サイトからOllamaをインストールします。次に、名前を指定して公開ビルドをプルするか、自分でダウンロードしたGGUFファイルを取り込みます。

  1. 公開ビルドをollama pull some-user/some-abliterated-modelでプルします(名前は例です。信頼できるものを探してください)。
  2. またはGGUFファイルをインポートします:最初の行がFROM ./model.Q4_K_M.ggufであるModelfileを作成し、ollama create my-abliterated -f Modelfileを実行します。
  3. ollama run my-abliteratedでターミナルでチャットを開始します。

コードから呼び出すには、ローカルベースURLを持つ任意のOpenAIクライアントを使用します。キーは空でない文字列であれば任意の文字列を使用できます。Ollamaはデフォルトでキーを検証しないためです。

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

これが実行されれば、ローカルセットアップは動作しています。スニペットの2番目のクライアントがすでにホスト型エンドポイントを指していることに注意してください。この記事の残りの部分では、それがより良い選択となる場合について説明します。まず、ローカルが有用であるかどうかを決定する部分、つまりメモリ、速度、保守について説明します。

VRAM、速度、量子化のトレードオフ

モデルは高速メモリに収まらないと実用的な速度で動作しません。大まかな目安として、4ビット量子化ではパラメータあたり約0.5バイトが必要です。したがって、8Bモデルには重みだけで約4〜5 GB、70Bモデルには約35〜40 GB必要です。コンテキストの長さに応じて増えるKVキャッシュの分も加算してください。長いプロンプトは数GBの追加コストがかかることがあります。

モデルがGPUメモリに収まらない場合、OllamaはレイヤーをシステムRAMとCPUにスワップします。回答はしますが、生成速度が大幅に低下します。24 GBのカードで大きなモデルを使用しているときに2トークン/秒を目にする人は、通常この状況にあります。

  • 小規模モデル: 簡単に収まり、高速に回答しますが、長くニュアンスのあるシーンでの生成品質は低くなります。
  • 低ビット量子化:メモリを節約しますが、一貫性が損なわれます。Q4は一般的な中間点ですが、Q2とQ3は明らかな劣化を示すことがあります。
  • 短いコンテキスト:キャッシュメモリを節約します。多くのローカルセットアップは、高速に保つために8Kまたは16Kトークンで動作します。

アブリレーションはもう1つの変数を追加します。重みが編集されているため、ビルドはオリジナルよりも少し不安定で、冗長な発言や奇妙な繰り返しが多くなることがあります。信頼する前に、独自のプロンプトでビルドをテストしてください。

チュートリアルでリストされない保守作業

ローカルはトークンあたり無料ですが、作業が不要という意味ではありません。これらの作業に時間を費やす必要があります:

  • ビルドの選択。 無検閲のアップロードは多数存在し、ベースモデル、手法、量子化が異なります。カードの読み込み、ライセンスの確認、出力のテストはあなたの仕事です。
  • アップデート。 新しいベースモデルが登場し、ランタイムのデフォルトが変更され、Ollamaのアップグレード後に動作が異なるビルドになることがあります。
  • 同時実行。 1つのGPUは1〜2つのリクエストを適切に処理できます。3人のユーザーが同時にチャットすると、キューに入ります。
  • 可用性。 アプリはマシンが稼働している間のみ稼働します。サスペンドするラップトップはボットをオフラインにします。
  • 出力の安全性。 拒否のないモデルには、誰がアクセスできるかについての独自のルールが必要です。合法的な成人用途に限定し、未成年者に関連するものには近づけないでください。

もう一つの「コスト」は「注意力」です。返信が間違っている場合、プロンプト、量子化、テンプレート、ビルドのいずれに問題があるかを自分で判断する必要があります。ホスト型エンドポイントを利用する場合、プロンプトのデバッグは必要ですが、モデルファイルやランタイムの問題は自分で解決する必要がありません。どのビルド、量子化、設定が良好な結果を生んだかの短いログを保持してください。1ヶ月も経てば忘れてしまうためです。

これらはローカルを避ける理由ではありません。適切なGPUを持ち、チューニングを楽しむなら、それは素晴らしい趣味であり、完全なプライバシーを提供します。問題は、他の人が使用するアプリにとって最も安価なルートかどうかです。

ホスト型代替案と月額費用の概算

ホスト型オプションは、合法的な成人用途でコンテンツ拒否なしで回答するように調整されたオープンウェイトモデルを提供するOpenAI互換エンドポイントです。モデルuncensoredでPOST /v1/chat/completionsにリクエストを送信します。テキストのみで、100,000トークンのコンテキストウィンドウ、ストリーミング、関数呼び出しに対応します。これは任意のモデルベンダーの公式APIではありません。完全なメソッドリストはAPIドキュメントをご覧ください。

料金は、前払いクレジットから、入力トークン100万トークンあたり$0.15、出力トークン100万トークンあたり$0.50です。サブスクリプションはありません。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。1日1,000リクエスト、平均1,500入力トークン、400出力トークンの小規模チャットアプリの概算を示します:

項目1日のトークン数レート1日のコスト
入力1,000 x 1,500 = 1.5M100万トークンあたり$0.15$0.225
出力1,000 x 400 = 0.4M100万トークンあたり$0.50$0.20
合計$0.425

30日間で$12.75になります。これを電気代、ハードウェアの共有、ローカルボックスの自分の時間と比較してください。すでにGPUをお持ちなら、ローカルは現金面で依然として優れています。購入またはレンタルする必要がある場合は、現在のレンタル見積もりをこの数字と比較してください。料金ページにはトップアップ(残高追加)が記載されており、$20から始まり、$50以上でボーナスが追加されます。

同じクライアントでホスト型エンドポイントを呼び出す

OllamaとホストAPIの両方がチャット完了フォーマットに対応しているため、上記のコードはほとんど変更の必要がありません。ベースURL、API キー、モデル名をそれぞれ入れ替えてください:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

実用的なパターンは両方を保持することです。オフライン時やプロンプトをテストする際はローカルOllamaに対して開発し、本番トラフィックをホスト型エンドポイントに送信します。ベースURLを環境変数から読み込み、アプリの他の部分はそれを知らなくても構いません。

新規アカウントは、API キーページでワンクリックで$0.50の無料トライアルクレジットを獲得できます。有効期限は7日で、カード登録は不要です。制限事項にご注意ください:トライアルキーは同時実行リクエストが2件、1分あたりのリクエストが60件までですが、フルキーはそれぞれ8件と300件まで可能です。API レート制限の記事で、429レスポンスの処理方法をご確認ください。

選択方法

十分なメモリを持つGPUがすでにあり、データをマシンに留めたい場合、大きなモデルでの生成速度の低下を許容できる場合、またはプロジェクトが個人的なものである場合は、ローカルOllamaを選択してください。他の人がアプリを使用する場合、同時に複数のリクエストが必要である場合、メモリを購入せずに100Kコンテキストを望む場合、またはモデルファイルを維持したくない場合は、ホスト型エンドポイントを選択してください。

簡単なテストとして、今月セットアップに費やした時間を数え、その価値を金額に換算してみましょう。趣味の場合、その時間はゼロと見なせます(楽しんでいるため)。しかし、ユーザーを持つ製品の場合、それは現実の金銭コストになります。トークン単位の課金で数ドルの請求額であれば、コストは抑えられる可能性があります。また、失敗ケースも考慮してください。自宅のマシンが夜間に再起動した場合でも、ホスト型エンドポイントは応答を続けますが、ローカルサーバーは応答を停止します。

これらは排他的なものではなく、ホスト型トライアルを試すのは無料です。同じ10個のプロンプトを両方に通して、回答と費やした時間を比較してください。

質問と回答

Ollamaは無検閲モデルを実行できますか?

はい。Ollamaは公開ビルドをプルするか、ダウンロードしたGGUFファイルを取り込めます。読み込むと、モデルは/v1の下のOpenAI互換エンドポイントでローカルに提供されます。

VRAMはどれくらい必要ですか?

4ビット量子化では、パラメータあたり約0.5バイトにKVキャッシュを加算してください。小さなコンテキストの場合、8Bモデルは約5〜6GBに収まりますが、70Bモデルは35GBを大幅に超える容量を必要とします。

アブリテレート済みモデルはオリジナルと同じですか?

いいえ。拒否動作は重みから除去されており、品質や安定性がわずかに変化することがあります。ご自身のプロンプトでビルドをテストしてください。

ホストAPIはOllama互換クライアントと動作しますか?

OpenAIのベースURLとキーを設定できるクライアントはすべて動作します。ベースURL https://api.abliteratedapi.com/v1とモデル uncensoredを使用してください。

キーはフォームを1つ埋めるだけで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得