KO ▾

Ollama의 무검열 모델 vs 호스팅 API

무검열 모델 ollama를 검색한다는 것은 보통 한 가지 의미입니다: 거부 없이 답변하는 모델을 원하고, 이를 자신의 머신에서 실행하고 싶다는 것입니다. 이는 가능하지만, 이 글은 메모리, 시간 및 유지보수 비용을 분석하고 호스팅 OpenAI 호환 엔드포인트와 비교합니다.

업데이트됨

로컬과 호스팅 LLM 설정을 비교하는 저울 위의 로컬 GPU와 클라우드 서버
호스팅된 API 서버에 빛나는 케이블로 연결된 채팅 인터페이스, Open WebUI 연결을 나타냄

주요 포인트

  • Ollama는 무검열 가중치를 로컬에서 실행하고 포트 11434에서 OpenAI 스타일의 엔드포인트를 노출합니다.
  • 디스크 공간이 아닌 VRAM이 먼저 제한 사항이 됩니다. 양자화는 품질을 메모리와 교환합니다.
  • 호스팅 API는 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이므로 소규모 앱의 월 비용은 $12.75입니다.
  • 두 경로 모두 동일한 채팅 완성 형식을 사용하므로 전환은 두 줄의 변경으로 끝납니다.

무검열의 의미와 Ollama의 역할

무검열은 가중치 수정입니다. 연구자는 요청 거부와 상관관계가 있는 모델 활성화 방향을 찾아 가중치에서 제거합니다. 결과물은 거절하는 대신 답변하는 경향이 있는 모델이 됩니다. 재학습이 아니므로 모델의 일반 기술은 유지되며, 품질은 어느 쪽으로든 약간 달라질 수 있습니다.

Ollama는 로컬 런타임입니다. 모델을 가져오면 가중치를 다운로드하고 http://localhost:11434에서 제공합니다. 서버는 또한 /v1 아래에 OpenAI 호환 경로를 제공하므로, 대부분의 채팅 프론트엔드와 SDK가 이를 사용할 수 있습니다. 커뮤니티 구성원들은 인기 있는 오픈 모델의 무검열 빌드를 보통 GGUF 파일 형식으로 게시하며, Ollama는 이를 가져올 수 있습니다.

따라서 파이프라인은 간단합니다. 빌드를 찾고, 가져오고, 클라이언트를 로컬로 지정합니다. 어려운 부분은 명령어가 아닙니다. 하드웨어와 그 이후의 관리입니다.

무검열 모델을 로컬에서 단계별로 실행

먼저 공식 사이트에서 Ollama를 설치합니다. 그런 다음 이름으로 게시된 빌드를 가져오거나 직접 다운로드한 GGUF 파일을 가져옵니다.

  1. 게시된 빌드를 가져옵니다. ollama pull some-user/some-abliterated-model (이름은 예시이며, 신뢰할 수 있는 모델을 검색하세요).
  2. 또는 GGUF 파일을 가져옵니다: 첫 줄이 FROM ./model.Q4_K_M.gguf인 Modelfile을 작성한 후, ollama create my-abliterated -f Modelfile을 실행하세요.
  3. ollama run my-abliterated로 터미널에서 채팅을 시작합니다.

코드에서 호출하려면 로컬 베이스 URL이 있는 모든 OpenAI 클라이언트를 사용하세요. 키는 Ollama가 기본적으로 확인하지 않으므로 빈 문자열이 아닌 아무 문자열이나 사용할 수 있습니다.

from openai import OpenAI

# local Ollama
local = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# hosted endpoint: https://api.abliteratedapi.com/v1 with model "uncensored"
hosted = OpenAI(base_url="https://api.abliteratedapi.com/v1", api_key="YOUR_KEY")

r = local.chat.completions.create(
    model="my-abliterated",  # hosted: "uncensored"
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
)
print(r.choices[0].message.content)

이것이 실행되면 로컬 설정이 작동합니다. 스니펫의 두 번째 클라이언트가 이미 호스팅 엔드포인트를 가리킨다는 점에 유의하세요. 이 글의 나머지 부분은 언제 이것이 더 나은 선택인지 설명합니다. 먼저 로컬이 유용한지 여부를 결정하는 부분인 메모리, 속도 및 유지보수를 다룹니다.

VRAM, 속도와 양자화의 트레이드오프

모델은 유용한 속도로 실행하기 위해 빠른 메모리에 맞아야 합니다. 대략적인 규칙은 다음과 같습니다: 4비트 양자화 시 매개변수당 약 0.5바이트가 필요하므로, 8B 모델은 가중치에 약 4~5GB가 필요하고, 70B 모델은 약 35~40GB가 필요합니다. 컨텍스트 길이에 따라 증가하는 KV 캐시를 위한 공간도 추가해야 합니다. 긴 프롬프트는 몇 GB의 추가 메모리를 차지할 수 있습니다.

모델이 GPU 메모리에 맞지 않으면 Ollama는 레이어를 시스템 RAM과 CPU로 내보냅니다. 여전히 답변하지만 생성 속도가 크게 느려집니다. 24GB 카드에서 큰 모델로 초당 2개의 토큰을 보는 사람들은 보통 이 상황에 있습니다.

  • 더 작은 모델: 쉽게 맞고, 빠르게 답변하며, 길고 미묘한 장면에서는 덜 잘 씁니다.
  • 더 낮은 비트 양자화: 메모리를 절약하지만 일관성을 희생합니다. Q4는 일반적인 중간 지점이며, Q2와 Q3은 종종 눈에 띄는 손상을 보입니다.
  • 더 짧은 컨텍스트: 캐시 메모리를 절약합니다. 많은 로컬 설정은 속도를 유지하기 위해 8K 또는 16K 토큰에서 실행됩니다.

무검열은 하나의 더 많은 변수를 추가합니다. 가중치가 수정되었으므로 빌드는 원본보다 약간 덜 안정적일 수 있으며, 더 많은 산만함이나 이상한 반복이 발생할 수 있습니다. 의존하기 전에 자신의 프롬프트로 모든 빌드를 테스트하세요.

튜토리얼에서 다루지 않는 유지보수

로컬은 토큰당 무료이지만 작업이 무료는 아닙니다. 다음에 시간을 투자해야 합니다:

  • 빌드 선택하기. 다양한 기본 모델, 방법 및 양자화를 가진 무검열 업로드가 많습니다. 카드 설명을 읽고, 라이선스를 확인하며, 출력을 테스트하는 것이 당신의 역할입니다.
  • 업데이트. 새로운 기본 모델이 나타나고 런타임이 기본값을 변경하며, 작동하던 빌드가 Ollama 업그레이드 후 다르게 동작할 수 있습니다.
  • 동시성. 하나의 GPU는 하나 또는 두 개의 요청을 잘 처리합니다. 세 명의 사용자가 동시에 채팅하면 대기열에 서 있습니다.
  • 가용성. 앱은 머신이 실행되는 동안만 실행됩니다. 절전 모드가 있는 노트북은 봇을 오프라인 상태로 만듭니다.
  • 출력 주변의 안전성. 거부 없는 모델은 접근 권한에 대한 자체 규칙이 필요합니다. 합법적인 성인 사용에 한정하고, 미성년자가 관련된 어떤 것과도 가까이 두지 마세요.

또 다른 비용은 주의력입니다. 응답이 잘못 보이면 프롬프트, 양자화, 템플릿 또는 빌드 중 어디가 문제인지 파악해야 합니다. 호스팅된 엔드포인트를 사용하면 프롬프트는 여전히 디버깅하지만 모델 파일과 런타임은 당신의 책임이 아닙니다. 어떤 빌드, 양자화 및 설정이 좋은 결과를 생성했는지 짧은 로그를 유지하세요. 1개월이면 잊어버릴 것입니다.

이것들이 로컬을 피해야 할 이유는 아닙니다. 좋은 GPU를 보유하고 있고 튜닝을 좋아한다면 훌륭한 취미이며 완전한 프라이버시를 제공합니다. 질문은 다른 사람들이 사용하는 앱에 대한 가장 저렴한 경로인지 여부입니다.

호스팅 대안과 월별 비용 견적

호스팅 옵션은 합법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 조정된 하나의 오픈 웨이트 모델을 제공하는 OpenAI 호환 엔드포인트입니다. 모델 uncensored로 POST /v1/chat/completions에 요청을 보냅니다. 텍스트 전용이며 100,000 토큰 컨텍스트 창, 스트리밍 및 함수 호출을 지원합니다. 이는 어떤 모델 벤더의 공식 API가 아닙니다. 전체 메서드 목록은 API 문서를 참조하세요.

가격은 선불 크레딧 기준 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 구독이 없습니다. 실패하거나 거부된 요청은 요금이 부과되지 않으며 크레딧은 만료되지 않습니다. 하루 1,000회 요청, 평균 1,500개 입력 토큰 및 400개 출력 토큰을 가진 작은 채팅 앱의 견적입니다:

항목하루 토큰 수요금하루 비용
입력1,000 x 1,500 = 1.5M100만 개당 $0.15$0.225
출력1,000 x 400 = 0.4M100만 개당 $0.50$0.20
합계$0.425

30일 동안 이는 $12.75입니다. 전력, 하드웨어 공유 및 로컬 박스를 위한 자신의 시간과 비교하세요. 이미 GPU를 보유하고 있다면 로컬이 여전히 현금 면에서 이깁니다. 구매하거나 임대해야 한다면 이 숫자와 현재 임대 견적을 비교하세요. 요금제 페이지에는 $20부터 시작하는 충전과 $50부터 보너스가 추가되는 내용이 나열되어 있습니다.

동일한 클라이언트로 호스팅 엔드포인트 호출

Ollama와 호스팅 API 모두 채팅 완성 형식을 사용하므로 위에 작성한 코드는 거의 변경되지 않습니다. 베이스 URL, 키 및 모델 이름을 바꿉니다:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedapi.com/v1",
    api_key="YOUR_KEY",
)
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Outline a heist scene for my novel."}],
    stream=False,
)
print(r.choices[0].message.content)

실용적인 패턴은 둘 다 유지하는 것입니다. 오프라인 상태이거나 프롬프트를 테스트할 때는 로컬 Ollama에서 개발하고, 프로덕션 트래픽을 호스팅 엔드포인트로 보냅니다. 베이스 URL을 환경 변수에서 읽고 앱의 다른 부분은 이를 알 필요가 없습니다.

새 계정은 API 키 페이지에서 한 번의 클릭으로 $0.50의 체험 크레딧을 청구할 수 있으며, 이는 7일 동안 유효하고 신용카드가 필요 없습니다. 제한 사항을 확인하세요: 체험 키는 동시 요청 2개와 분당 60개의 요청을 허용하며, 전체 키는 8개와 300개를 허용합니다. API 속도 제한에 대한 글은 429 응답 처리 방법을 설명합니다.

선택 방법

이미 충분한 메모리가 있는 GPU를 보유하고 있고, 데이터를 머신에 유지하고 싶으며, 대형 모델의 느린 생성을 용인하거나 프로젝트가 개인적인 경우 로컬 Ollama를 선택하세요. 다른 사람들이 앱을 사용하고, 여러 요청을 동시에 처리해야 하거나, 메모리를 구매하지 않고 100K 컨텍스트를 원하거나, 모델 파일을 유지보수하고 싶지 않은 경우 호스팅 엔드포인트를 선택하세요.

간단한 테스트: 이번 달에 설정에 보낸 시간을 세고 그 가치에 가격을 매겨보세요. 취미의 경우 이 숫자는 즐기기 때문에 0입니다. 사용자가 있는 제품의 경우 이는 실제 돈이며 몇 달러의 토큰당 청구금이 더 작을 수 있습니다. 실패 사례도 고려하세요. 가정용 머신이 밤에 재부팅되면 호스팅 엔드포인트는 계속 답변하지만 로컬 서버는 그렇지 않습니다.

두 가지는 상호 배타적이지 않으며 호스팅 체험을 시도하는 것은 비용이 없습니다. 동일한 10개의 프롬프트를 두 경로 모두에 실행하고 답변과 보낸 시간을 비교하세요.

질문과 답변

Ollama가 무검열 모델을 실행할 수 있나요?

네. Ollama는 게시된 빌드를 가져오거나 다운로드한 GGUF 파일을 가져올 수 있습니다. 로드되면 모델은 /v1 아래에 OpenAI 호환 경로로 로컬에서 제공됩니다.

얼마나 많은 VRAM이 필요한가요?

4비트 양자화 시, 매개변수당 약 0.5바이트와 KV 캐시를 고려하세요. 8B 모델은 적당한 컨텍스트로 약 5~6GB에 맞지만, 70B 모델은 35GB를 훨씬 초과하는 메모리가 필요합니다.

무검열 모델이 원래 모델과 동일한가요?

아니요. 거부 동작이 가중치에서 제거되며, 품질이나 안정성이 약간 달라질 수 있습니다. 자신의 프롬프트로 빌드를 테스트해 보세요.

호스팅된 API는 Ollama 호환 클라이언트와 작동하나요?

OpenAI 기본 URL과 키를 설정할 수 있는 클라이언트는 모두 작동합니다. 기본 URL로 https://api.abliteratedapi.com/v1을 사용하고 모델은 uncensored를 사용하세요.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기