> ## Documentation Index
> Fetch the complete documentation index at: https://docs.soloent.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 로컬 LLM 설정

> 개인정보 보호와 오프라인 액세스를 위해 자신의 컴퓨터에서 AI 모델 실행

<Note>
  이 로컬 LLM에 대한 가이드는 100% AI가 작성했습니다. 실제 사용情况和 요구 사항에 따라 조정하세요.
</Note>

## 왜 로컬 모델을 사용하나요?

<CardGroup cols={2}>
  <Card title="개인정보 보호" icon="shield">
    데이터가 컴퓨터를 떠나지 않음
  </Card>

  <Card title="API 비용 없음" icon="dollar-sign">
    일회성 설정, 무제한 사용
  </Card>

  <Card title="오프라인 액세스" icon="wifi-slash">
    인터넷 연결 없이 작업
  </Card>

  <Card title="완전한 제어" icon="sliders">
    모델 매개변수 사용자 정의
  </Card>
</CardGroup>

## 요구 사항

<Warning>
  로컬 모델은 상당한 하드웨어 리소스가 필요합니다. 권장 최소 사양:

  * **RAM**: 16GB (대형 모델의 경우 32GB 이상)
  * **저장 공간**: 모델당 10-50GB
  * **GPU**: 선택 사항이지만 강력히 권장 (VRAM 8GB 이상의 NVIDIA)
</Warning>

## 인기 있는 솔루션

### Ollama (초보자 권장)

간단한 CLI로 사용하기 쉬운 로컬 모델 러너.

**장점:**

* 간단한 설치
* 자동 모델 관리
* 활발한 커뮤니티
* Apple Silicon 최적화

**추천 모델:**

* Llama 3.1 (8B, 70B)
* Qwen 2.5
* DeepSeek Coder

<Card title="Ollama 설정 가이드" icon="rocket" href="https://ollama.ai">
  다운로드 및 설치 지침
</Card>

### LM Studio

로컬 모델 실행을 위한 GUI가 있는 데스크톱 애플리케이션.

**장점:**

* 사용자 친화적 인터페이스
* 모델 검색 및 다운로드
* 크로스 플랫폼 (Mac, Windows, Linux)
* 내장 채팅 인터페이스

**추천 대상:**

* CLI보다 GUI를 선호하는 사용자
* 여러 모델을 쉽게 테스트
* 빠른 모델 비교

<Card title="LM Studio" icon="desktop" href="https://lmstudio.ai">
  LM Studio 다운로드
</Card>

### vLLM (고급 사용자용)

프로덕션 배포를 위한 고성능 추론 엔진.

**장점:**

* 가장 빠른 추론 속도
* GPU 최적화
* 프로덕션 준비 완료
* API 서버 포함

**추천 대상:**

* 기술 사용자
* 높은 처리량 필요
* 사용자 정의 배포

## SoloEnt 연결

모든 로컬 솔루션은 OpenAI 호환 API를 노출합니다:

<Steps>
  <Step title="로컬 서버 시작">
    선택한 솔루션 (Ollama, LM Studio 등) 실행
  </Step>

  <Step title="SoloEnt에서 설정">
    OpenAI 호환 설정 사용:

    ```plaintext theme={null}
    Base URL: http://localhost:11434/v1  (Ollama 기본값)
    API Key: ollama  (또는 비워두기)
    Model ID: llama3.1  (모델 이름)
    ```
  </Step>

  <Step title="연결 테스트">
    설정을 확인하기 위해 테스트 메시지 전송.
  </Step>
</Steps>

## 용도별 추천 모델

### 글쓰기 및 스토리텔링

| 모델                | 크기   | 필요한 RAM | 품질    |
| ----------------- | ---- | ------- | ----- |
| **Llama 3.1 70B** | 40GB | 64GB+   | 우수    |
| **Qwen 2.5 32B**  | 20GB | 32GB+   | 매우 좋음 |
| **Llama 3.1 8B**  | 5GB  | 16GB+   | 좋음    |

### 중국어 콘텐츠

| 모델               | 크기   | 필요한 RAM | 품질    |
| ---------------- | ---- | ------- | ----- |
| **Qwen 2.5 72B** | 42GB | 64GB+   | 우수    |
| **GLM-4 9B**     | 6GB  | 16GB+   | 매우 좋음 |
| **DeepSeek 67B** | 38GB | 64GB+   | 우수    |

### 코드 및 기술

| 모델                    | 크기   | 필요한 RAM | 품질    |
| --------------------- | ---- | ------- | ----- |
| **DeepSeek Coder V2** | 16GB | 32GB+   | 우수    |
| **CodeLlama 34B**     | 20GB | 32GB+   | 매우 좋음 |
| **Qwen 2.5 Coder 7B** | 4GB  | 8GB+    | 좋음    |

## 성능 최적화

<AccordionGroup>
  <Accordion title="GPU 가속 사용">
    NVIDIA GPU는 추론 속도를 극적으로 향상시킵니다. CUDA가 올바르게 설치되어 있는지 확인하세요.
  </Accordion>

  <Accordion title="적절한 모델 크기 선택">
    큰 모델 ≠ 항상 더 좋음. 7B-13B 모델이 종종 속도/품질 균형에 가장 적합합니다.
  </Accordion>

  <Accordion title="양자화">
    Q4 또는 Q5 양자화 모델을 사용하면 품질 손실을 최소화하면서 메모리 사용량을 줄일 수 있습니다.
  </Accordion>

  <Accordion title="컨텍스트 길이 조정">
    짧은 컨텍스트 윈도우(4K-8K)가 긴 컨텍스트(32K+)보다 빠르게 실행됩니다.
  </Accordion>
</AccordionGroup>

## 일반적인 문제

<AccordionGroup>
  <Accordion title="모델이 너무 느리게 실행됨">
    * 더 작은 모델로 전환 (70B 대신 8B)
    * 양자화 버전 사용 (Q4\_K\_M)
    * GPU 가속 활성화
    * 컨텍스트 윈도우 크기 줄이기
  </Accordion>

  <Accordion title="메모리 부족">
    * 더 작은 모델 선택
    * 다른 애플리케이션 닫기
    * RAM 업그레이드
    * 더 높은 양자화 사용 (Q3, Q4)
  </Accordion>

  <Accordion title="연결 거부">
    * 로컬 서버가 실행 중인지 확인
    * Base URL과 포트 번호 확인
    * 방화벽 차단 여부 확인
    * localhost 대신 [http://127.0.0.1](http://127.0.0.1) 시도
  </Accordion>

  <Accordion title="출력 품질이 낮음">
    * 다른 프롬프트 형식 시도
    * temperature/top\_p 설정 조정
    * 더 크거나 다른 모델로 전환
    * 모델이 해당 언어에 적합한지 확인
  </Accordion>
</AccordionGroup>

## 다음 단계

<CardGroup cols={2}>
  <Card title="API 디렉토리" icon="book-open" href="./api-directory">
    클라우드 API 제공업체 찾아보기
  </Card>

  <Card title="무료 API 키" icon="gift" href="./free-api-keys">
    무료 클라우드 API 액세스 받기
  </Card>
</CardGroup>