> ## Documentation Index
> Fetch the complete documentation index at: https://docs.soloent.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# ローカルLLMセットアップ

> プライバシーとオフラインアクセスのために自分のコンピュータでAIモデルを実行

<Note>
  このローカルLLMに関するガイドは100% AIによって作成されました。実際の使用状況と要件に基づいて調整してください。
</Note>

## なぜローカルモデルを使うのか？

<CardGroup cols={2}>
  <Card title="プライバシー" icon="shield">
    データがコンピュータから出ることがない
  </Card>

  <Card title="API費用なし" icon="dollar-sign">
    一度のセットアップで無制限の使用
  </Card>

  <Card title="オフラインアクセス" icon="wifi-slash">
    インターネット接続なしで作業
  </Card>

  <Card title="完全な制御" icon="sliders">
    モデルパラメータをカスタマイズ
  </Card>
</CardGroup>

## 要件

<Warning>
  ローカルモデルには大幅なハードウェアリソースが必要です。推奨最小要件：

  * **RAM**: 16GB（大きなモデルには32GB以上）
  * **ストレージ**: モデル1つあたり10-50GB
  * **GPU**: オプションですが強く推奨（VRAM 8GB以上のNVIDIA）
</Warning>

## 人気のソリューション

### Ollama（初心者にお勧め）

シンプルなCLIで使いやすいローカルモデルランナー。

**メリット：**

* 簡単なインストール
* 自動モデル管理
* 活発なコミュニティ
* Apple Siliconに最適化

**おすすめモデル：**

* Llama 3.1（8B、70B）
* Qwen 2.5
* DeepSeek Coder

<Card title="Ollamaセットアップガイド" icon="rocket" href="https://ollama.ai">
  ダウンロードとインストール手順
</Card>

### LM Studio

ローカルモデル実行用のGUI付きデスクトップアプリケーション。

**メリット：**

* ユーザーフレンドリーなインターフェース
* モデルの探索とダウンロード
* クロスプラットフォーム（Mac、Windows、Linux）
* 内蔵チャットインターフェース

**おすすめ用途：**

* CLIよりGUIを好むユーザー
* 複数のモデルを簡単にテスト
* モデルの素早い比較

<Card title="LM Studio" icon="desktop" href="https://lmstudio.ai">
  LM Studioをダウンロード
</Card>

### vLLM（上級者向け）

本番デプロイメント向けの高性能推論エンジン。

**メリット：**

* 最速の推論速度
* GPU最適化
* 本番対応
* APIサーバー付き

**おすすめ用途：**

* 技術ユーザー
* 高スループットニーズ
* カスタムデプロイメント

## SoloEntへの接続

すべてのローカルソリューションはOpenAI互換APIを公開しています：

<Steps>
  <Step title="ローカルサーバーを起動">
    選択したソリューション（Ollama、LM Studioなど）を起動
  </Step>

  <Step title="SoloEntで設定">
    OpenAI互換設定を使用：

    ```plaintext theme={null}
    Base URL: http://localhost:11434/v1  (Ollamaデフォルト)
    API Key: ollama  (または空白)
    Model ID: llama3.1  (あなたのモデル名)
    ```
  </Step>

  <Step title="接続テスト">
    テストメッセージを送信して設定を確認。
  </Step>
</Steps>

## 用途別おすすめモデル

### 執筆・ストーリーテリング

| モデル               | サイズ  | 必要なRAM | 品質    |
| ----------------- | ---- | ------ | ----- |
| **Llama 3.1 70B** | 40GB | 64GB+  | 優秀    |
| **Qwen 2.5 32B**  | 20GB | 32GB+  | 非常に良い |
| **Llama 3.1 8B**  | 5GB  | 16GB+  | 良い    |

### 中国語コンテンツ

| モデル              | サイズ  | 必要なRAM | 品質    |
| ---------------- | ---- | ------ | ----- |
| **Qwen 2.5 72B** | 42GB | 64GB+  | 優秀    |
| **GLM-4 9B**     | 6GB  | 16GB+  | 非常に良い |
| **DeepSeek 67B** | 38GB | 64GB+  | 優秀    |

### コード・技術

| モデル                   | サイズ  | 必要なRAM | 品質    |
| --------------------- | ---- | ------ | ----- |
| **DeepSeek Coder V2** | 16GB | 32GB+  | 優秀    |
| **CodeLlama 34B**     | 20GB | 32GB+  | 非常に良い |
| **Qwen 2.5 Coder 7B** | 4GB  | 8GB+   | 良い    |

## パフォーマンス最適化

<AccordionGroup>
  <Accordion title="GPUアクセラレーションを使用">
    NVIDIA GPUは推論速度を劇的に向上させます。CUDAが正しくインストールされていることを確認してください。
  </Accordion>

  <Accordion title="適切なモデルサイズを選択">
    大きいモデル ≠ 常により良い。7B-13Bモデルは多くの場合、速度と品質のバランスが最適です。
  </Accordion>

  <Accordion title="量子化">
    Q4またはQ5量子化モデルを使用すると、品質の低下を最小限に抑えてメモリ使用量を削減できます。
  </Accordion>

  <Accordion title="コンテキスト長を調整">
    短いコンテキストウィンドウ（4K-8K）は長いコンテキスト（32K+）より高速に動作します。
  </Accordion>
</AccordionGroup>

## よくある問題

<AccordionGroup>
  <Accordion title="モデルの動作が遅すぎる">
    * より小さいモデルに切り替え（70Bではなく8B）
    * 量子化バージョンを使用（Q4\_K\_M）
    * GPUアクセラレーションを有効化
    * コンテキストウィンドウサイズを縮小
  </Accordion>

  <Accordion title="メモリ不足">
    * より小さいモデルを選択
    * 他のアプリケーションを閉じる
    * RAMをアップグレード
    * より高い量子化を使用（Q3、Q4）
  </Accordion>

  <Accordion title="接続が拒否される">
    * ローカルサーバーが実行中か確認
    * Base URLとポート番号を確認
    * ファイアウォールでブロックされていないか確認
    * localhostの代わりに[http://127.0.0.1を試す](http://127.0.0.1を試す)
  </Accordion>

  <Accordion title="出力品質が悪い">
    * 異なるプロンプト形式を試す
    * temperature/top\_p設定を調整
    * より大きいまたは異なるモデルに切り替え
    * モデルがあなたの言語に適しているか確認
  </Accordion>
</AccordionGroup>

## 次のステップ

<CardGroup cols={2}>
  <Card title="APIディレクトリ" icon="book-open" href="./api-directory">
    クラウドAPIプロバイダーを閲覧
  </Card>

  <Card title="無料APIキー" icon="gift" href="./free-api-keys">
    無料クラウドAPIアクセスを取得
  </Card>
</CardGroup>