クラウドサービスへのデータ送信や高額なAPI利用料に悩まされていませんか？
オープンソースのLLMアプリ開発プラットフォーム「Dify」と、手元のPCで動作する「ローカルLLM」を組み合わせることで、完全にプライベートでコスト効率の高いAI開発環境を構築できます。
この記事では、Windows 11とDockerを使い、DifyからローカルLLMを利用するための手順を、前提知識から具体的な設定、トラブルシューティングまで一貫して分かりやすく解説します。
DifyとローカルLLMを連携させるメリット
本格的な手順に入る前に、なぜこの組み合わせが注目されているのか、その主なメリットを3つ紹介します。
これらの利点を理解することで、導入の目的がより明確になります。
具体的には、セキュリティの強化、コストの最適化、そして自由なカスタマイズ性が挙げられます。
準備するもの：環境構築の前提条件
作業をスムーズに進めるために、あらかじめいくつかのツールを準備しておく必要があります。
主に必要となるのは、コンテナ仮想化プラットフォームの「Docker Desktop」、Windows上でLinux環境を動かすための「WSL (Windows Subsystem for Linux)」、そしてローカルでLLMを動かすためのソフトウェア（例: LMStudioやOllama）です。
これらがインストールされていることを前提として、以降の手順を進めます。
| PCパーツ | 最低限のスペック | 推奨スペック | より快適なスペック |
| GPU (VRAM) | NVIDIA RTX 3050 (8GB) | NVIDIA RTX 3060 (12GB) | NVIDIA RTX 3090 / 4090 (24GB) |
| メインメモリ | 16GB | 32GB | 64GB |
| CPU | Core i5 / Ryzen 5 | Core i7 / Ryzen 7 | Core i9 / Ryzen 9 |
| ストレージ | 512GB SSD | 1TB NVMe SSD | 2TB以上 NVMe SSD |
SARAMIのPC環境のスペックをご紹介します。
このスペックを活かして、実際にどのような作業が可能なのか、今後詳しくレビューしていく予定です。
ステップ1：ローカルLLMサーバーのセットアップ（LMStudio/Ollama/DockerDesktop）
お使いのPC上で大規模言語モデル（LLM）をサーバーとして起動します。
「LMStudio」や「Ollama」といったツールが便利です。
ツールをインストールした後、使いたいLLMモデル（例: Llama 3, ELYZA-JP）をダウンロードし、内蔵のサーバー機能を起動してください。
このサーバーが、Difyからのリクエストを受け付ける窓口となります。
Docker DesktopにローカルAI機能が追加されましたね。
これで開発の選択肢がまた一つ増えました。
個別に環境を構築してリソースを消費するよりも、Docker Desktopを活用する方が効率的かもしれません。
- Enable Docker AI
Docker AIを有効にします。これを有効にするにはDockerへのサインインが必要です。 - Enable Docker Model Runner
Docker Model Runnerを有効にします。これにより、GPUアクセラレーションを利用した推論エンジンが有効になります。
サブオプション
Enable host-side TCP support：ホスト側からのTCP接続を許可します。
Enable GPU-backed inference：GPUを使用した推論を有効にします。
有効にすると、追加のコンポーネントが~/.docker/bin/inferenceにダウンロードされます。 - Enable Docker MCP Toolkit
Docker Desktopで「MCP Toolkit」機能を有効にします。 - Enable Wasm, requires the containerd image store
WebAssembly (Wasm) のランタイムをインストールし、Wasmワークロードを実行できるようにします。この機能はcontainerdイメージストアを使用することが前提条件です。 - Enable Compose Bridge command line
Compose Bridgeコマンドラインツールを有効にします。
ステップ2：Difyのローカル環境へのインストール
次に、Dify本体をローカル環境にセットアップします。
DifyはDockerを利用したインストール方法を公式に提供しており、これを使うのが最も簡単です。
公式のGitHubリポジトリからDifyのソースコードをクローンし、ターミナルで `docker-compose up -d` コマンドを実行するだけで、DifyのWebアプリケーションが起動します。
ステップ3：DifyにローカルLLMを登録・設定する
Difyが起動したら、Webブラウザでアクセスし、初期設定を済ませます。
その後、設定メニューから「モデルプロバイダー」を選択し、先ほどステップ1で起動したローカルLLMサーバーを登録します。
モデル名、サーバーのURL（WSLのIPアドレスなど）、APIキー（不要な場合も多い）といった情報を入力して接続を確立します。
ステップ4：動作確認！チャットアプリを作成してみる
接続が完了したら、実際にローカルLLMが使えるか試してみましょう。
Difyのダッシュボードから新しいアプリを作成し、モデルとして先ほど登録したローカルLLMを選択します。
簡単なチャット形式のアプリを作成し、いくつか質問を投げてみて、意図した通りにモデルから応答が返ってくることを確認できれば、セットアップは成功です。
よくある質問とトラブルシューティング
ローカル環境での設定では、特有の問題が発生することがあります。
例えば、「DifyからローカルLLMに接続できない」という問題は、多くの場合、WSLのIPアドレスを正しく指定できていないことが原因です。
WSLのターミナルで ip a コマンドを実行してIPアドレスを確認し、Difyの設定に正確に入力してください。また、ファイアウォールが通信をブロックしていないかも確認しましょう。
まとめ：自分だけのAI開発環境を構築しよう
DifyとローカルLLMを連携させ、プライベートなAI開発環境を構築する手順を解説しました。
この構成により、データセキュリティを確保しつつ、APIコストを気にすることなく、自由にモデルのカスタマイズやアプリケーション開発を行えます。
ぜひこのガイドを参考に、あなただけの強力なAI開発基盤を手に入れてください。