Ollamaは、大規模言語モデル（LLM）をローカルで実行およびデプロイすることを目的としたオープンソースのAIツールです。クラウドサービスへの依存なしに、開発者がローカルマシン上でGPTのようなモデルを使用するための簡単なかつ効率的な方法を提供することを目指しています。Ollamaは複数のモデルに対応し、パフォーマンスを最適化することで、リソースが限られたデバイスでもこれらのモデルをスムーズに実行できるように設計されています。

Ollamaを使用すると、ユーザーはテキストベースのAIアプリケーションを利用でき、ローカルでデプロイされたモデルとインタラクトすることができ、データプライバシーやAPIの使用料金に関する懸念なく、自然言語処理や質問応答などのタスクを実行できます。コマンドラインインターフェース（CLI）を通じて異なるモデルを呼び出し、これらのタスクを実行できます。

ollamaは様々なモデルを試すのに適しており、Windows版のテストではハードウェアの性能を十分に発揮できなかった可能性があります。これはWindows版の問題かもしれません。Linux版の方が良い結果が得られる可能性があります。32bパラメータのモデルをデプロイし、メモリとGPU負荷が低い場合に、応答速度が遅いことが確認されました。

ハードウェア概要

• オペレーティングシステム: Windows 11
• CPU: i7-10700K
• メモリ: 40GB
• グラフィックカード: RTX 3060 12GB

環境準備

以下のシステム環境変数を設定し、後続の使用を容易にします：

1. set OLLAMA_MODELS=E:\ollama この変数で Ollama モデルの保存場所を指定します。 E:\ollama はフォルダパスであり、ダウンロードまたはデプロイしたローカルモデルファイルをすべてここに格納します。Ollama はこのパスに基づいてモデルをロードおよび使用します。モデルファイルの保存場所を変更する場合は、このパスを更新してください。

2. set OLLAMA_HOST=127.0.0.1:8000 Ollama サービスのホストとポートを設定します。

   • 127.0.0.1 はローカルアドレス（localhost）であり、Ollama サービスは本機からのリクエストのみを待ち受けます。
   • 8000 は指定するポート番号であり、Ollama サービスが 8000 ポートでリクエストを受信および処理します。必要に応じてポート番号を変更できますが、他のアプリケーションで使用されていないことを確認してください。

3. set OLLAMA_ORIGINS=* Ollama サービスへのアクセスを許可するオリジン（ソース）を制御します。

   • * はすべてのオリジン（つまり、すべてのドメインと IP アドレス）が Ollama サービスにアクセスできることを意味します。これは通常、開発およびデバッグ環境で使用されます。本番環境では、セキュリティを高めるために、特定のドメインまたは IP アドレスのみを許可するようにより厳格なオリジン制御を設定することが一般的です。

DeepSeek-R1 モデルのデプロイ

ollama のインストールは、初心者向けで簡単なため、詳細は省略します。 インストール後の検証：

C:\Users\core>ollama -v
ollama version is 0.5.11

モデルのデプロイについては、公式ウェブサイトのモデルページを参照し、対応するパラメータのモデルを選択してください: ollama run deepseek-r1:14b 14b パラメータは会話コンテキストを効果的に記憶でき、より小さなパラメータバージョンではコンテキストを記憶できません。32b パラメータバージョンは、ローカルでのデプロイ時に非常に遅延するため、詳細なテストは行っていません。

参考文献

• https://www.ollama.com/library/deepseek-r1
• https://mp.weixin.qq.com/s/SPEvYTmTBxhoEkJqm1yPmw
• https://blog.csdn.net/x18990027/article/details/145368094