ollama 本地部署 deepseek-R1

Ollama 是一个开源的 AI 工具,旨在使用户能够本地运行和部署大型语言模型(LLM)。它的目标是提供一个方便且高效的方式,让开发者可以在本地机器上使用像 GPT 这样的模型,而不需要依赖云端服务。Ollama 支持多种模型,并且专注于优化性能,使得即使是资源有限的设备也能顺畅运行这些模型。

通过 Ollama,用户可以使用基于文本的 AI 应用程序,并能够与本地部署的模型进行交互,而无需担心数据隐私或是高昂的 API 使用费用。你可以通过命令行界面(CLI)调用不同的模型,进行自然语言处理、问答等任务。

ollama 适合不同模型尝鲜,windows 版本测试下来,无法充分发挥硬件的性能,可能是因为 windows 版本的原因,linux 版本可能会更好。部署32b参数的模型,内存、显卡负载都有不高的情况下,回复速度很慢。

硬件概述

  • 操作系统:win11
  • CPU:i7-10700K
  • 内存:40GB
  • 显卡:RTX 3060 12GB

环境准备

新增系统环境变量,方便后续使用:

  1. set OLLAMA_MODELS=E:\ollama
    这个变量指定了 Ollama 模型的存放路径。E:\ollama 是一个文件夹路径,表示所有本地模型文件都存储在该目录下。Ollama 会根据这个路径加载和使用你下载或部署的语言模型。你可以将模型文件存放在其他位置,只需要更改这个路径。

  2. set OLLAMA_HOST=127.0.0.1:8000
    这个环境变量设置了 Ollama 服务的主机和端口。

    • 127.0.0.1 是本地地址(localhost),意味着 Ollama 服务会只监听来自本机的请求。
    • 8000 是指定的端口号,表示 Ollama 服务将在 8000 端口上等待和处理请求。你可以根据需要更改端口号,但需要确保该端口没有被其他应用占用。
  3. set OLLAMA_ORIGINS=*
    这个环境变量控制允许哪些来源的请求访问 Ollama 服务。

    • * 表示允许任何来源(即所有域名和 IP 地址)都可以访问 Ollama 服务。这通常用于开发和调试环境,在生产环境中,通常会指定更严格的来源控制,限制只有特定的域或 IP 才能访问你的服务,以提高安全性。

deepseek-R1 模型部署

ollama 安装属于傻瓜式,此处不在赘述。

安装后的校验:

C:\Users\core>ollama -v
ollama version is 0.5.11

模型部署,参考官网模型页面,选择对应参数的模型:ollama run deepseek-r1:14b

14b 参数能有效的记住会话上下文,更小的参数版本,无法记住会话上下文。32b 参数版本,本机部署很卡顿,没有再深入进行测试。

参考资料

Licensed under CC BY-NC-SA 4.0
最后更新于 2025年02月20日 19:25
金融IT程序员的瞎折腾、日常生活的碎碎念
使用 Hugo 构建
主题 StackJimmy 设计