本地部署并运行DeepSeek


1.1 为什么要在本地部署DeepSeek

在本地搭建大模型(如DeepSeek)具有多个重要的优势,比如:

  1. 保护隐私与数据安全。数据不外传:本地运行模型可以完全避免数据上
    传至云端,确保敏感信息不被第三方访问。
  2. 可定制化与优化。支持微调(Fine-tuning):可以根据特定业务需求对模
    型进行微调,以适应特定任务,如行业术语、企业内部知识库等。
  3. 离线运行,适用于无网络环境。可在离线环境下运行:适用于无互联网
    连接或网络受限的场景。提高系统稳定性:即使云服务宕机,本地大模型依
    然可以正常工作,不受外部因素影响。

1.2 DeepSeek 本地部署三个步骤

一共只需要三步,就能做到DeepSeek 在本地运行并与它对话。

  • 第一步,下载并安装ollama
    Ollama:是一个人工智能和机器学习工具平台,主要用于在本地电脑运行大型语言模型(LLM),能自动识别并利用 Windows 系统中的最优硬件资源,支持接入完整的 ollama 模型库,提供多种模型用于文本分析等 AI 任务,还设有常驻 API 以便将 AI 功能整合到其他应用中。
    使用ollama 管理各种不同大模型,ollama 比较直接、干净,一键下载后安装就行,安装过程基本都是下一步。
    安装后,打开命令窗口,输入ollama,然后就能看到它的相关指令,如下图所示:

  • 第二步,下载模型
    命令窗口输入:ollama pull deepseek-r1:1.5b,下载大模型deepseek-r1

    至此DeepSeek大模型就下载到我们本地电脑
    ollama支持的模型可以从此页面进行查看
  • 第三步,运行大模型
    在cmd(Windows) 或terminal(Mac) 执行命令:ollama run deepseek-r1:1.5b,很快就能进入对话界面:

    Mac-mini ~ % ollama run deepseek-r1:1.5b
    >>> Send a message (/? for help)

DeepSeek 本地运行使用演示

上面步骤搭建完成后,接下来提问DeepSeek一个问题:ollama和comfyui的区别?,下面是它的回答,首先会有一个think标签,这里面嵌入的是它的思考过程,不是正式的回复:

等我们看到另一个结束标签 think 后,表明它的思考已经结束,下面一行就是正式回答

声明:初心|版权所有,违者必究|如未注明,均为原创|本网站采用BY-NC-SA协议进行授权

转载:转载请注明原文链接 - 本地部署并运行DeepSeek


愿你勿忘初心,并从一而终