最近,DeepSeek的访问出现了不稳定的问题,一个有效的解决方案是进行本地化部署。本地化部署不仅可以避免网络波动带来的影响,还能提供更高的隐私保护和数据安全性。通过本地化部署,用户可以在自己的设备上运行DeepSeek模型,无需依赖外部网络连接,从而实现更稳定、更可靠的使用体验。
今天,乐天就尝试下本地化部署,并分享下自己的经验。
一、安装ollama
Ollama 是一个开源的本地化工具,旨在简化大型语言模型(LLMs)的本地运行和部署。它专注于让用户能够轻松在个人计算机或服务器上运行多种开源语言大模型(如deepseek ,qwen,Llama、Mistral、Gemma等),而无需依赖云端服务或复杂的配置流程。
网址:https://ollama.com/
进入ollama 官网,就可以看到下面的界面,然后点击下载按钮,选择对应系统的版本下载即可,乐天这里使用Windows 版本。
下载安装文件后得到一个 .exe 结尾的执行文件,双击执行,就可以完成ollama的安装。
备注:乐天下载的ollama版本,安装过程没有修改按照目录的选项,只能默认安装在C盘。后续的模型安装也需要不小的空间,需要预留好足够空间,建议至少10GB。
安装完成后,ollama 会自动启动。
打开命令提示符,可通过按下 Win+R 键,输入 “cmd” 并按下回车键,或者在开始菜单中搜索 “命令提示符” 来打开。
在命令提示符中输入命令查看ollama版本,看到这样的回复,就说明 ollama 正常安装了。
二、安装 DeepSeek-R1 模型
1、找到模型
在ollama官网首页的搜索框,点击一下即可看到deepseek-r1在第一个位置,同时还可以看到模型有根据参数分为1.5b,7b,8b,14b,32b,70b,671b等,不同模型参数不同,运行时需要的内存及显存也不同。 我们需要根据自己电脑选择下载对应参数的模型。
2、根据本机配置选择模型
如何不确定适合哪个模型,可以使用AI进行询问进行参考。
我结合本地电脑的配置情况,根据AI的建议,选择了 7b 模型。
3、安装模型
不同模型有不同的安装命令,参考如下:
找到自己选择的模型,复制安装命令 ,然后进行安装。
在命令提示符中,输入复制的安装命令,然后回车就可以了。
执行安装命令后,根据选择的模型大小和网速,大概等十多分钟就安装完成了。在命令提示符看见 success 字样,就说明安装成功了。
然后在命令提示符后输入你的问题,就可以和 DeepSeek 进行交互了。
不过仅在本地部署模型,与模型交互,并没有联网查询的功能。
同时,与模型对话,默认只能在命令行进行提问,交互体验并不友好。可以再安装 Chatbox AI,这是专门与各种模型语言对话的图形化工具。
三、安装配置Chatbox AI
1、安装 Chatbox AI
Chatbox AI 是专门用于与各种语言模型对话的图形化工具,界面友好。
我们访问 [Chatbox AI 官网](https://chatboxai.app/zh),点击下载系统对应的版本。
下载后得到一个 .exe 结尾的执行文件,双击执行进行安装。
安装后,默认会打开 Chatbox AI 软件。
2、配置 Chatbox AI
点击 Chatbox 软件左下角的设置按钮,在“模型”选项卡中依次进行下列配置。
-
模型提供方:选择 “Ollama API”。
-
API域名:填写http://localhost:11434,这是 Ollama 的默认端口。
-
模型名称:填写与部署的 DeepSeek 模型版本严格一致的名称,如deepseek-r1:7b。
在“对话”选项卡中可以进行用户头像、机器人助手头像、新对话默认提升的设置。
设置完毕,点击 “保存”按钮即可。
3、测试
接下来,在左侧点击“新对话”,会自动建立一个新的对话框,就像微信聊天一样,你就可以和机器人助手对话了。
比如,我输入 “给我做一个北京春节3日游”,就得到了下面的回答,体验很流畅。
经过一系列操作,我们成功在本地完成了 DeepSeek-R1 模型的部署。现在,再搭配上交互界面友好的客户端,你就能开启轻松愉悦的 DeepSeek 模型体验之旅,畅享高效智能的对话服务了。
如果觉得文章不错,欢迎随手给个一键三连,你的支持是我更新的莫大动力。
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “?”“”等问题热议不断。
事实上,
继等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 分享出来:包括等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
四、LLM大模型开源教程(LLaLA/meta/chatglm/chatgpt)
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 metaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 包括等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓