[Share Experiences] 老机也有春天:记E5U+deepin+ollama 安装deepseek 大模型
Tofloor
poster avatar
刘政
deepin
2025-02-05 13:45
Author

先上个图:

心得如下:
截图_选择区域_20250205133134.png

1.deepseek 最近大火,想尝试以下部署大模型。win11下i5 12th +GTX3060 +LLMstudio 部署效果不错。听说deepseek对配置要求不高,寻思在E5U+deepin+ollama 安装deepseek 大模型。

2.官网:https://ollama.com/download 下的curl -fsSL https://ollama.com/install.sh | sh 下载太慢,老是断网。也认真学习了https://bbs.deepin.org/post/275441帖子,网速一般。最后寻找到https://www.modelscope.cn/models/gfunsAi/ollama-linux 下载ollama 可达满速。

3.先部署7B模型,后续再测试1.5B,和14B模型。😁

Reply Favorite View the author
All Replies
我白说了
deepin
2025-02-05 13:57
#1

求楼主出个deepin部署deepseek的教程

Reply View the author
星辰使者
deepin
2025-02-05 16:22
#2

离线的?

Reply View the author
raspbian
deepin
2025-02-05 18:17
#3

通义千问的蒸馏模型 聊胜于无

不过也能让你学会安装Nvidia闭源驱动和对应的cuda版本

也算有所收获了

Reply View the author
刘政
deepin
2025-02-05 19:28
#4
星辰使者

离线的?

是的,下一次希望能在deepin UOSAI中使用的deepseek😁

Reply View the author
刘政
deepin
2025-02-05 19:30
#5
我白说了

求楼主出个deepin部署deepseek的教程

https://bbs.deepin.org/post/275441 这位老兄写的很详细,我就不班门弄斧了😁

Reply View the author
catubibu
deepin
2025-02-06 09:59
#6

没必要,我看了一个帖子,本地装满血版800G内存,每秒输出4个token

也可以装cherry studio或者chatboxai一类的AI聚合工具,申请百度,硅基流动之类的api,将就算有了个私有环境的ai模型了。 我v23装了cherry studio, chatboxai用的网页版,都没问题。

Reply View the author
jmjoy
deepin
2025-02-06 10:06
#7

使用ollama就是傻瓜化安装,尝尝鲜而已,想用满血模型,普通的家用机器做不到。

Reply View the author