可以看看置顶评论,在原来的路径下看看模型文件是不是三个,如果不是的话,重新拷贝一遍。可能是这次23更新时出现了文件清理或丢失,研发会定位修复。
检查过文件是齐的,也重新拷贝过两次,都不行。
可以看看置顶评论,在原来的路径下看看模型文件是不是三个,如果不是的话,重新拷贝一遍。可能是这次23更新时出现了文件清理或丢失,研发会定位修复。
检查过文件是齐的,也重新拷贝过两次,都不行。
不能自定义参数吗?比如最大输出长度?对于本地部署来说,输出太长的话会太慢
不能自定义参数吗?比如最大输出长度?对于本地部署来说,输出太长的话会太慢
目前UOS AI本身不支持直接调整参数,需要到模型文件的config里面调整。ollama默认是2048,当前UOS AI用的1.5B模型默认是8192,推荐值有2048、4096、8192、最多16384。但是调太大了可能会爆内存,具体看机器配置。temp也可以自行调整,不过太高大模型会很发散。
Error transferring https://api.siliconflow.cn/v1/chat/completions - server replied: Gateway Timeout
昨天用可以,今天提问后没有输出。
点击左下角的扫帚符号清理一下缓存试试
学习了
点击左下角的扫帚符号清理一下缓存试试
今天再用又有输出了。 应该不关这个清除的事,我一直都是先清除再开始新对话。
Error transferring https://api.siliconflow.cn/v1/chat/completions - server replied: Gateway Timeout
硅基现在用的人也很多,扛不住啦
没有接入GPU吗,本地模型感觉很慢
有适配的更大的模型吗?1.5B这个总是卡住
我是Intel ultra 125H ,用的 deepseek-r1-7b-q8 大模型,比1.5B好用,但是生成会很慢,
我让1.5b 用 ts 语法写一段冒泡排序的语法,他就死循环了,相比之下还是7B 好用一点
7B这个有deepin的适配吗?在哪可以下载呢?
没有接入GPU吗,本地模型感觉很慢
这是为了照顾当前主流用户,仅提供了通用版本本地大模型,1.5B目前是少有的不太依赖GPU的本地模型,再大就得40往上的显卡了,普通电脑跑不起来。如果想要满血版体验,可以选择在线接入方式。
有适配的更大的模型吗?1.5B这个总是卡住
这是为了照顾当前主流用户,仅提供了通用版本本地大模型,1.5B目前是少有的不太依赖GPU的本地模型,再大就得40往上的显卡了,普通电脑跑不起来。您这1.5B都已经卡了,再往上电脑更扛不住的。😂
如果想要满血版体验,可以选择在线接入方式。
7B这个有deepin的适配吗?在哪可以下载呢?
目前仅适配了1.5B,为了照顾当前主流用户,仅提供了通用版本本地大模型,1.5B目前是少有的不太依赖GPU的本地模型,再大就得40往上的显卡了,普通电脑跑不起来。如果想要满血版体验,可以选择在线接入方式。
文件的地址可以自己定义吗??
出现“连接失败,请检查是否连接了互联网,或稍后再试。”的用户们可以去大模型拷贝的路径下看看最底层文件夹里是不是三个文件都齐全,如果出现某一个文件缺失,都会出现这样的提示;可以将从网盘下载的完整文件再重新拷贝一遍,重启UOS AI即可恢复正常。
/home/用户名/.local/share/deepin-modelhub/models
基本上是因为解压时多了一层文件夹!
基本上是因为解压时多了一层文件夹!
55楼,我发了
glmos-code-explain
但是日期时间还是23年,能怎么让它联网到现在呢,然后搭建个人知识库
Popular Events
More
DeepSeek 大模型自发布以来吸引了众多用户关注,为了让 deepin 用户更好地体验这一前沿技术,UOS AI 现已适配接入 DeepSeek-R1 端侧模型!无需忍受服务器崩溃,两步即可在本地独享DeepSeek-R1模型带来的震撼体验。
本次,我们为大家提供了「离线部署」和「在线接入」两种方式在UOS AI 中使用 DeepSeek-R1 模型,大家可根据自身设备及网络环境等情况自行选择:
注:离线部署方式仅支持 deepin 23、deepin 25 Preview系统使用;在线接入方式支持 UOS V20、deepin 20.9、deepin 23、deepin 25 Preview系统使用。
方法一:UOS AI 离线部署DeepSeek-R1 1.5B 模型
Step 1:更新 UOS AI 及向量化模型插件
若您正在使用deepin 23,可从应用商店更新 UOS AI 至最新版。
若您正在使用 deepin 25 Preview,请通过以下命令升级 UOS AI 至最新版,应用商店稍晚些时候更新。
更新完成后,打开 UOS AI 的「设置」选项,在「模型配置-本地模型」中选择「向量化模型插件-安装/更新」,在自动跳转到应用商店界面后,点击安装/更新即可。
Step 2:安装 DeepSeek-R1 模型 GGUF 版本
UOS AI 的模型后端驱动框架是基于 llama.cpp,大家可直接在魔搭社区找到 DeepSeek-R1 的 GGUF 版本。
这里我们将以最通用且便捷的 1.5B 模型为例,其模型大小适中,对硬件配置要求不高,仅需 CPU 即可实现流畅推理。(若您正在使用 CUDA 推理,可以等后续 deepin 系统更新 CUDA 版本的推理后端框架)。
已适配 UOS AI 的 DeepSeek-R1 1.5B 模型的下载地址如下:
将模型文件下载完成后,打开文件管理器,直接进入如下目录:
注:若没有 deepin-modelhub 文件夹以及下面的 models 文件夹,可以自己手动创建该文件夹。
进入 models 文件夹,将下载完成的模型文件夹解压后,直接复制到刚刚创建的文件夹路径中,注意检查路径不要有多的名称。模型完整路径如下:
经过上述步骤,再次打开 UOS AI 界面,即可手动切换使用 DeepSeek-R1-1.5B 模型。
以下是一个简单的DeepSeek-R1 运行示例:
方法二:UOS AI 在线接入 DeepSeek-R1 API
Step 1:获取 API key
访问 DeepSeek 官网(https://www.deepseek.com/),注册/登录账号后,创建并获取API key。若由于服务器压力等问题无法访问以上页面,也可以访问其他渠道获取 API key。
本文将以硅基流动(https://siliconflow.cn/zh-cn/)为例,在注册/登录账号后,前往 API 密钥管理页面,创建并获取 API key。
Step 2:在 UOS AI 中接入 DeepSeek-R1 在线模型
打开 UOS AI 的「设置」选项,在「模型配置」中选择「在线模型-添加」,进入UOS AI的添加模型界面。
完成添加窗口中的内容填写,并点击确定即可,本例中使用到的信息参考如下:
填写完毕并提交确认后,即可在UOS AI中选择 DeepSeek-R1 模型进行使用。
理论上只要你在硅基流动账户中的余额够用,其模型仓库的所有模型都可以通过上述方法在UOS AI中配置调用,只需在上述配置方法中的模型名处填写对应的完整模型名称即可(如上图所示),其它不变。
需要注意的是,在线大模型受网络及用户访问量影响,偶尔可能会出现访问慢、超时或无法访问的情况,建议多次尝试即可。
在线模型由于当前适配问题,DeepSeek深度思考的内容与对话内容尚未分开,但这并不影响正常使用,UOS AI 团队会在后续更新中尽快优化体验。
最后感谢社区用户「陈正勇」提供的在线配置参考~大家在体验过程中有任何建议或问题,欢迎在评论区留言,或前往deepin社区论坛讨论交流,优质反馈将有机会获得deepin官方周边礼品噢!