[UOS] UOS-ai如何添加本地大模型?
Tofloor
poster avatar
HZCY
deepin
2025-12-01 09:13
Author

image.png

如图所示,我自己额外下载了一个Qwen3-Embedding-8B-f16.gguf大模型文件,后缀也是gguf格式的

到底要如何才能被UOS-ai识别并使用?

我尝试修改config.json但是却会导致本身的deepseek会出现丢失。。。。。。。。

搞得好蒙蔽

Reply Favorite View the author
All Replies
pzm9012
Moderator
2025-12-01 11:03
#1

应该不支持外部导入模型,只支持软件内提供的本地模型

Reply View the author
kookboy
deepin
2025-12-01 16:20
#2

楼主对本地部署AI大模型有所误解。

有两种方案:

一、API KEY接口使用 (需付费),去各大公司的模型开放平台注册并购买API KEY。(这个方案对硬件没什么大的要求,能连接网络即可使用)

二、安装ollama或LM-Studio等软件后,下载想要的AI大模型。再以端口开放的形式给UOS AI调用。这个方案需要硬件达到有关要求。

例如,我是安装了ollama

部署了两个大模型,然后在uos ai里调用。

截图_选择区域_20251201162123.png

截图_选择区域_20251201162156.png

Reply View the author
HZCY
deepin
2025-12-02 16:04
#3
pzm9012

应该不支持外部导入模型,只支持软件内提供的本地模型

这几天我测试过了,基本不支持外部大模型使用他们自身的UOS-AI的框架,本来我想的使用使用自身所带有的框架,我就无需额外去下载安装启动器服务了。

Reply View the author
HZCY
deepin
2025-12-02 16:06
#4
kookboy

楼主对本地部署AI大模型有所误解。

有两种方案:

一、API KEY接口使用 (需付费),去各大公司的模型开放平台注册并购买API KEY。(这个方案对硬件没什么大的要求,能连接网络即可使用)

二、安装ollama或LM-Studio等软件后,下载想要的AI大模型。再以端口开放的形式给UOS AI调用。这个方案需要硬件达到有关要求。

例如,我是安装了ollama

部署了两个大模型,然后在uos ai里调用。

截图_选择区域_20251201162123.png

截图_选择区域_20251201162156.png

可能是我说的不够明白,所以导致你误会我的意思了,我意思的如何使用UOS-AI自带的模型框架,去加载我下载的大模型,这几天测试过后,发现实在是不行了,毕竟非专业开发人员没法搞,只能另外去下载模型框架启动服务器了。

最主要我看中的是UOS-AI自带的服务框架,如果能让我下载的大模型也能被UOS-AI的框架加载,我则无需额外下载如你所说的ollama服务,就可以节省一点系统算力资源。

Reply View the author
kookboy
deepin
2025-12-02 16:36
#5

在UOS AI中,本地模型仅支持软件列表中的四个,并非随便下载个gguf向量模型就支持。

截图_选择区域_20251202163216.png

Reply View the author
HZCY
deepin
2025-12-03 08:12
#6
kookboy

在UOS AI中,本地模型仅支持软件列表中的四个,并非随便下载个gguf向量模型就支持。

截图_选择区域_20251202163216.png

看起来确实如此,但是官方的支持模型也是通过api或变量方式被识别支持的,如果有懂的,仔细研究一下,我想应该是可以给UOS-AI添加额外的模型

Reply View the author