[Share Experiences] UOS AI接入自定义模型
Tofloor
poster avatar
深蓝色
deepin
2024-06-28 16:00
Author

UOS AI 1.3.0版已在V23应用商店发布,新版支持用户添加自定义模型啦。

接入条件

UOS AI的自定义模型的接口规范为OpenAI的 /v1/chat/completions。因此只有提供了OpenAI兼容接口的模型服务才可以被添加到UOS AI中使用。

在线模型

接下来介绍在线模型的添加方式。

月之暗面

  • 获取API

打开月之暗面的API说明:https://platform.moonshot.cn/docs/api/chat#api-%E8%AF%B4%E6%98%8E

output.png

请求地址:https://api.moonshot.cn/v1/chat/completions

模型名称:moonshot-v1-8k

  • 获取API Key

登录月之暗面控制台,进入《API Key管理》:https://platform.moonshot.cn/console/api-keys

output (1).png
点击右侧"创建"按钮,生成API Key。

output (2).png

在此界面复制生成的密钥。

  • UOS AI添加模型

进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:

  • API Key

    在API Key栏粘贴上步复制的密钥。

  • 账号名称

    任意填写。

  • 模型名称

    填入第一步中月之暗面API声明的模型名称:moonshot-v1-8k

  • 请求地址

    UOS AI会在请求地址中自动添加 /chat/completions,因此这里填入的地址需要在月之暗面的地址去掉 /chat/completions部分。

    实际填入的为:https://api.moonshot.cn/v1

output (3).png

点击确认,完成校验后即可在对话窗口中使用。

智谱

  • 获取API

进入智谱AI开发平台,查询模型API:https://open.bigmodel.cn/dev/api#glm-4

output (4).png

output (5).png

请求地址:https://open.bigmodel.cn/api/paas/v4/chat/completions

模型名称:glm-4

  • 获取API Key

进入智谱《API keys》界面:https://open.bigmodel.cn/usercenter/apikeys

output (6).png

点击右侧《添加新的API key》按钮。

截图_选择区域_20240628155730.png

在生成的新key后点击复制按钮。

  • UOS AI添加模型

进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:

  • API Key

    在API Key栏粘贴上步复制的密钥。

  • 账号名称

    任意填写。

  • 模型名称

    填入智谱模型的模型名称:glm-4

  • 请求地址

    UOS AI会在请求地址中自动添加 /chat/completions,因此这里填入的地址需要在智谱的地址去掉 /chat/completions部分。

    实际填入的为:https://open.bigmodel.cn/api/paas/v4

    output (8).png
    点击确认,完成校验后即可在对话窗口中使用。

其他模型

其他兼容OpenAI API接口的在线模型皆可用以上方法接入。下面为部分大模型厂商的API说明。

  • 百川

    https://platform.baichuan-ai.com/docs/api

  • 通义千问

    https://help.aliyun.com/zh/dashscope/developer-reference/compatibility-of-openai-with-dashscope

  • 零一万物

    https://platform.lingyiwanwu.com/docs#api-%E5%B9%B3%E5%8F%B0

  • Deepseek
    https://platform.deepseek.com/api-docs/zh-cn/

本地模型

Ollama

Ollama是一个开源的大语言模型本地部署工具,通过它可以方便的在本机部署开源大模型。

安装

Ollama仓库地址:https://github.com/ollama/ollama

按照教程在Deepin V23中安装ollama程序。执行以下命令,直接安装ollama。

curl -fsSL https://ollama.com/install.sh | sh

编译安装、Docker安装请参阅Github中说明。

output (9).png

ollama服务地址:127.0.0.1:11434

运行

安装完成后在终端运行模型,如Qwen2的7B模型。

ollama run qwen2:7b

模型第一次运行会自动下载,根据网络情况需要等待一会儿。

output (10).png

模型仓库

Ollama模型仓库:https://ollama.com/library

output (11).png

可根据自身需要选择模型。

output (12).png

UOS AI配置

Ollama启动模型后,即可在UOS AI中添加该模型。

  • 进入UOS AI的模型添加界面,选择模型类型自定义

    output (13).png

  • 账号名称

根据需要随意填写。

  • APIKey

Ollama未开启鉴权,可以随意填写。

  • 模型名

填写Ollama运行的模型名称,如前文运行的qwen2:7b,那么这里就填qwen2:7b。

  • 模型请求地址

Ollama默认服务地址为127.0.0.1:11434,其OpenAI的兼容接口为http://127.0.0.1:11434/v1/chat/completions

因此在UOS AI中只需填入:http://127.0.0.1:11434/v1

output (14).png

完成添加后即可在UOS AI中与本地模型对话。

output (15).png

Reply Favorite View the author
All Replies
1 / 2
To page
阿尼樱奈奈
Moderator
2024-06-28 16:13
#1
Reply View the author
感恩的心
deepin
2024-06-28 16:13
#2

thanks

Reply View the author
mardou
deepin
2024-06-28 16:44
#3

这是给专业人士使用还是给大众使用的功能?如此复杂,推广意义严重不足。

Reply View the author
mozixun
deepin
2024-06-28 16:50
#4
mardou

这是给专业人士使用还是给大众使用的功能?如此复杂,推广意义严重不足。

是的,普通人有默认的千帆账号

Reply View the author
sammy-621
deepin
2024-06-28 17:09
#5

image.png
全局搜索中,AI搜索从来没搜出结果,这是什么情况?你们那边也这样吗?

Reply View the author
吴罗平
deepin
2024-06-28 17:09
#6

感谢大佬,受教了

applaud

Reply View the author
风月相知
deepin
2024-06-28 20:56
#7

哪个最好用呀applaud

Reply View the author
神末shenmo
deepin
Spark-App
2024-06-28 23:51
#8

Reply View the author
神末shenmo
deepin
Spark-App
2024-06-28 23:53
#9
mardou

这是给专业人士使用还是给大众使用的功能?如此复杂,推广意义严重不足。

是给开发者或者高级用户的,让UOS AI可以接入自己做出来的大模型

普通用户不需要学自己添加模型,UOS AI里有几个已经配置好的,领个账号就能用了

Reply View the author
HualetWang
deepin
2024-06-29 23:52
#10
sammy-621

image.png
全局搜索中,AI搜索从来没搜出结果,这是什么情况?你们那边也这样吗?

商店里面的 向量化模型插件 装了吗?

Reply View the author
139******03
deepin
2024-06-30 09:18
#11

image.png

我想用kimi,找不到自定义,月之暗面

Reply View the author
hanzn-zzx
deepin
2024-06-30 16:06
#12

like话说deepin这么多AI组件啥时候统一下?

感觉应该用一个dde-ai之类的统一方式来提供deepin的ai能力,现在感觉东一个西一个的,每个地方都得单独配置下……

Reply View the author
深蓝色
deepin
2024-07-01 09:30
#13
139******03

image.png

我想用kimi,找不到自定义,月之暗面

deepin v23在应用商店更新UOS AI

Reply View the author
东夷浪子
deepin
2024-07-01 11:23
#14

试一试,感谢!

Reply View the author
131******66
deepin
2024-07-01 11:24
#15

总的来说,用处不大。

Reply View the author
sammy-621
deepin
2024-07-01 11:34
#16
HualetWang

商店里面的 向量化模型插件 装了吗?

必须的呀,不装的话,全局搜索里连这个'AI搜索'都不会出现

Reply View the author
阿海
deepin
2024-07-02 09:13
#17

小白想知道,这个AI具体能干什么

Reply View the author
深蓝色
deepin
2024-07-02 09:47
#18
sammy-621

必须的呀,不装的话,全局搜索里连这个'AI搜索'都不会出现

在全局搜索的设置页面开启创建索引看看呢

Reply View the author
sammy-621
deepin
2024-07-02 13:21
#19
深蓝色

在全局搜索的设置页面开启创建索引看看呢

1719897597370.png

开启AI智能搜索,你那边能打开吗?我这里是置灰的。

Reply View the author
kero990
deepin
2024-07-02 15:30
#20

UOS专业版啥时候更新啊

或者这个开源吗?我去编译一份新的用

@深蓝色

Reply View the author
1 / 2
To page