[software development] UOS AI自定义模型的API结构是什么样子的
Tofloor
poster avatar
吴罗平
deepin
2024-06-27 13:32
Author

UOS AI自定义模型的API结构是什么样子的,OpenAI格式,还是其他的格式,有没有文档说明啊

截图_uos-ai-assistant_20240627133426.png

Reply Favorite View the author
All Replies
DebuggerX
deepin
2024-06-27 13:46
#1

何来此问?

你见过哪家的大模型服务不是OpenAI格式的吗?

Reply View the author
kero990
deepin
2024-06-27 15:19
#2

为啥我的没有自定义啊,我的只能选那几个

这玩意还分版本的吗,在UOS上就不让自定义?

image.png

Reply View the author
兆兆嘟嘟嘟
deepin
2024-06-27 20:22
#3
kero990

为啥我的没有自定义啊,我的只能选那几个

这玩意还分版本的吗,在UOS上就不让自定义?

image.png

可能版本不够新。

Reply View the author
qq4945286
deepin
2024-06-27 22:10
#4

你安装一个LM Studio,然后在LM Studio本地安装模型,

1.png

2.png

选择一个模型开启

3.png

然后在请求地址处填写下面的地址

http://localhost:1234/v1

这样就完成了

当然你也可以在本地使用ollama搭建一个模型环境

Reply View the author
qq4945286
deepin
2024-06-27 22:12
#5

那个apikey和模型名随便填,你在LM Studio选择的什么模型,在uos ai连接的就是什么模型,模型主要取决于你在LM Studio中或ollama中选择的模型文件

Reply View the author
深蓝色
deepin
2024-06-28 13:28
#6

账号名称可以自己随便填。

APIKey填你使用的模型服务商提供密钥,若是本地模型(没有开启鉴权)可以随便填。

模型名,根据模型服务商的要求填对应的模型,若是Ollama,就填ollama run命令后面跟的模型名。

请求地址按照OpenAI规范,填 /v1/chat/completions格式的接口。UOS AI会在请求地址中自动添加 /chat/completions

所以只需填前部分,如ollama的 http://127.0.0.1:11434/v1

Reply View the author
吴罗平
deepin
2024-06-28 13:50
#7

好的,感谢大家解答,因为有些不是标准OpenAI格式,返回数据格式不一样,所以由此疑问

API端点必须后缀是

/chat/completions

comple
image.png

Reply View the author
吴罗平
deepin
2024-06-28 14:15
#8
kero990

为啥我的没有自定义啊,我的只能选那几个

这玩意还分版本的吗,在UOS上就不让自定义?

image.png

你这个应该是没有更新到最新版本

Reply View the author
zccrs
deepin
2024-06-28 16:07
#9
https://bbs.deepin.org/post/274468 看下这个帖子,专门为你发的
 
Reply View the author
吴罗平
deepin
2024-06-28 17:10
#10
zccrs
https://bbs.deepin.org/post/274468 看下这个帖子,专门为你发的
 

感谢大佬,受教了

applaud

Reply View the author