DebuggerX
2024-06-27 13:46 deepin
何来此问?
你见过哪家的大模型服务不是OpenAI格式的吗?
Reply Like 2 View the author
何来此问?
你见过哪家的大模型服务不是OpenAI格式的吗?
为啥我的没有自定义啊,我的只能选那几个
这玩意还分版本的吗,在UOS上就不让自定义?
为啥我的没有自定义啊,我的只能选那几个
这玩意还分版本的吗,在UOS上就不让自定义?
可能版本不够新。
你安装一个LM Studio,然后在LM Studio本地安装模型,
选择一个模型开启
然后在请求地址处填写下面的地址
http://localhost:1234/v1
这样就完成了
当然你也可以在本地使用ollama搭建一个模型环境
那个apikey和模型名随便填,你在LM Studio选择的什么模型,在uos ai连接的就是什么模型,模型主要取决于你在LM Studio中或ollama中选择的模型文件
账号名称可以自己随便填。
APIKey填你使用的模型服务商提供密钥,若是本地模型(没有开启鉴权)可以随便填。
模型名,根据模型服务商的要求填对应的模型,若是Ollama,就填ollama run命令后面跟的模型名。
请求地址按照OpenAI规范,填 /v1/chat/completions
格式的接口。UOS AI会在请求地址中自动添加 /chat/completions
。
所以只需填前部分,如ollama的 http://127.0.0.1:11434/v1
好的,感谢大家解答,因为有些不是标准OpenAI格式,返回数据格式不一样,所以由此疑问
API端点必须后缀是
/chat/completions
comple
为啥我的没有自定义啊,我的只能选那几个
这玩意还分版本的吗,在UOS上就不让自定义?
你这个应该是没有更新到最新版本
感谢大佬,受教了
Popular Events
More
UOS AI自定义模型的API结构是什么样子的,OpenAI格式,还是其他的格式,有没有文档说明啊