198******26
2024-07-03 13:08 deepin
这个不支持公式渲染,难过,输出的东西输出一堆latex格式的公式
Reply Like 1 View the author
这个不支持公式渲染,难过,输出的东西输出一堆latex格式的公式
为啥我的版本V20系统上的最新(检查已是最新)UOS AI版本没有自定义选项呢?
个人知识助手,预处理知识库时,好慢呀,是不是我机器配置过低?
模型类型里面没有自定义?
小白想知道,这个AI具体能干什么
大白也想知道
亲测可用,可以照着我的模式去添写。
百度千帆,我有测试版了。
百度的大模型账号接口 https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro
个人知识助手,预处理知识库时,好慢呀,是不是我机器配置过低?
我一直就没有上传成功,不知道怎么回事?
我一直就没有上传成功,不知道怎么回事?
我加载了一个24M的PDF,不关机连续预算了两天多,在第三天没注意什么时候处理好了。
测试能用,只是问个问题,要等2~5分钟才有反应。
应该是我电脑是核显的原因,处理太慢了。
Popular Events
More
UOS AI 1.3.0版已在V23应用商店发布,新版支持用户添加自定义模型啦。
接入条件
UOS AI的自定义模型的接口规范为OpenAI的
/v1/chat/completions
。因此只有提供了OpenAI兼容接口的模型服务才可以被添加到UOS AI中使用。在线模型
接下来介绍在线模型的添加方式。
月之暗面
打开月之暗面的API说明:https://platform.moonshot.cn/docs/api/chat#api-%E8%AF%B4%E6%98%8E
请求地址:https://api.moonshot.cn/v1/chat/completions
模型名称:moonshot-v1-8k
登录月之暗面控制台,进入《API Key管理》:https://platform.moonshot.cn/console/api-keys
点击右侧"创建"按钮,生成API Key。
在此界面复制生成的密钥。
进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:
API Key
在API Key栏粘贴上步复制的密钥。
账号名称
任意填写。
模型名称
填入第一步中月之暗面API声明的模型名称:moonshot-v1-8k
请求地址
UOS AI会在请求地址中自动添加
/chat/completions
,因此这里填入的地址需要在月之暗面的地址去掉/chat/completions
部分。实际填入的为:https://api.moonshot.cn/v1
点击确认,完成校验后即可在对话窗口中使用。
智谱
进入智谱AI开发平台,查询模型API:https://open.bigmodel.cn/dev/api#glm-4
请求地址:https://open.bigmodel.cn/api/paas/v4/chat/completions
模型名称:glm-4
进入智谱《API keys》界面:https://open.bigmodel.cn/usercenter/apikeys
点击右侧《添加新的API key》按钮。
在生成的新key后点击复制按钮。
进入UOS AI设置界面,添加模型。在模型添加界面的模型选项中切换为“自定义”。然后填入以下信息:
API Key
在API Key栏粘贴上步复制的密钥。
账号名称
任意填写。
模型名称
填入智谱模型的模型名称:glm-4
请求地址
UOS AI会在请求地址中自动添加
/chat/completions
,因此这里填入的地址需要在智谱的地址去掉/chat/completions
部分。实际填入的为:https://open.bigmodel.cn/api/paas/v4
点击确认,完成校验后即可在对话窗口中使用。
其他模型
其他兼容OpenAI API接口的在线模型皆可用以上方法接入。下面为部分大模型厂商的API说明。
百川
https://platform.baichuan-ai.com/docs/api
通义千问
https://help.aliyun.com/zh/dashscope/developer-reference/compatibility-of-openai-with-dashscope
零一万物
https://platform.lingyiwanwu.com/docs#api-%E5%B9%B3%E5%8F%B0
Deepseek
https://platform.deepseek.com/api-docs/zh-cn/
本地模型
Ollama
Ollama是一个开源的大语言模型本地部署工具,通过它可以方便的在本机部署开源大模型。
安装
Ollama仓库地址:https://github.com/ollama/ollama
按照教程在Deepin V23中安装ollama程序。执行以下命令,直接安装ollama。
ollama服务地址:127.0.0.1:11434
运行
安装完成后在终端运行模型,如Qwen2的7B模型。
模型第一次运行会自动下载,根据网络情况需要等待一会儿。
模型仓库
Ollama模型仓库:https://ollama.com/library
可根据自身需要选择模型。
UOS AI配置
Ollama启动模型后,即可在UOS AI中添加该模型。
进入UOS AI的模型添加界面,选择
模型类型
为自定义
账号名称
根据需要随意填写。
Ollama未开启鉴权,可以随意填写。
填写Ollama运行的模型名称,如前文运行的qwen2:7b,那么这里就填qwen2:7b。
Ollama默认服务地址为
127.0.0.1:11434
,其OpenAI的兼容接口为http://127.0.0.1:11434/v1/chat/completions
因此在UOS AI中只需填入:
http://127.0.0.1:11434/v1
完成添加后即可在UOS AI中与本地模型对话。