• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • [software development] UOS AI自定义模型的API结构是什么样子的
    Technology Exchange 448 views · 10 replies ·
    Tofloor
    poster avatar
    吴罗平
    deepin
    2024-06-27 13:32
    Author

    UOS AI自定义模型的API结构是什么样子的，OpenAI格式，还是其他的格式，有没有文档说明啊

    截图_uos-ai-assistant_20240627133426.png

    Reply Favorite View the author
    All Replies
    DebuggerX
    deepin
    2024-06-27 13:46
    #1

    何来此问？

    你见过哪家的大模型服务不是OpenAI格式的吗？

    Reply View the author
    kero990
    deepin
    2024-06-27 15:19
    #2

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    Reply View the author
    兆兆嘟嘟嘟
    deepin
    2024-06-27 20:22
    #3
    kero990：

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    可能版本不够新。

    Reply View the author
    qq4945286
    deepin
    2024-06-27 22:10
    #4

    你安装一个LM Studio，然后在LM Studio本地安装模型，

    1.png

    2.png

    选择一个模型开启

    3.png

    然后在请求地址处填写下面的地址

    http://localhost:1234/v1

    这样就完成了

    当然你也可以在本地使用ollama搭建一个模型环境

    Reply View the author
    qq4945286
    deepin
    2024-06-27 22:12
    #5

    那个apikey和模型名随便填，你在LM Studio选择的什么模型，在uos ai连接的就是什么模型，模型主要取决于你在LM Studio中或ollama中选择的模型文件

    Reply View the author
    深蓝色
    deepin
    2024-06-28 13:28
    #6

    账号名称可以自己随便填。

    APIKey填你使用的模型服务商提供密钥，若是本地模型（没有开启鉴权）可以随便填。

    模型名，根据模型服务商的要求填对应的模型，若是Ollama，就填ollama run命令后面跟的模型名。

    请求地址按照OpenAI规范，填 /v1/chat/completions格式的接口。UOS AI会在请求地址中自动添加 /chat/completions。

    所以只需填前部分，如ollama的 http://127.0.0.1:11434/v1

    Reply View the author
    吴罗平
    deepin
    2024-06-28 13:50
    #7

    好的，感谢大家解答，因为有些不是标准OpenAI格式，返回数据格式不一样，所以由此疑问

    API端点必须后缀是

    /chat/completions

    comple
    image.png

    Reply View the author
    吴罗平
    deepin
    2024-06-28 14:15
    #8
    kero990：

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    你这个应该是没有更新到最新版本

    Reply View the author
    zccrs
    deepin
    2024-06-28 16:07
    #9
    https://bbs.deepin.org/post/274468 看下这个帖子，专门为你发的
     
    Reply View the author
    吴罗平
    deepin
    2024-06-28 17:10
    #10
    zccrs：
    https://bbs.deepin.org/post/274468 看下这个帖子，专门为你发的
     

    感谢大佬，受教了

    applaud

    Reply View the author