• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • [other] 如何将UOS AI中有容大模型、DeepSeek-R1相关接口配置给第三方调用
    Technology Exchange 858 views · 7 replies ·
    Tofloor
    poster avatar
    劳同冶
    deepin
    2025-03-15 21:03
    Author

    通过UOS AI安装了向量化模型插件，统信有容大模型、DeepSeek-R1后，请问可以将这些大模型提供接口服务给第三方调用吗？如何配置？

    image.png

    Reply Favorite View the author
    All Replies
    cjh201209
    deepin
    2025-03-15 21:43
    #1

    image.png

    Reply View the author
    劳同冶
    deepin
    2025-03-15 22:11
    #2
    cjh201209：

    image.png

    这只是UOS AI自己调用，想知道如何给其他工具调用？

    Reply View the author
    cjh201209
    deepin
    2025-03-16 09:58
    #3

    例如：
    截图_选择区域_20250316095554.png

    Reply View the author
    深蓝色
    deepin
    2025-03-17 09:56
    #4

    使用
    deepin-modelhub --list server --info 查询模型服务的IP和端口，按以下形式组装请求链接即可。 http://[ip]:[port]/chat/completions 如：http://127.0.0.1:38275/chat/completions

    若查询不到服务信息，再UOS AI发起一次聊天即可，服务会自动启动。

    也可使用启动命令手动启动。

    Reply View the author
    deepin小助手
    Super Moderator
    OM
    2025-03-17 10:03
    #5

    UOS AI目前并不提供API给三方调用呢，建议使用deepseek/硅基流动等厂商的API服务。

    Reply View the author
    劳同冶
    deepin
    2025-03-17 20:18
    #6
    深蓝色：

    使用
    deepin-modelhub --list server --info 查询模型服务的IP和端口，按以下形式组装请求链接即可。 http://[ip]:[port]/chat/completions 如：http://127.0.0.1:38275/chat/completions

    若查询不到服务信息，再UOS AI发起一次聊天即可，服务会自动启动。

    也可使用启动命令手动启动。

    确实可以，那如何生成APIKey信息？

    {"serverinfo":[{"host":"127.0.0.1","model":"DeepSeek-R1-1.5B","pid":"34866","port":"37041","starttime":"2025-03-17 20:07:59"}]}

    Reply View the author
    深蓝色
    deepin
    2025-03-19 16:14
    #7
    劳同冶：

    确实可以，那如何生成APIKey信息？

    {"serverinfo":[{"host":"127.0.0.1","model":"DeepSeek-R1-1.5B","pid":"34866","port":"37041","starttime":"2025-03-17 20:07:59"}]}

    目前端侧模型的服务仅面向本机用户使用，所以不需要APIkey鉴权，而对客户端则可以随便填

    Reply View the author