• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • [Internal testing communication] UOS AI 有容7B 模型只能用CPU推理吗？
    deepin 25 152 views · 4 replies ·
    Tofloor
    poster avatar
    listen-deepin
    deepin
    2025-12-20 14:32
    Author

    请问UOS AI 有容7B 模型只能用CPU推理吗？ 能不能设置为用GPU ？显卡有16G显存，有朋友知道么？O(∩_∩)O谢谢

    Reply Favorite View the author
    All Replies
    139******11
    deepin
    2025-12-20 17:44
    #1

    你得deepseek一下，显卡驱动虽然正确安装，但是默认应该是没安装cuda的，nvidia-smi里显示的理论上支持的cuda版本，不一定是实际已经安装的，驱动和大模型需要的特殊库都要安装好，再看看UOS ai怎么部署在本地，不过本地部署可以速度快，但是精度好像不如在线，我没搞过uos ai ，之前看过一些文件

    Reply View the author
    listen-deepin
    deepin
    2025-12-20 18:37
    #2
    139******11：

    你得deepseek一下，显卡驱动虽然正确安装，但是默认应该是没安装cuda的，nvidia-smi里显示的理论上支持的cuda版本，不一定是实际已经安装的，驱动和大模型需要的特殊库都要安装好，再看看UOS ai怎么部署在本地，不过本地部署可以速度快，但是精度好像不如在线，我没搞过uos ai ，之前看过一些文件

    我试试，谢了like

    Reply View the author
    139******11
    deepin
    2025-12-20 20:13
    #3

    UOS AI设置里有有容7B的安装按键，是不可以直接装呀，自动拉取需要的库？

    Reply View the author
    listen-deepin
    deepin
    2025-12-20 22:27
    #4
    139******11：

    UOS AI设置里有有容7B的安装按键，是不可以直接装呀，自动拉取需要的库？

    是可以直接装，但回答问题的时候是只靠CPU运算推理的，如果用显卡的效率会比CPU高很多，可以留意一下CPU和GPU的负载

    Reply View the author