• Home
  • Categories
  • WIKI
  • LANGUAGE: en
    • [Seek Help] 在使用uos ai助手的本地ai时怎么指定显卡
    Experiences and Insight 847 views · 3 replies ·
    Tofloor
    poster avatar
    冰凤琉璃
    deepin
    2026-06-07 22:18
    Author

    截图_deepin-terminal_20260607221311.png

    截图_deepin-terminal_20260607221244.png

    image_20260607_153322_967.png

    在使用统信的有容7b模型时发现是用cpu和核显在跑，速度很慢，怎么指定独立显卡来跑这个模型呢？

    Reply Favorite View the author
    All Replies
    avatar
    root
    deepin
    2026-06-07 23:50
    #1

    建议LZ换显卡，24年之后的 ROCm 不再支持 Vega 系列显卡

    ==

    当前默认配置的话LZ的GPU根本就不支持跑大模型

    =====

    https://rocm.docs.amd.com/projects/radeon-ryzen/en/latest/

    ROCm最新版已经不再支持 Vega 系列显卡

    ======

    要使用GPU跑大模型可以 需要自行补丁和编译 旧版

    https://github.com/ROCm/rocBLAS，

    然后把编译得到的文件替换 ROCm 里面的文件

    、、、、、、

    PS：最简单是使用Win系统跑大模型，可以省略自行编译，用已有现成的 https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases 直接替换即可

    tail

    Reply View the author
    avatar
    deepin流云
    Super Moderator
    Community OP
    2026-06-08 10:48
    #2

    目前UOS AI的本地小模型不支持调用GPU，使用的CPU来计算。

    Reply View the author
    avatar
    Feelup
    deepin
    2026-06-08 17:55
    #3
    deepin流云：

    目前UOS AI的本地小模型不支持调用GPU，使用的CPU来计算。

    UOS AI 的小模型能不能考虑加入 MiniCPM5-1B ，然后在这个模型的基础上做一个 UOS 的版本，这个 1B 的版本在CPU上运行的效果非常不错。

    网址：https://www.modelscope.cn/models/OpenBMB/MiniCPM5-1B-GGUF/summary

    Reply View the author