[Internal testing communication] 请教下小U同学调用本地模型时,怎么设置才能调用独显
Tofloor
poster avatar
Tent
deepin
5 hours ago
Author

想请教下小U同学调用本地模型时,怎么设置才能调用独显?

小U同学版本:3.0.1.501

我在小U同学里装了个7B的有容模型,随便问了个问题发现出字很慢,资源监控看了下一直占用的是cpu,我的5060显卡一直是闲着😂

现在bios里设置的显卡混合模式,所以日常是在用核显。

另外在相同显示情况下,我用了lmstudio加本地模型,能调用独显及独显的显存来计算,出字就挺快的。
图片.png

Reply Favorite View the author
All Replies
avatar
gfdgd_xi
deepin
Ecological co-builder
an hour ago
#1

可以参考我之前写的一篇文章,原版的uos ai是不支持调用gpu加速的https://bbs.deepin.org.cn/phone/zh/post/296937

Reply View the author
avatar
Tent
deepin
39 minutes ago
#2
gfdgd_xi

可以参考我之前写的一篇文章,原版的uos ai是不支持调用gpu加速的https://bbs.deepin.org.cn/phone/zh/post/296937

多谢,我后面试试👍

Reply View the author