yanjuner
2024-07-17 14:47 Super Moderator
帖子里的图片崩了诶
可以编辑帖子 重新上传一下
Reply Like 0 View the author
帖子里的图片崩了诶
可以编辑帖子 重新上传一下
为什么我上传图片就在转圈圈呢?
知识严重错误
想问下用不满CPU资源有办法吗
知识严重错误
9B小模型是这样的
为什么我上传图片就在转圈圈呢?
此模型不支持图片上传,这不是多模态模型
想问下用不满CPU资源有办法吗
能发一下CPU型号吗
能发一下CPU型号吗
i7-12700K
下载的是FP16模型
i7-12700K
下载的是FP16模型
12代的正常情况intel大小核的问题
12代的正常情况intel大小核的问题
那咋办,难道关小核吗
i7-12700K
下载的是FP16模型
尝试在启动命令后面加一个
-t 物理内核数
的参数
那咋办,难道关小核吗
尝试在启动命令后面加一个
-t 12
的参数
尝试在启动命令后面加一个
-t 12
的参数
看了一下,利用率高了20%左右
看了一下,利用率高了20%左右
这个参数是强制跑满12个核心。现在token输出有变快吗
这个参数是强制跑满12个核心。现在token输出有变快吗
有点变快
怎么看都是吃资源的大户呀,我的电脑还是落后啊
Popular Events
More
首先在下列链接下载模型文件
FP16模型(推荐运行内存:24GB)
int8量化模型(推荐运行内存:16GB)
int4量化模型(推荐运行内存:12GB)
int2量化模型(推荐运行内存:8GB)
然后打开你的终端,运行以下命令
然后打开你的文件管理器,把前面下载下来的模型文件重命名为glm,并复制到主目录的llama.cpp/build/bin文件夹里面。
再次执行下列命令
在浏览器中访问 http://localhost:8080/index-new.html
鼠标滑到底部,开始对话吧!
完美!