[other] windows11下本地qwen2.5-0.5b+默奇ai输入法
Tofloor
poster avatar
139******11
deepin
9 hours ago
Author

兄弟们,这几天捣鼓了一下windows输入法,自带的太差了,想提高准确性需要开数据上传,所以摸索了一下本地ai输入法

moqi是个跨平台的输入法,基于rime,但是目前只有windows平台的默奇输入法支持ai,默认是线上ai,可以改成本地ai

github上下载默奇输入法,双击安装

下载llama.cpp(或者ollama),看你自己喜欢,我是喜欢llama.cpp节省内存、高度可定制,下载时候根据你自己的硬件选择是跑在cpu上还是gpu上,压缩包解压到你喜欢的位置,比如e:\llama\,魔搭社区下载qwen2.5-0.5b(根据自己的硬件选择量化版本,纯输入法用0.5b足矣,完全不卡顿,准确率很高,会根据上下文出候选词),下载到llama文件夹下,终端里cd e:\llama,然后.\llama-server.exe+模型+参数(具体根据自己的硬件问deepseek或者千问),试跑一下,看看能不能正常运行,ctrl+c退出。

下载nssm,一个把exe打包成后台服务的软件,按照ds的指导参数打包llama-server.exe

去c盘-用户-自己用户名-appdata(隐藏文件夹,需要在资源管理器里设置显示隐藏文件)-roaming-moqi中找到ai-config.json(文件名有点不对,懒得看了,进入文件夹一眼就能认出来),用文本编辑器打开,按照ai指导设置你的ai api接口,保存

重启,找个地方打点字试一下,是不是爽到飞。想确定有没有用到本地ai?拼音‘你好’不要选词,按ctrl+shift+q,出现候选词变化就证明用上了。

Reply Favorite View the author
All Replies

No replies yet