看看这个。

https://github.com/intel/ipex-llm/blob/main/README.zh-CN.md

包括可以使用ollama：

https://github.com/intel/ipex-llm/blob/main/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md

以及docker镜像：

https://github.com/intel/ipex-llm/blob/main/docs/mddocs/DockerGuides/docker_cpp_xpu_quickstart.md

另外有部分框架支持使用 vulkan 加速，比如 llama.cpp，也可以利用 intel 显卡，但我个人测试下来在 intel 核显上性能和稳定性都不如楼上提到的 ipex-llm。

硬件差3代等于老， LZ的新硬件 intel 6 核12 线程的cpu,睿频5G，与intel的NPU加速无缘

https://github.com/intel/linux-npu-driver

intel gpu 大语言模型推理加速的方案（linux 从6.9内核就开始支持），

https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html

当前支持的CPU列表

木有 Intel® Core™ Ultra 及之后的cpu (即 Meteor Lake 及之后)就别想用GPU加速

（连Versatile Processing Unit (VPU)硬件电路都木有的CPU还是早点睡叭，梦里啥都有，只能纯CPU跑）

这个文档里 提到文件 /opt/intel/oneapi/setvars.sh， 我找不到这个文件，因为是在gentoo上试的，我就在 gentoo 论坛提了个问题： https://forums.gentoo.org/viewtopic-p-8855727.html#8855727

还没在deepin上试过。

你需要安装intel oneapi basekit。如果你的发行版没有提供对应的包，我强烈建议你使用 docker。
另外我看了下你的硬件是第 10 代酷睿（cometlake）。根据这个issue，虽然不像楼上说的需要 MTL 那么夸张，但也需要 11 代以上的酷睿处理器。cometlake 目前尚不支持。