尤其是当越来越多的人同时使用 AI，或者让多个 AI Agent 持续执行任务时，服务器算力、显存和运行成本都会面临更大压力。10 月 20 日，Red Hat、IBM 等项目参与方宣布，开源分布式 AI 推理项目 llm-d 正式发布 1.0 版本。
相比单纯追求模型能力，llm-d 更关注另一个方向：如何让已经训练好的 AI 模型运行得更高效、更稳定，同时尽可能降低部署成本。
llm-d 是什么？
如果把 AI 模型比作一台发动机，那么 llm-d 更像是管理多台发动机协同工作的系统。它并不是一个新的聊天模型，也不负责训练大模型，而是一套面向分布式推理的开源基础设施。
比如，当大量用户同时向 AI 提问时，系统需要决定：
哪台服务器处理当前请求？
已经计算过的内容能不能重复利用？
多个任务如何共享有限的 GPU 资源？
更新服务时，能不能尽量避免中断？
这些问题看起来离普通用户有点远，但实际上与 AI 服务的响应速度、稳定性和运行成本都有关系，llm-d 就是围绕这些需求进行优化的。
1.0 版本带来了哪些变化？
根据官方介绍，llm-d 1.0 重点加强了面向生产环境的运行能力。
第一，优化多任务资源分配。
在多个用户或 AI Agent 同时执行任务时，系统能够根据请求优先级和资源情况进行调度，尽可能减少任务之间的相互影响。
第二，提高服务运行稳定性。
新版本支持路由器高可用、滚动更新等能力，帮助服务在维护升级过程中保持连续运行。
第三，提升 AI Agent 场景的效率。
对于需要多轮对话和长上下文的 AI Agent，llm-d 能够利用缓存感知和会话感知的请求路由，减少部分重复计算，这意味着当 AI 应用越来越复杂时，底层基础设施也在同步进化。
AI 推理成本能降低多少？
官方还介绍了一些实际测试和应用案例，例如，在一项面向大量并行 AI Agent 的基准测试中，研究人员使用 llm-d 部署大规模开源权重模型，并报告了较高的并发吞吐能力。
按照相关测试条件和云端租赁价格估算，部分场景下的单位 Token 成本可比对应的商业 API 定价低 5～10 倍，不过需要注意，这些数字来自特定硬件配置、工作负载和价格比较，并不意味着任何项目部署 llm-d 都能获得同样的成本优势，实际部署效果仍然需要结合硬件规模、模型、并发量和运维成本判断。
这和 Linux、开源社区有什么关系？
在 AI 发展的过程中，大家通常更关注模型变得有多聪明，但模型如何高效运行，同样非常重要。
从 Linux 服务器、容器技术，到 Kubernetes 和开源推理框架，开放的软件基础设施一直是 AI 产业的重要组成部分，llm-d 1.0 的发布，也让我们看到了开源社区在 AI 基础设施方面的持续投入，虽然 llm-d 主要面向服务器和大规模推理集群，并不是普通桌面用户可以直接安装使用的 AI 助手，但底层推理技术的发展，有可能进一步影响未来 AI 应用的成本和体验。
对于 Linux 桌面生态来说，无论是云端 AI 服务，还是本地 AI 应用，如何在性能、隐私和成本之间取得平衡，都是值得关注的话题。
中文 
deepin 
WhatsApp doesn't work in the official Deepin browser! 
现在体验 AI 已经很方便了，但在这些 AI 服务背后，还有一个很现实的问题：运行大模型并不便宜。
尤其是当越来越多的人同时使用 AI，或者让多个 AI Agent 持续执行任务时，服务器算力、显存和运行成本都会面临更大压力。10 月 20 日，Red Hat、IBM 等项目参与方宣布，开源分布式 AI 推理项目 llm-d 正式发布 1.0 版本。
相比单纯追求模型能力，llm-d 更关注另一个方向：如何让已经训练好的 AI 模型运行得更高效、更稳定，同时尽可能降低部署成本。
llm-d 是什么？
如果把 AI 模型比作一台发动机，那么 llm-d 更像是管理多台发动机协同工作的系统。它并不是一个新的聊天模型，也不负责训练大模型，而是一套面向分布式推理的开源基础设施。
比如，当大量用户同时向 AI 提问时，系统需要决定：
这些问题看起来离普通用户有点远，但实际上与 AI 服务的响应速度、稳定性和运行成本都有关系，llm-d 就是围绕这些需求进行优化的。
1.0 版本带来了哪些变化？
根据官方介绍，llm-d 1.0 重点加强了面向生产环境的运行能力。
第一，优化多任务资源分配。
在多个用户或 AI Agent 同时执行任务时，系统能够根据请求优先级和资源情况进行调度，尽可能减少任务之间的相互影响。
第二，提高服务运行稳定性。
新版本支持路由器高可用、滚动更新等能力，帮助服务在维护升级过程中保持连续运行。
第三，提升 AI Agent 场景的效率。
对于需要多轮对话和长上下文的 AI Agent，llm-d 能够利用缓存感知和会话感知的请求路由，减少部分重复计算，这意味着当 AI 应用越来越复杂时，底层基础设施也在同步进化。
AI 推理成本能降低多少？
官方还介绍了一些实际测试和应用案例，例如，在一项面向大量并行 AI Agent 的基准测试中，研究人员使用 llm-d 部署大规模开源权重模型，并报告了较高的并发吞吐能力。
按照相关测试条件和云端租赁价格估算，部分场景下的单位 Token 成本可比对应的商业 API 定价低 5～10 倍，不过需要注意，这些数字来自特定硬件配置、工作负载和价格比较，并不意味着任何项目部署 llm-d 都能获得同样的成本优势，实际部署效果仍然需要结合硬件规模、模型、并发量和运维成本判断。
这和 Linux、开源社区有什么关系？
在 AI 发展的过程中，大家通常更关注模型变得有多聪明，但模型如何高效运行，同样非常重要。
从 Linux 服务器、容器技术，到 Kubernetes 和开源推理框架，开放的软件基础设施一直是 AI 产业的重要组成部分，llm-d 1.0 的发布，也让我们看到了开源社区在 AI 基础设施方面的持续投入，虽然 llm-d 主要面向服务器和大规模推理集群，并不是普通桌面用户可以直接安装使用的 AI 助手，但底层推理技术的发展，有可能进一步影响未来 AI 应用的成本和体验。
对于 Linux 桌面生态来说，无论是云端 AI 服务，还是本地 AI 应用，如何在性能、隐私和成本之间取得平衡，都是值得关注的话题。
最后，想问问大家
现在 AI 应用越来越多，但不同用户对 AI 的使用方式也有明显差异。
如果让你选择，你更希望未来的 Linux AI 应用走哪条路线？
如果让你为小 U 同学的功能提一条建议，你最希望优先解决什么问题呢？
欢迎大家在评论区分享自己的想法！
新闻来源：https://www.redhat.com/en/about/press-releases/llm-d-1-advances-open-cost-efficient-ai-inference-production-scale