主页 服务器运维
快捷导航
您的位置：主页 > 操作系统 > Windows系列

DeepSeek R1的NPU优化版本将可在Copilot Win11 PC上运行

https://www.518cn.com   发布时间：2025-03-18 15:50   作者：网络
摘要：DeepSeek 的 R1 可能正处于微软发起的一项调查的中心，该调查涉及该人工智能模型是否在 OpenAI 的数据输出上进行过训练，但这并没有阻止这家软件巨头将该模型的 NPU 优化版本引入其 C

人工智能正加速向着边缘计算领域发展，Copilot PC 在其中扮演着重要角色。随着 DeepSeek R1 出现，微软也意识到了这一模型可能会带来了一系列变革。

微软今日发文，宣布推出针对 NPU 优化的 DeepSeek-R1（我们注：已在 Azure AI Foundry 和 GitHub 上提供），首批将面向搭载高通骁龙 X 芯片的 Copilot PC 推出，随后是英特尔酷睿 Ultra 200V 等平台。

微软表示，首个版本 DeepSeek-R1-Distill-Qwen-1.5B 将在 AI Toolkit 中提供，7B 和 14B 版本也将很快推出，从而帮助开发者充分利用 Copilot PC 中强大的 NPU 配置。

微软表示，Copilot PC 上的 NPU 开启了一种新的范式。在这种范式下，生成式 AI 不仅可以在被调用时执行，还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示：

通过我们在 Phi Silica 上的工作，我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色，同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术，包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外，我们还利用 Windows Copilot Runtime（WCR）通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

微软表示，要想在 Copilot PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可；以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中（直接从 Azure AI Foundry 中拉取）。

用户可以通过点击“下载”按钮将其下载到本地。下载完成后，只需打开 Playground 加载“deepseek_r1_1_5”模型，并给出提示词即可开始实验。

除了为 Copilot PC 优化的 ONNX 模型外，您还可以通过点击“DeepSeek R1”下的“Try in Playground”按钮，在 Azure Foundry 中尝试云托管的源模型。

如下图所示，微软还展示了原始模型和量化模型的示例，以展现两者之间微小但确实存在的差异：

▲ 相同提示下原始模型（左）与 NPU 优化模型（右）的响应示例，包括模型的推理能力

相关文章

最新评论