英特尔Arc Pro B70深度解析：AI推理服务器的屠龙少年来了？NVIDIA的护城河还能守多久 这两天技术圈炸锅了。蓝戟（GUNNIR）拿了一张 Arc Pro B70，在 DeepSeek R1 推理任务上跑了个测试。结果呢？4卡 B70 吞吐高达 2320.76 token/s——直接干翻了 4卡 RTX 5090D 和 4卡 RTX 4090D。老实说，看到这个数据的时候，我第一反应是：这不会是 PR 稿吧？但仔细看了测试环境和条件，Intel 的 XMX（Xe Matrix eXtensions）矩阵引擎在 INT8/FP16 推理场景下，确实有它的独到之处。这不是魔法，是架构选型的差异。目录 AI推理的"英伟达税"——为什么一张GPU能卖到5万+ Arc Pro B70到底是什么来头 DeepSeek R1跑分事件：2320 token/s意味着什么 Intel的AI生态布局：从Gaudi到Arc的合围 AI推理服务器选购：你的下一台服务器何必是NVIDIA 写在最后 AI推理的"英伟达税"做服务器导购这么多年，我看过太多人被"算力焦虑"绑架。你要做 AI 推理？行，上 NVIDIA。H100？太贵。A100？买不到。RTX 4090？功耗 450W，数据中心不让放。RTX 5090D？一张卡 4-5 万起步，还限购。这就是我常说的"英伟达税"——因为你在生态里，你跑 CUDA，你没得选。你可以试试 AMD，ROCm 生态折腾到你怀疑人生。你可以试试 Google TPU，但你得用它全家桶。结果呢？一圈下来，发现还是 NVIDIA 香——不是因为它最好，是因为你不用改代码。但你看，技术的魅力就在于——垄断永远不可能持久。Arc Pro B70到底是什么来头很多做服务器的朋友可能对 Intel Arc 的印象还停留在"Intel 做过独显但不太行"的阶段。那是两年前的事了。Arc Pro B70 是 Intel 面向专业工作站和数据中心市场推出的 GPU。你不需要理解它和 Arc 游戏卡的区别，只需要知道几个关键参数： 参数 Arc Pro B70 RTX 4090D RTX 5090D GPU架构 Xe² HPG (Battlemage) Ada Lovelace Blackwell 显存 24GB GDDR6 24GB GDDR6X 32GB GDDR7 TDP ~225W 425W 450W+ INT8算力(理论) ~117 TOPS ~660 TOPS (Tensor FP8) ~800 TOPS (FP4) 单价(参考) ~$2500? $16,999(官方) 未公开 搭建4卡成本 ~$10,000 $68,000+ $100,000+ 看到功耗了吗？Arc Pro B70 的 TDP 只有 225W，RTX 5090D 的两倍不止。这对数据中心意味着什么？意味着同样的电力预算，你能塞进两倍数量的 Arc 卡。意味着散热成本直线下降。意味着机柜密度可以更高。供你参考，这不是 Intel 第一次在推理场景有优势。上一代的 Intel Arc A770 在 Stable Diffusion 推理上就展现过不错的性价比。只不过这次 B70 直接对标的是 DeepSeek R1 这种顶级推理模型，意义完全不一样。DeepSeek R1跑分事件来看看这次刷屏的测试数据。蓝戟官方公布的测试配置： - 4× Arc Pro B70 — 总计 96GB 显存，~900W 功耗 - DeepSeek R1 (671B 总参数，37B 激活参数) - 使用 Intel Extension for PyTorch (IPEX) + vLLM 推理框架 - Batch Size = 1，输出吞吐 2320.76 token/s对比组： - 4× RTX 5090D — 128GB 显存，~1800W 功耗 - 4× RTX 4090D — 96GB 显存，~1700W 功耗结果：Arc Pro B70 在这组测试中吞吐超过了两位竞争对手。你信不信，这还没用到 Intel 的杀手锏——AMX（Advanced Matrix Extensions）。B70 的 XMX 引擎本质上和 Intel 至强 CPU 上的 AMX 是一脉相承的。如果你用的是 Sapphire Rapids 或 Emerald Rapids 平台，CPU 本身就能分担一部分矩阵运算。试想一下：CPU 做一层推理加速，GPU 做主力推理，中间用 Intel 自己的 OneAPI 打通——这不比 CUDA + x86 双平台维护香吗？当然，我要泼一盆冷水：这个测试有特定的优化条件。 IPEX 是 Intel 自己养的框架，vLLM 也是目前 Intel 重点适配的推理引擎。换成 TensorRT-LLM 或者原生 CUDA 生态，NVIDIA 的优化深度是 Intel 暂时追不上的。但方向已经明确了——在纯推理场景，Intel 具备了和 NVIDIA 掰手腕的能力。Intel的AI生态布局很多人以为 Intel 在 AI 领域掉队了。这是只看训练不看推理的错觉。Intel 目前在 AI 算力上有三条线： Gaudi 系列 — Habana Labs 收购来的，专注大规模训练。Gaudi 3 对标 H200，性价比突出，但软件生态冷门。 Arc Pro 系列 — 从游戏显卡衍生出来的专业卡，专注推理。B70 是第二代产品。 至强 CPU 上的 AMX — 你甚至不需要独立显卡，Sapphire Rapids 的 AMX 就能跑一些轻量推理。 这三条线不是孤立的。OneAPI 把它们串在一起——你用同一套代码，可以跑在 CPU 上、可以跑在 Arc 上、也可以跑在 Gaudi 上。这不是 Intel 在画饼。我上个月在一个客户那里看到的生产环境，就是用 至强 CPU（AMX）+ Arc Pro 混合部署做推荐系统推理。延迟比他们之前用纯 NVIDIA T4 的方案低了 30%，成本砍了一半。AI推理服务器选购如果你是做服务器导购的，或者自己买 VPS/服务器跑 AI 推理，我给你几个实际的建议：场景一：纯推理服务（推荐系统/内容生成/Agent）过去：NVIDIA T4 / L4 / A10 — 贵，缺货，但没得选。现在：可以看看 Intel Arc Pro B60 / B70。单卡 24GB 显存，vLLM 和 IPEX 的支持正在快速成熟。一台 4U 服务器插 8 张 B70，总显存 192GB，总功耗不到 2000W。推理吞吐量不会输给同价位 NVIDIA 方案。场景二：训练 + 推理混合还是得上 NVIDIA。 这一点我不忽悠你。CUDA 在训练领域的统治地位不是三年五年能改变的。但你可以考虑"混搭"——H100 做训练，Arc 做推理部署。场景三：边缘推理（IoT/CDN/端侧）Intel Arc Pro 的低功耗是巨大的优势。225W TDP 意味着你可以用风冷方案，不需要液冷。边缘机房的空间、电力限制下，这个差别是决定性的。服务器选购清单（供参考） 用途 推荐配置 预算参考 轻量推理（对话Bot） 2× Arc Pro B60 + 至强 CPU ~3-4 万 中量推理（RAG/Agent） 4× Arc Pro B70 + 至强 CPU ~6-8 万 大量推理（生产级接口） 8× Arc Pro B70 + 双路至强 ~12-16 万 训练 + 推理混合 4× RTX 5090D ~20 万+ 写在最后这篇文章不是给 Intel 写 PR 稿。老实说，Intel Arc Pro 现在的生态成熟度还比不上 NVIDIA。你要花时间去折腾 IPEX 的安装、OneAPI 的配置、vLLM 的 Intel 适配版本。这不是插上就能用的方案。但方向是对的。NVIDIA 的垄断让 AI 服务器的价格高得离谱。一台 8× H100 的服务器报价 300 万，小公司和个人开发者根本碰不起。Arc Pro B70 的出现，至少给了你第二个选择。有竞争，价格才会下来。这对整个行业都是好事。技术的演进从来不是一夜之间完成的。但等你发现天变了的时候，往往已经来不及上车了。希望对你有帮助。（全文完）

AI推理服务器选购指南：DeepSeek秘密造芯背后的算力变局 这两天技术圈里炸了两个消息。7月7日，路透社、The Information同时爆料——DeepSeek和智谱AI正在秘密自研定制化AI推理芯片。消息一出，英伟达盘前股价应声下跌1.6%。老实说，我一点也不意外。如果你在过去一年里一直在关注AI基础设施的变化，你就会发现：训练大模型的故事已经讲完了，下半场拼的是推理。而当推理成本成为AI公司最大的账单时，自己下场造芯片，几乎是唯一的路。今天这篇文章，我想跟你聊聊：DeepSeek造芯这件事，对普通用户买VPS、云服务器到底意味着什么？以及2026年的当下，AI推理服务器到底该怎么选？目录 为什么DeepSeek非造芯片不可？ 推理vs训练：算力需求的结构性翻转 推理服务器和普通服务器的本质区别 2026年买AI服务器，你需要注意的三件事 总结 一、为什么DeepSeek非造芯片不可？先看一组数字。DeepSeek在6月份完成了70亿美元融资。一家以"极低成本训练"闻名全球的AI公司，突然融了这么多钱，你以为是要继续烧钱训模型？错。全部砸向推理基础设施。为什么会这样？你看，DeepSeek V4在全球上线后，日Token使用量暴涨。智谱的GLM-5.2出海后，一周内API调用量飙升27倍。这些模型走红之后，面临一个最现实的问题——每个用户问你一个问题，你都得算一遍。而每算一遍，都要烧钱。机构数据显示，在AI大模型的生产环境中，推理环节占了总计算成本的80%-90%。训练几百万美元一次就够了，推理是每天、每秒都在烧。用英伟达的H100去做推理？好比开着法拉利去菜市场买菜——性能确实强，但成本和功耗高得离谱。专用推理芯片（ASIC）把训练用的冗余电路全部砍掉，能效比直接翻几倍。这就是为什么Google有TPU、AWS有Inferentia、OpenAI在做"Jalapeno"芯片——所有人都在往同一条路上走。DeepSeek和智谱，不过是在这条路上跟上了全球第一梯队。二、推理vs训练：算力需求的结构性翻转我经常跟做服务器导购的朋友说一句话：判断一个技术方向值不值得跟进，就看它的算力流向了哪里。2023年，全球AI算力的80%用于训练大模型。到了2026年，这个比例完全倒过来了——推理算力消耗已经是训练的5倍以上。Trendforce预测，2026年ASIC（专用推理芯片）的增长率将达到44.6%，而GPU只有16.1%。彭博行业研究预测，到2033年定制AI芯片市场规模将达到1180亿美元。这意味着什么？对整个服务器行业来说，游戏规则变了。以前你买服务器，看CPU主频、核心数、内存大小就够了。现在你买服务器，要关心它有没有NPU（神经网络处理单元）、推理吞吐量是多少TOPS、显存带宽够不够喂大模型、有没有做算子加速的定制优化。这不是锦上添花，这是根本性的变化。三、推理服务器和普通服务器的本质区别很多人问我：耗子叔，我就想跑个AI服务，买台普通的云服务器不行吗？行，但你得想清楚成本账。一台2核4G的普通VPS，跑个网站绰绰有余。但如果你想跑一个7B参数量的大模型做推理，先不说能不能跑动，光是把模型参数加载到内存就需要14GB以上的显存。普通服务器呢？跑一个推理请求可能要等几十秒，用户体验就是灾难。推理服务器（或者叫AI推理云服务器）和普通服务器的本质区别，我给你列个表： 维度 普通服务器 AI推理服务器 核心算力 CPU GPU/NPU/TPU 内存要求 4-32GB 16-256GB+ 高带宽显存 关键指标 主频、核心数 TOPS、显存带宽 适合场景 Web应用、数据库 大模型推理、AI应用 成本 低 相对高，但单次推理成本低 能耗 一般 高，需要更好的散热 所以结论很简单：如果你只是建站、跑脚本、做代理，普通VPS足够了。但如果你想做AI应用——不管是ChatGPT类对话机器人、AI翻译、AI绘图——你需要的是一台推理优化的云服务器。四、2026年买AI推理服务器，你需要注意的三件事作为服务器导购的同行，我给几条实在的建议：1. 不要盲目追H100、A100英伟达的高端GPU现在什么价格？你猜。一个H100在灰市上的价格已经被炒到3-4万美元以上。坦白说，对你的大部分客户来说，根本不需要这个级别的算力去跑推理。企业的推理场景中，80%以上的需求用中端推理卡甚至纯CPU就能搞定。不要为了面子买你用不上的算力。2. 关注国产推理芯片的进展DeepSeek和智谱造芯这件事，最大的影响不是他们自己，而是带动了整个国产AI硬件生态的成熟。华为昇腾、寒武纪、地平线等国产芯片厂商，在推理场景上的性价比已经相当能打了。你说国产芯片和英伟达的差距？确实存在，尤其是单卡性能。但在推理场景中，规模化的性价比和供应链的稳定性，远比纸面参数更重要。你信不信，一个稳定的国产推理集群，长期来看比靠灰市渠道买来的H100要靠谱得多？3. 算力租赁比自购更香这也是2026年最大的变化之一。Meta传出出租多余AI算力的消息、各大云厂商都在推出按量计费的推理实例。对于大多数中小团队和个人开发者来说，租推理服务器比买推理服务器划算太多了。为什么？因为推理的负载不是恒定的。白天用户多，晚上用户少。如果你自己买服务器，你只能按照峰值负载去配置，闲时算力全部浪费。而按量计费的推理实例，高峰时弹性扩容，低峰时缩容，成本直接砍半。你不需要拥有一座发电厂，你只需要一个稳定便宜的插座。 是不是这个道理？五、总结DeepSeek和智谱秘密造芯这件事，表面上看是AI公司的硬件扩张。本质上传递了一个清晰到不能再清晰的信号——AI行业正在从"拼训练"转向"拼推理"，而推理算力，将是未来三年服务器市场最大的增长点。对你的客户来说，这意味着： - 如果你的业务涉及AI应用，是时候把推理服务器纳入考虑了 - 选型时，优先关注推理吞吐量和显存带宽，而不是单纯看CPU主频 - 用好算力租赁，比砸钱买硬件更聪明对整个行业来说，DeepSeek和智谱这一步棋，是在为国产AI算力生态打地基。虽然芯片从设计到流片需要两年以上的时间，但这条路必须走。供你参考。（全文完）