业界全力普及 Token 速率、斥责老本，撑捏千行百业越过智能体界限落地临界点。

文｜游勇

编｜周路平

不久前的 2025 东谈主工智能贪图大会上，海浪信息公布了一份业内在意的收成单：基于元脑 SD200 超节点 AI 事业器，DeepSeek R1 大模子 Token 生成速率仅需 8.9 毫秒，创造国内大模子最快 Token 生成速率；而最新发布的元脑 HC1000 超膨大 AI 事业器，齐全每百万 Token 老本初度击破 1 元大关。

海浪信息在鼓吹 AI 推理认真插足" 10 毫秒、1 块钱"的时间，而背后是底层算力在应酬智能体大界限应用时靠近的两大挑战：一方面，多智能体之间的交互，对反映速率愈加严苛；另一方面，智能体带来 Token 破钞量的指数级增长，奈何斥责 Token 生成的老本，成了智能体大界限应用以及异日能否齐全贸易闭环必须要攻克的一环。

在业内看来，Token 速率的普及和老本的大幅斥责有望鼓吹千行百业加快应用智能体。

速率与老本，已成智能体时间头号敌东谈主

本岁首，DeepSeek 在推理模子上的推崇以及 Manus 令东谈主目前一亮的施行，快速鼓吹大模子从练习插足以智能体时期为代表的推理时间。能够齐全自主谋略践诺旅途、生动调用器具的智能体，不论是在 C 端应用，照旧在 B 端商场，王人爆发出弘大的应用后劲。本年也被以为是 Agent 元年。

德勤揣摸，到 2025 年，将有 25% 的企业部署生成式 AI 运转的智能代理；到 2027 年，这一比例将升至 50%。

2025 年 8 月，国务院也出台了《对于深入实施"东谈主工智能 + "举止的倡导》，明确提议到 2027 年，新一代智能终局、智能体等应用普及率超 70%。

而中国东谈主工智能企业的数目还是额外 5000 家，平均约 11 个小时就有一家东谈主工智能企业降生。智能体落地旭日东升，各样智能体产物和智能体斥地平台推而广之。不论是汽车、金融、收罗安全、电商以及协同办公等行业王人在探索智能体的应用场景。而在编程、客服、营销、办公助手、贸易智能、常识助手等通用场景还是看到了奏效。在不久前的 WAIC 上，各厂商的重点险些王人放在了智能体的落地上。

"智能体还是插足到大界限贸易部署的阶段。"海浪信息首席 AI 策略官刘军说，国内几个头部的 AI 产物，调用量还是相称大，Token 增长的比例王人是每月几倍的增长，而国内本年比客岁的 Token 调用量可能会上涨 50 倍。 2025 年 5 月底，火山引擎线路，豆包大模子日均 tokens 使用量额外 16.4 万亿。腾讯在本年 9 月默示，当今用户每天向元宝的发问量还是达到年月吉个月的总额。

但行业猛火烹油的背后，大模子应用落地从练习走向推理，这也给行业带来速率与老本的双重考验。

百度智能云 CEO 沈抖曾提到，因为在大模子推理上，推理的责任负载会跟着流量界限、输入输出长度的变化而变化。为了保捏高迷糊、低时延，时常需要多个节点之间协同完成贪图与通讯。若是通讯和贪图的换取不够高效，就会变成算力空转、恭候时辰增多，推感性能着落，"这个时候，单靠堆卡是不够的，需要作念系统性的优化。"

"智能体插足大界限贸易化应用时，反映速率成了企业的中枢竞争力之一。"刘军说，"对于 Agent 速率的痛点，公共在产业内部感知到了，然则一直莫得很明确地去把这个问题放到这样攻击的位置上。"

过往所以 Chat 为中枢的东谈主机交互，对蔓延没那么尖刻，只需要跟上东谈主的阅读速率就基本能餍足需求。但智能体时间，东谈主机交互进化成智能体与智能体之间的交互，而智能体汲取信息的速率险些莫得上限，智能体之间的交互对于蔓延的痛感越来越激烈。比如金融行业的诓骗检测需要作念到 10 毫秒傍边、具身智能的谋略决议需要作念到 50 毫秒。

而且，跟着单一智能体走向多智能体，每一个步调的蔓延王人会累加，最终让蔓延变得不成接管。"若是蔓延不作念到阔气低的话，莫得贸易的可能性。"刘军说。

除了推理模子的反映速率，繁荣的需乞降 Token 的指数级增长也给全行业带来另一个幸福的烦躁：底层的算力基础设施能否把推理老本作念得阔气低。

"咱们看到了 Token 老本带给整个产业的弘大压力。"刘军说，"客户最照顾的问题转为了老本是不是阔气低，是不是能够齐全一个超大界限的膨大，使得我的基础设施能够撑捏大界限应用事业的才调。"

现时，企业部署一个智能体平均每月的 Token 老本大略是 1000 到 5000 好意思元。以 OpenAI 的 GPT-5 为例，其在处理复杂任务时，输入 Token 老本为每百万 1.25 好意思元，输出 Token 为每百万 10 好意思元。

尽管行业的 Token 老本每半年就出现较大幅度的着落，但跟着大界限应用，奈何斥责老本依然是行业所照顾的话题。尤其是超大界限的贸易用户，对老本的感知会愈加长远。

"省老本是用户体验相称攻击的一个研究。"百度集团副总裁侯振宇说，百度智能云针对推理事业，再行想象了换取器、加快引擎与 KVCache 系统，在万卡集群界限上齐全了迷糊大幅普及与首 Token 蔓延显贵着落。

国庆假期前，DeepSeek 特意发布了新款推理模子，引入全新的稀少可贵力机制，齐全了推理老本大幅斥责，斥地者调用 API 的价钱斥责 50% 以上。

火山引擎亦然国内在 AI 推理上降价最为凶猛的云厂商之一。火山引擎总裁谭待曾默示，单个 Agent 任务的 Token 破钞量可达传统聊天场景的数十倍，老本成为界限化应用的制肘，"往日东谈主与模子聊一小时耗 20 万 Token，如今 Agent 处理一个复杂任务就要 20 万 Token，降价是普及的前提。"

春江水暖鸭先知。当这些模子厂商、AI 云厂商抒发出对速率和老本的激烈痛点时，算作国内算力龙头，海浪信息所处的生态位，也让其更早地捕捉到行业演进的趋势，"随机一般界限的企业当下对老本的感知不彊，但老本一定是在超大界限的贸易用户最初感知到这样一个分袂。"刘军说，海浪信息正在基于底层贪图架构的改进优化，探索了一条更契合行业发展的降本提效旅途。

海浪信息奈何作念到" 10 毫秒、1 块钱"？

算作海浪信息在推理场景的主打产物，HC1000 和 SD200 背后有着明确的客群。HC1000 会更合乎大界限的互联网客户，他们对戒指老本有着更强的感知和需求。SD200 则是餍足在行业应用时对蔓延条款敏锐的客户，强调东谈主工智能 + 产业落地，比如金融行业、具身智能等。

"咱们不会为了时期而去作念时期，为了研究而去作念研究，更多是针对产业的中枢挑战来针对性地优化想象。"刘军说，海浪信息在处理算力痛点时，一直坚捏的念念路所以应用为导向，以系统为中枢。

海浪信息针对 Agent 的全链条作念了深入精良的量化分析，找到了每个步调可能会影响速率的身分，然后趋承在中枢部分进行攻关。

比如海浪信息发现，智能体之间的交互，通讯数据包相对较小，超大带宽的用途不是特别大。刘军作念了个形象的譬如，就像是从 a 地到 b 地修了 16 车谈的高速公路，然则车辆在 16 车谈上只跑了很短的距离，反而在上高速和下高速这两个节点花了很永劫辰，"咱们重点就处理了车辆上高速和下高速的速率问题，让车辆纵贯上去，纵贯下去"。

此外，海浪信息也对架构层面作念了改进，比如元脑 SD200 给与了改进的多主机 3D Mesh 系统架构，将多个主机的 GPU 资源整合成一个和洽的贪图域，况且当中能够齐全跨主机域全局和洽编址。况且通过 Smart Fabric Manager，元脑 SD200 齐全了超节点 64 卡全局最优路由的自主创建，保险 AI 芯片间通讯旅途最短，进一步缩小基础通讯蔓延。

而影响 Token 生成老本的一个关节身分是目前推理的算效太低。刘军线路，大模子在推理历程中的算效比相称低，"可能比练习低以至一个数目级以上。"

其中，推理算效低的一大原因在于贪图负载不平衡。

业内目前的多量作念法是 PD 分离，将预填充妥协码两个阶段分开部署，齐全了贪图资源的更细粒度换取与哄骗，为普及迷糊、斥责蔓延提供了结构基础。

除了业内常用的 PD 分离，海浪信息在背后作念了更多的分离时期来普及算效。比如在 Decode（解码）阶段，把可贵力贪图和 FFN 贪图远离，在 FFN 部分又把不同的群众远离。通过这些充分的拆解妥协耦，让每一块 GPU 的贪图效果阔气高，最终带来了算效的倍数普及。

海浪信息最新发布的元脑 HC1000 超膨大 AI 事业器就给与了全对称的 DirectCom 极速架构，不错智能换取每个步调的算力需求，不让贪图资源闲置或恭候，让它时刻处于贪图和通讯景色，整个收罗的哄骗率接近 98%，"把贪图哄骗率调提高快要 7 倍"。

而在硬件层面，元脑 HC1000 改进了 16 卡贪图模组想象、单卡"贪图 - 显存 - 互连"平衡想象，大幅斥责单卡老本和每卡系统分担老本。同期，全对称的系统拓扑想象支捏超大界限无损膨大。据测算，元脑 HC1000 的推感性能比较传统 RoCE 普及 1.75 倍，单卡模子算力哄骗率最高普及 5.7 倍。

而且，当推理历程被尽可能地解耦之后，系统对单芯片的性能依赖也大幅减小。过往，业内主流 AI 芯片的解题念念路是在不停普及单芯片的性能，额外于一个六边形战士。但如今解耦之后，每个阶段对芯片的需求出现相反，用户不错毋庸上流的高带宽内存，也能得回很高的算效。这种全局的处理念念路更合乎现时国内因为难以得回高端 GPU 卡而出现的算力瓶颈。

固然，从产业发展的视角来看，百万 Token 输出老本一块钱是现时国内的最好水平，但远不是算力演进的特殊，"异日 5 年咱们评估的数是跟着 Token 数目的增长，需要相对应的齐全单 Token 老本同等的数目级的着落，才能保捏一种平衡。"刘军说。

结语：AI 贪图架构将走向专用

骨子上，现时的 GPU 和 ASIC 芯片王人是通用贪图芯片，不是针对大模子去作念的极致优化，内部仍然有许多的冗余。"要跟上 Token 高速增长的要领，咱们就一定要去改造贪图的架构。"

刘军以为，当行业处于 AI 应用的起步和探索阶段，平台斥地生态的通用性会愈加攻击，不错齐全与不同的斥地生态和软件生态耦合。但若是插足到大界限贸易部署阶段，这种形状很快会遭受瓶颈，普惠 AI 将变得牛年马月。

"只消形成了一定的产业界限，最终会向极致的定制化和专科化的想象蜕变。"刘军说，"这是一个专用与通用对立和洽、轮换发展的历程。若是说 AI 的上半场是练习，那么下半场将是推理。大模子具有一次练习、无穷次推理的特色，而模子权重在推理时是固定的，给与算法硬件化的专用贪图架构将更合乎推理场景，这应当是异日的发展目的。"

刘军提到了一个例子，D. E. Shaw 策划所是搞量化的始祖，这家机构为分子能源学打造了一台特殊想象、功能单一的专用超等贪图机 Anton，通过算法改进和软硬件协同，最终使得其在分子能源学模拟中得回了比通用贪图机高出百倍的贪图能效。

这给 AI 贪图架构也提供了鉴戒。当大模子插足到一个界限海量、应用相称趋承的阶段时，"通用就一定不合算"，海浪信息以为，给与算法硬件化的专用贪图架构更合乎推理场景，探索斥地专用大模子芯片，齐全软硬件深度优化，针对大模子的核默算法算子去作念极致优化，"惟有这样性能膨大定律才能跟得上 Token 增长的海量需求"。

© 本文为数智前哨（szqx1991）原创内容

进群、转载或商务配合联系后台

著述精选开云(中国)Kaiyun·官方网站 - 登录入口