从训练到推理，基础设施的关注点变了

随着 AI 推理（inference）成为企业工作负载的主流，组织需要重新思考底层基础设施的设计逻辑。过去，算力规模往往是唯一的标尺；如今，速度、能效、可扩展性与每瓦性能共同决定了一套系统能否把 AI 的真正价值释放到现实业务中。

Tirias Research 创始人兼首席分析师 Jim McGregor 指出，业界常把 AI 当作单一工作负载，但事实并非如此。他在与 MIT Technology Review Insights 的合作分析中表示：”AI 不是单一工作负载，而是成千上万、乃至数十亿个不同的工作负载。”推理任务往往是持续的、地理分布的，并且对响应时间高度敏感，这就要求系统从一开始就被设计成可扩展、有韧性且高效的形态。

医疗保健系统实时分析数以百万计的数据点以加速救命研究、智能助手一次性解决数千个复杂客户诉求——这些真实场景都依赖一套先进的基础设施作为”持续智能”的引擎，在支撑实时服务的同时，也驱动着越来越聪明的物联网与消费级设备边缘。在这一由推理驱动的新格局里，每一次延迟、每一个瓶颈、每一瓦浪费，都会直接影响结果质量与运营成本。

数据搬运成为新瓶颈

传统企业 IT 可以依赖相对稳定的基础设施假设，但推理与智能体（agentic）AI 带来了延迟、数据搬运、可扩展性和利用率方面的全新需求。以检索增强生成（RAG）为例，这类技术需要系统不断扫描海量数据库以生成准确回答，不仅对算力要求高，更要求数据能够被即时取用。

McGregor 认为，随着数据实时查询量的激增，”数据如何在更广的架构中被高效搬运、缓存和交付”变得至关重要，内存与存储由此从后台支撑角色上升为战略资产。单纯采购最快的处理器已不够，推理高度依赖内存带宽、缓存、存储就近性，以及快速稳定取回相关信息的能力。他强调，最高效的 AI 基础设施看上去不像一堆顶级零件的堆叠，而更像计算、内存、存储与网络的均衡系统。”你必须把这四者作为一个整体来设计才能高效，这正是挑战所在。”

把基础设施采购当成战略

规划 AI 基础设施不只是挑选最快的硬件，更关键的是如何在技术快速迭代时避免被过早锁死。McGregor 提出几点框架：

• 先明确要优化的 AI 工作负载，避免为泛化的”AI 就绪”过度投入而留下瓶颈；
• 为计算、内存、存储、供电与散热构建模块化架构，让容量随需求变化；
• 与完整的供应商和集成商生态合作，降低供应风险；
• 持续重估采购策略，因为硬件与商业模式变化太快；
• 优化效率与投资回报，而非只追求峰值性能——能效本身已是面向公众的指标，更高的利用率能回应外界对耗电与耗水的审视。

结论

在推理时代，内存与存储不再是被动的仓库，而是 AI 持续运转的”血液”。McGregor 预测，未来的竞争优势将越来越多属于那些把计算、内存、存储与网络当作一个整体、能够规模化且可量化回报地高效交付 AI 的企业。他总结道，采购即战略，系统设计已是领导层议题——”每一位高管都必须回答的一个核心问题是：AI 将如何改变我的商业模式？”

*本文基于 MIT Technology Review Insights 发布的行业分析，该内容由人类研究撰写，并在人工监督下使用 AI 工具辅助生产流程。*