AI与多云时代,Infra如何从资源管理转向系统能力

Feng 22 阅读 AI技术

过去十年,Infra(基础设施)大概是技术行业中确定性最强的领域之一:业务增长拉动流量,流量催生机器需求,机器需求又推动扩容、调度、监控与容灾。只要系统还撑得住,Infra 的价值往往就被归结为“稳定支撑”。然而在今天,这种认知正快速失效。

当 LLM、实时计算、边缘场景、多云架构与 AI Agent 一同进入生产系统,Infra 面临的问题已不是“资源够不够”,而是“能否把异构资源组织成可持续演进的系统能力”。换言之,Infra 正从后台支撑转变为决定业务上限的前台变量。

从“资源视角”转向“能力视角”

传统 Infra 的核心命题是资源管理:计算、存储、网络如何分配、隔离、调度与监控。Kubernetes 能成为事实标准,正因为它将大量异构资源抽象为统一调度对象,使应用得以在声明式模型下运行。这一阶段的关键词是弹性、可用性与自动化。

但资源视角存在天然局限:它默认业务需求相对同质。Web 服务、数据库、消息队列虽然形态各异,却大多能用 CPU、内存、磁盘和网络带宽来描述。进入 AI 时代后,这一假设被打破了。

以 LLM 推理为例,系统瓶颈不再只是 CPU 利用率,而是 GPU 显存、CUDA 生态、推理框架、批处理策略、KV Cache 管理、模型加载时间与网络带宽之间的复杂耦合。一个推理服务的吞吐和延迟,常常取决于 Infra 是否理解模型结构、请求模式与硬件拓扑。此时,单纯提供“一块 GPU”已无意义,真正有价值的是提供“可预测的推理能力”。

这正是从资源视角转向能力视角的关键:Infra 不再只回答“有多少资源”,而要回答“能提供什么等级的服务能力”。这包括:

异构算力编排能力:CPU、GPU、NPU 等混合资源如何统一调度;

数据通路能力:训练数据、模型权重、推理请求如何高效流动;

弹性与隔离能力:多租户、多任务下如何保证关键业务不被挤占;

可观测与治理能力:不仅看指标,还要看成本、能效和业务语义。

这种转变意味着 Infra 团队需要更深入地理解上层负载。过去,Infra 可以把自己定位为“平台”,把业务逻辑留给应用团队;未来,Infra 必须与算法、数据和业务团队共同定义 SLO。否则,资源再多,也可能无法转化为稳定的业务产出。

Infra 的竞争力,正在变成“系统协同效率”

如果说第一个变化是视角变化,那么第二个变化就是竞争方式的变化。过去 Infra 的竞争,常常是单点能力的竞争:谁家的虚拟机更快、谁家的对象存储更便宜、谁家的 Kubernetes 发行版更易用。但在复杂负载面前,单点优势很容易被系统短板抵消。

一个典型的 LLM 服务流程,至少涉及模型加载、请求排队、批处理、GPU 计算、结果返回和监控计费。任何一环出现抖动,都会影响整体体验。此时,Infra 的核心竞争力不再是某个组件有多强,而是系统协同效率有多高。

这种协同效率体现在几个层面:

第一,软硬件协同。 同一块 GPU,在不同推理框架、不同并行策略和不同批处理配置下,表现可能差异巨大。Infra 需要把硬件特性、编译优化和运行时调度放在一起考虑,而不是把 GPU 当作黑盒资源。

第二,多集群与多云协同。 企业越来越难把全部负载放在单一云或单一集群中。成本、合规、灾备和供应链因素,都会推动多环境部署。Infra 的挑战在于,如何让应用在多集群之间保持一致体验,而不是让每个环境都变成孤岛。

第三,成本与性能协同。 AI 负载的成本结构与传统 Web 服务不同,GPU 小时费用、数据搬运费用和闲置成本可能占据大头。Infra 如果只优化延迟,不关注利用率,就可能做出“性能很好但商业上不可持续”的系统。

第四,组织协同。 Infra 不再是纯技术问题。它需要和财务、采购、安全、合规以及业务团队共同制定策略。FinOps、平台工程和 SRE 的边界正在模糊,原因就在于系统效率已经无法由单一团队独立决定。

一个明确的趋势是:未来 Infra 的评估指标,会从“资源利用率”扩展到“单位业务产出的系统效率”。这包括每美元推理成本、每瓦性能、每请求碳排以及故障恢复时间等更贴近业务和可持续性的指标。

趋势判断:Infra 会走向“隐形化”和“专业化”并存

一个有趣的悖论是:Infra 越重要,它越应该变得“隐形”。对于大多数应用开发者来说,理想的 Infra 是无需关心底层细节,却能获得稳定、弹性且成本可控的能力。这意味着平台层需要吸收更多复杂性,把异构算力、调度策略和容灾逻辑封装成简单接口。

但与此同时,Infra 本身会变得更加专业化。通用 Kubernetes 运维能力仍然重要,但远远不够。未来更需要的是懂 AI 负载、懂数据通路、懂能效优化和懂成本治理的 Infra 工程师。他们不一定写业务代码,但必须理解业务如何转化为系统需求。

这种“隐形化”和“专业化”并存,会带来两个结果:

一方面,Infra 平台会进一步产品化,成为企业内部的自助式能力中心;

另一方面,Infra 团队会进一步分化,出现专注推理平台、训练平台、数据平台和边缘平台的不同角色。

结论

Infra 正在经历一次从“资源堆叠”到“系统能力”的升级。它的核心任务不再是简单提供机器和集群,而是把异构算力、数据通路、调度策略、成本治理和业务 SLO 组织成一个可持续演进的系统。

对于技术团队来说,这意味着三件事:第一,重新定义 Infra 的衡量指标,从利用率走向业务产出效率;第二,打破平台、算法和业务之间的边界,建立协同机制;第三,接受 Infra 既会变得更隐形,也会变得更专业。

可以确定的是:谁能把复杂基础设施转化为稳定、高效且可解释的业务能力,谁就能在下一阶段的竞争中占据主动。Infra 不再只是后台,它正在成为业务创新的底层变量。

ID:4620

Feng
这位作者很神秘,还没有填写简介。