VLM in Robotics：端侧 AI 的工程挑战与职业机会

本文基于“一周一课 AI Infra 02 期”的飞书智能纪要与课件整理。导出材料未包含完整逐字稿，因此文中对数字和行业判断做了边界化处理，不将平台总结当作讲者原话。

从云上的千卡集群，到机器人体内的一颗芯片，都可以称为 AI Infra。但两者处理的主要矛盾并不一样：云侧首先解决规模协同，端侧首先解决资源约束。

机器人则是观察端侧 AI 的好样本。它同时需要处理视觉、语言、决策和控制，又受到实时性、功耗、散热、异构硬件和离线可用性的约束。当 VLM 走出演示环境，真正进入物理世界，模型能力只是起点，工程闭环才决定系统能否工作。

从几千张卡到一颗芯片

云侧 Infra 的典型问题是：如何让大量计算节点稳定、高效地完成同一个任务？因此工程团队会持续优化 AllReduce 通信、跨机传输、任务调度、负载均衡和节点容错。

端侧 Infra 的典型问题则是：如何在一块资源有限的设备上，以可接受的质量、时延和能耗运行模型？

维度	云侧关心点	端侧关心点
算力	如何扩展并行规模	如何用好有限的 CPU/GPU/NPU
内存	大容量集群内存的调度	GB 级内存中的权重、KV Cache 和中间张量
能源	机房级功耗与制冷	电池续航、峰值功耗和温控降频
可靠性	节点容错与任务重启	断网可用、安全兜底和硬件差异
优化重心	通信、调度、存储和容错	量化、图优化、编译适配和 Runtime

这个对比不是绝对二分。大型端侧系统同样需要调度，云侧推理也会受到单卡内存和能耗的约束。但它提供了一个很实用的切入点：先找到系统中最紧的约束，再决定优化什么。

为什么用机器人理解端侧 AI

机器人将端侧工程难点集中到了同一个系统中。

1. 硬件异构。 摄像头、激光雷达、里程计与 CPU/GPU/NPU 需要协同，任何一个数据搬运或算子适配问题都可能成为瓶颈。
2. 实时边界。 课件用“避障低于 100ms、意图获取低于 500ms”解释快慢任务的差异。这些数字是示例目标，真实阈值必须由运动速度、制动距离、传感器频率和安全策略共同确定。
3. 多模态闭环。 系统不仅要“看懂”，还要把理解转化为轨迹、速度或关节动作。
4. 离线与兜底。 网络失效时，安全相关的感知与控制不能一起失效，端云分工必须在架构阶段被明确。

VLM 主要解决视觉与语言的联合表征和理解；VLA 则继续向前，让视觉、语言和动作处于同一个建模框架中。课件中的示意图展示了一种 VLA 式结构：2D/3D 编码器融合环境信息，语言模型提供高层语义，动作解码器最终输出轨迹。

这里最容易被忽略的一点是：模型能在测试集上回答问题，不等于它已经能够稳定驱动机器人。从 token 到 action 之间，还隔着时钟同步、传感器校准、不确定性估计、控制频率、安全规则和故障退化。

从 PyTorch 到硬件 Runtime 的六个环节

端侧部署不是一次文件转换，而是一条带验证关口的工程链路。

flowchart LR
    A["模型选择"] --> B["格式转换"]
    B --> C["量化压缩"]
    C --> D["图优化"]
    D --> E["编译生成"]
    E --> F["Runtime 集成"]
    F --> G["真实数据回放"]
    G --> A

1. 模型选择：先定义任务，再比参数量

2B、4B 还是 7B，并不能只看通用榜单。应当先固定真实输入分布、任务质量指标和时延预算，再比较原始模型、蒸馏模型和专项小模型。对机器人而言，“更小但更稳定”往往比“更大但时延波动明显”更有价值。

2. 格式转换：导出成功不等于语义一致

常见路径是从 PyTorch 导出 ONNX，或进入 ExecuTorch、LiteRT、TensorRT 等目标工具链。转换后必须用固定样本对比原模型与目标模型的输出，检查算子支持、动态形状和数值偏差。

3. 量化压缩：质量损失必须由任务实测

PTQ 成本低，适合快速建立 INT8/INT4 基线；当 PTQ 无法达到质量目标时，可以考虑 QAT、混合精度或更细粒度的量化方案。不应预设“精度损失一定小于某个百分比”，结论取决于模型、任务、校准集、量化粒度和芯片算子。

4. 图优化：算得少，也要搬得少

算子融合、常量折叠、内存复用和冗余分支删除都属于图优化。对端侧设备来说，访存和数据格式转换常常比算术运算更贵，因此不能只看 FLOPs。

5. 编译生成：把通用图变成硬件可执行计划

编译器需要根据 CPU、GPU 或 NPU 的指令、内存层级和算子库生成执行代码。同一张图在不同芯片上的最优切分不同，这也是端侧工具链难以完全统一的原因。

6. Runtime 集成：最后一公里往往最长

Runtime 不只负责调用模型，还要管理线程、内存、输入队列、异构设备同步与错误恢复。在机器人中，它还需要接入 ROS 或自研控制框架，将感知输入、模型输出和规划控制串成稳定闭环。

部署优化必须有一张指标表

“能跑”不是交付标准。每次更换模型、量化策略、编译参数或算子实现后，都应当回到同一组测试数据上重新测量。

指标	要回答的问题
任务质量	量化或剪枝后，真实任务的成功率是否下降？
P50/P95/P99 时延	平均值之外，尾延迟是否会破坏控制周期？
峰值内存	权重、Cache 和中间张量是否可能引发 OOM？
功耗与单次能耗	更快的方案是否导致续航明显下降？
温度与频率	长时间运行后是否发生热降频？
稳定性	连续运行、断网、丢帧和输入异常时如何退化？

端侧 Infra 的核心思维可以浓缩成一句话：用性能数据驱动决策，而不是用工具名称装饰项目。

一条可执行的六个月项目路线

课件将入门拆成了三个阶段：基线部署、分层优化和真实场景闭环。这个顺序比“先学完所有编译器和硬件知识再动手”更有效。

第 1-2 个月：建立可复现基线

• 选择一个小模型和明确任务，固定测试集。
• 完成 FP32/FP16 基线和 INT8 量化。
• 记录质量、时延、峰值内存和模型体积。
• 输出一份可重跑的 Benchmark 报告，而不是一张成功截图。

第 3-4 个月：进入分层优化

• 对比 PTQ、混合精度、剪枝或蒸馏的实际收益。
• 使用 Profiler 区分计算、访存、数据转换和 I/O 瓶颈。
• 尝试一项图优化或算子替换，说清为什么有效。
• 用同一份数据回归测试，避免速度提升却破坏任务质量。

第 5-6 个月：做出场景闭环

• 选择缺陷检测、避障识别或视觉指令理解等任务。
• 完成从输入采集、预处理、推理到下游动作的端到端链路。
• 加入断网、丢帧、超时和模型失败的兜底策略。
• 持续运行并记录热降频、内存泄漏与尾延迟。

云 GPU 可以支持模型转换、量化实验和部分性能对比，但不能替代目标硬件。芯片驱动、NPU 算子覆盖、真实功耗、温控和外设集成，最终都要回到实际设备上验证。

岗位不是一个统一的“端侧 Infra”

课件将相关工作分为四类，它们对背景的偏好很不一样。

1. 模型压缩与量化：靠近算法与应用，重点是质量、体积和速度的权衡。
2. 推理引擎与算子：靠近 C/C++、并行计算和内存系统，需要能够定位底层性能瓶颈。
3. 芯片与 NPU 适配：需要理解硬件架构、编译器与算子库，目标是将芯片能力稳定地暴露给上层。
4. 端云协同与调度：需要根据时延、隐私、带宽、成本和可靠性决定任务放在哪里。

这张图可以当作决策起点，但不是职业结果保证。更稳妥的方法是从已有优势出发：

• 有 Kubernetes 或大规模运维背景，可以先深化集群调度、推理平台和可观测性，再逐步补端侧工具链。
• 有嵌入式 C/C++ 背景，与 Runtime、算子开发和设备集成的距离更近。
• 有芯片、驱动或编译器背景，可以向 NPU 适配和混合精度执行深入。
• 尚在校招阶段，不必为了概念热度放弃已有积累；可以先用一个可验证的端侧项目建立交集。

招聘中最有说服力的不是“用过 TensorRT”，而是能够说清：初始瓶颈是什么，为什么选这个方案，付出了什么质量代价，最终在真实硬件上改善了哪些指标。

未来三年，值得跟踪的四个方向

1. VLM 向 VLA 和世界模型延伸

纯视觉识别会继续存在，但更多机器人系统会尝试把语义理解、状态预测和动作生成放进统一架构。这会同时推高模型能力和部署难度。

2. 异构编译和 Runtime 成为通用基础设施

模型架构不断变化，芯片各自提供工具链，中间层需要更好地吸收算子差异、动态形状和混合精度执行。

3. 端云不是替代关系，而是动态分工

时延敏感、隐私敏感和安全关键任务更适合在端侧完成；复杂推理、全局知识更新和大规模训练仍会依赖云端。真正的工程问题是怎样分配、迁移和降级。

4. 性能数据与现场反馈构成新壁垒

当模型和工具越来越容易获得，团队的差异会更多来自真实设备的长期数据：哪些输入会让模型失效，哪些算子会在特定温度下降频，哪些降级策略能真正保证安全。

从这周开始的行动清单

• [ ] 选择一个开源小模型，在固定数据集上跑出原始基线。
• [ ] 完成一版 INT8 或 INT4 量化，对比质量、时延、内存和模型体积。
• [ ] 选择一个硬件平台或目标 Runtime，读完它的算子支持与部署文档。
• [ ] 用 Profiler 找到一个真实瓶颈，而不是盲目调整编译参数。
• [ ] 把每次改动写进 Benchmark 报告，记录收益、代价和复现方法。
• [ ] 参与一个开源项目或找到有真实硬件反馈的实习场景。

端侧 AI 已经存在于手机、汽车、无人机、工业设备和机器人中。对个人来说，最有价值的动作不是预测哪个方向会最热，而是尽快做出一个能测量、能复现、能解释权衡的项目。

参考资料

• 一周一课 AI Infra 02 期，飞书智能纪要与课件，2026-08-29（导出材料未包含完整逐字稿）
• ONNX Introduction
• PyTorch ExecuTorch Documentation
• Google AI Edge LiteRT
• Apache TVM Documentation
• NVIDIA TensorRT