边缘设备跑 7B 模型：功耗、延迟与散热的三方博弈

边缘部署和机房部署最大的区别不是算力，而是散热与功耗的物理约束。峰值性能意义有限，持续性能才决定能不能用。

三个互相拉扯的量

• 功耗墙：设备供电和散热设计的上限
• 延迟：单次推理的响应时间
• 吞吐：单位时间能处理的请求数

三者不可能同时最优。提高功耗能换吞吐，但散热跟不上就会降频；追求低延迟往往要牺牲批处理效率。

实测观察

在 Jetson 级别的设备上跑 7B INT4 模型，几个可复现的现象：

1. 短时突发性能明显高于持续性能。前 30 秒能跑到标称值，之后因温度上升触发降频，吞吐下降 15~30%
2. 被动散热与主动散热的差距远大于芯片规格差距。同一块板子加风扇，持续吞吐能提升接近一倍
3. 批处理在边缘设备上收益有限。显存和功耗都不允许大 batch，通常 batch=1~4 就饱和

部署建议

按实际场景选配置，不要照搬机房经验：

场景	建议
单路视频分析	batch=1，优先降延迟，INT8 视觉模型 + INT4 语言模型
多路并发	限制并发数，宁可排队也不降频
长时间运行	必须解决散热，否则持续性能不可预测

一个务实的做法

先测持续性能而不是峰值性能：跑 30 分钟稳定负载，记录吞吐随时间的变化曲线。这条曲线才是你能承诺给业务方的数字。

如果曲线在前 5 分钟就明显下滑，说明散热设计不合格，加算力没有意义——瓶颈在物理层，不在芯片。