标签: 推理部署

从实测出发，算清 70B 模型在单机或多机部署时显存到底花在哪，以及量化档位和并发数如何互相制约。