标签: 推理框架

1 篇

推理框架选型：vLLM、SGLang 与 TensorRT-LLM 的适用边界
三个主流推理框架在延迟、吞吐和部署复杂度上的差异，以及按场景选择的判断依据。
2026年9月2日推理框架 · vLLM · SGLang