AI 软硬件笔记
关于本地大模型部署、推理加速、GPU 集群与边缘 AI 的技术笔记。
文章
文章 →- 本地部署 70B 模型的显存账：量化、KV Cache 与并发
从实测出发，算清 70B 模型在单机或多机部署时显存到底花在哪，以及量化档位和并发数如何互相制约。
- 多机推理集群的互联选择：以太网、IB 与 RoCE 实测对比
在两节点 8 卡集群上对比三种互联方式在张量并行推理中的实际表现，以及什么规模下值得上 InfiniBand。
- 边缘设备跑 7B 模型：功耗、延迟与散热的三方博弈
在 Jetson 与国产边缘加速卡上部署 7B 模型的实际取舍，重点讨论持续负载下的功耗墙与散热限制。
- 双 DGX Spark 互联实测：桌面级集群能跑多大的模型
两台 DGX Spark 通过高速互联组成小集群，实测在张量并行与流水线并行下的可用模型规模和吞吐。
- 推理框架选型：vLLM、SGLang 与 TensorRT-LLM 的适用边界
三个主流推理框架在延迟、吞吐和部署复杂度上的差异，以及按场景选择的判断依据。