AI 软硬件笔记 https://ai.147444.xyz/zh/ 关于本地大模型部署、推理加速、GPU 集群与边缘 AI 的技术笔记。 zh-CN 本地部署 70B 模型的显存账：量化、KV Cache 与并发 https://ai.147444.xyz/zh/posts/vram-70b-quantization/ https://ai.147444.xyz/zh/posts/vram-70b-quantization/ Tue, 20 Oct 2026 00:00:00 GMT 从实测出发，算清 70B 模型在单机或多机部署时显存到底花在哪，以及量化档位和并发数如何互相制约。 多机推理集群的互联选择：以太网、IB 与 RoCE 实测对比 https://ai.147444.xyz/zh/posts/interconnect-tensor-parallel/ https://ai.147444.xyz/zh/posts/interconnect-tensor-parallel/ Mon, 12 Oct 2026 00:00:00 GMT 在两节点 8 卡集群上对比三种互联方式在张量并行推理中的实际表现，以及什么规模下值得上 InfiniBand。 边缘设备跑 7B 模型：功耗、延迟与散热的三方博弈 https://ai.147444.xyz/zh/posts/edge-7b-power-thermal/ https://ai.147444.xyz/zh/posts/edge-7b-power-thermal/ Mon, 28 Sep 2026 00:00:00 GMT 在 Jetson 与国产边缘加速卡上部署 7B 模型的实际取舍，重点讨论持续负载下的功耗墙与散热限制。 双 DGX Spark 互联实测：桌面级集群能跑多大的模型 https://ai.147444.xyz/zh/posts/dual-dgx-spark-cluster/ https://ai.147444.xyz/zh/posts/dual-dgx-spark-cluster/ Tue, 15 Sep 2026 00:00:00 GMT 两台 DGX Spark 通过高速互联组成小集群，实测在张量并行与流水线并行下的可用模型规模和吞吐。 推理框架选型：vLLM、SGLang 与 TensorRT-LLM 的适用边界 https://ai.147444.xyz/zh/posts/inference-framework-selection/ https://ai.147444.xyz/zh/posts/inference-framework-selection/ Wed, 02 Sep 2026 00:00:00 GMT 三个主流推理框架在延迟、吞吐和部署复杂度上的差异，以及按场景选择的判断依据。