LLM Inference VRAM Calculator

LLM Inference VRAM Calculator 是一款能直观预估大模型部署所需的硬件资源的工具。支持通过简单设置模型类型、量化精度、批处理大小等参数，就能实时计算出所需显存、生成速度和吞吐...