Llama Server 启动面板

系统内存

—

已用 / 总内存

—

可用内存

—

内存使用率

整台服务器的物理内存；可回收的缓存计入可用内存。

GPU 状态（V100 32GB）

—

显存占用

—

GPU 利用率

—

温度

llama-server 程序路径

加载模型

视觉模型 (mmproj)

自动读取项目 models 目录中的全部文件；这里与主模型使用相同列表，不按文件名判断类型。

Slot 数量（并发槽位，-c 会均分到每个 slot）

总上下文大小 tokens（手动输入任意值）

KV Cache 类型

Flash Attention

通常可降低长上下文注意力的显存占用并提升速度；兼容性不确定时使用 auto。

KV 显存预估

—

API Key（留空则不启用鉴权）

监听地址

端口

GPU 层数 (-ngl)

修复版 Chat 模板文件路径（留空 = 用模型内置模板）

填这个 froggeric/Qwen-Fixed-Chat-Templates 的 chat_template.jinja 路径，可修复默认 xhigh 烧 token、关思考崩溃、空思考块占上下文等问题。

推理深度（启用修复模板时生效）

推测解码 / MTP（加速生成，用显存换速度）

MTP 草稿 token 数（启用 draft-mtp 时生效）

值越大单步预测越多 token，可能加速更多，但额外显存占用也越大。

草稿模型 K Cache (-ctkd)

仅影响推测解码的草稿模型，不影响主模型的 -ctk。

草稿模型 V Cache (-ctvd)

仅影响推测解码的草稿模型，不影响主模型的 -ctv。

开机自启大模型（面板启动后自动用以上参数拉起 llama-server）

未运行

本轮参考：不同精度 KV cache 对显存的影响（32GB 实测）

KV 精度	每 1K tokens	1 slot 最大上下文	2 slot（每槽减半）
FP16	~66.6 MB	约 244K（开不到 262K）	每槽 122K
Q8_0	~39.8 MB	262K ✅	每槽 131K
Q4_0	~23.4 MB	262K ✅	每槽 131K

运行日志

正在连接 GzWeb2