本文记录我在本地用 Strata (RDNA3 版) 部署 Qwen3.8-Flash-Next 的完整命令与每个参数的含义，纯抄作业向，跑不起来就对照检查。
一、这套配置是什么
本机硬件环境
| 硬件 | 型号 / 规格 |
|---|---|
| CPU | Intel Xeon E5-2673 v3 @ 2.40GHz（12核24线程，L3 30MB） |
| 内存 | 128GB（125GiB，主进程常驻 110GB+） |
| 显卡 | AMD Radeon RX 7900 XTX（24GB VRAM，RDNA3） |
| Swap | 8GB |
软件栈
- 推理引擎：Strata-rdna3（AMD RDNA3 显卡的 build-post 构建）
- 主模型：Qwen3.8-Flash-Next-Uncensored，Q4_K_M 量化，3 分片 GGUF
- 上下文：256K（262144 tokens），KV 用 int8 压
- 加速手段：MTP（Multi-Token Prediction）+ 投机解码（spec=4）
- 多模态：单独起一个 strata-vision 进程负责图像编码
二、模型文件清单
先准备好这几个文件，路径以我的为准，按需替换：
| 文件 | 用途 |
|---|---|
Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf |
主模型（3 分片，放同一目录即可） |
mmproj-Qwen3.8-Flash-Next-BF16.gguf |
视觉 projector |
pack-q4_k_m/ |
Strata 权重 pack |
mtp-orca-rt/ |
MTP 草稿头 |
expert-profile.bin |
专家路由画像 |
三、主服务启动命令（直接抄）
/root/strata/Strata-rdna3/build-post/strata --serve \
--pack /root/models/orcarouter/pack-q4_k_m \
--native /root/models/orcarouter/Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf \
--ple-gguf /root/models/orcarouter/Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf \
--expert-profile /root/strata/shared-data/expert-profile.bin \
--expert-cache auto --prefill auto \
--spec 4 --spec-min-p 0.70 \
--mtp /root/models/mtp-orca-rt --mtp-q4 all \
--max-context 262144 --mtp-window 4096 \
--kv int8 --kv-resident 32768 \
--vram-reserve-mib 768 \
--ple-io ram --ple-row-cache 1048576 \
--pcie-frac 0.20 \
--pool-workers 12 --pool-tasks 96 \
--vision \
--conversation-cache-mib 4096 --conversation-cache-slots 3 \
--conversation-cache-min-tokens 4000 --conversation-cache-min-free-mib 2048 \
--adapt-every 1 --adapt-swaps 160 --adapt-decay 0.97 \
--stats
四、视觉进程（带 --vision 必须单独起）
/root/strata/engines/strata-vision \
--mmproj /root/models/orcarouter/mmproj-Qwen3.8-Flash-Next-BF16.gguf \
--model /root/models/orcarouter/Qwen3.8-Flash-Next-Uncensored-Q4_K_M-00001-of-00003.gguf \
--threads 12 --max-tokens 300
五、参数详解
模型加载
| 参数 | 值 | 含义 |
|---|---|---|
--serve |
- | 服务模式，起 HTTP 接口 |
--pack |
pack-q4_k_m |
Strata 的权重 pack 目录 |
--native |
主 GGUF | 原生模型权重 |
--ple-gguf |
主 GGUF | PLE（专家层）权重来源，这里与主模型同文件 |
--expert-profile |
expert-profile.bin |
专家路由画像，加速 MoE 专家调度 |
投机解码 / MTP
| 参数 | 值 | 含义 |
|---|---|---|
--spec |
4 |
投机解码一次猜 4 个 token |
--spec-min-p |
0.70 |
概率低于 0.70 的猜测直接丢弃 |
--mtp |
mtp-orca-rt |
MTP 草稿头路径 |
--mtp-q4 |
all |
MTP 头全部用 Q4 量化 |
--mtp-window |
4096 |
MTP 上下文窗口 |
上下文与 KV Cache
| 参数 | 值 | 含义 |
|---|---|---|
--max-context |
262144 |
最大 256K 上下文 |
--kv |
int8 |
KV 缓存 int8 量化（长上下文的救命稻草） |
--kv-resident |
32768 |
常驻显存的 KV tokens 数，超出部分放内存 |
内存 / 显存调度
| 参数 | 值 | 含义 |
|---|---|---|
--vram-reserve-mib |
768 |
给系统留 768MiB 显存，防 OOM |
--ple-io |
ram |
专家权重走内存，不挤显存 |
--ple-row-cache |
1048576 |
PLE 行缓存条目数 |
--pcie-frac |
0.20 |
允许 PCIe 传输占用约 20% 带宽 |
--pool-workers |
12 |
任务池线程数，建议 ≈ 物理核数 |
--pool-tasks |
96 |
任务队列深度 |
会话缓存（多会话切换的缓存池）
| 参数 | 值 | 含义 |
|---|---|---|
--conversation-cache-mib |
4096 |
会话缓存总预算 4GiB |
--conversation-cache-slots |
3 |
同时缓存 3 个会话 |
--conversation-cache-min-tokens |
4000 |
短于 4000 tokens 的会话不缓存 |
--conversation-cache-min-free-mib |
2048 |
内存剩余低于 2GiB 时不再缓存 |
自适应调度
| 参数 | 值 | 含义 |
|---|---|---|
--adapt-every |
1 |
每轮都做自适应调整 |
--adapt-swaps |
160 |
每轮最多换入/换出 160 个块 |
--adapt-decay |
0.97 |
热度衰减系数，越小越激进 |
视觉进程参数
| 参数 | 值 | 含义 |
|---|---|---|
--threads |
12 |
图像编码线程数 |
--max-tokens |
300 |
每张图最多编码成 300 tokens |
六、踩坑备忘
--ple-io ram是内存大户：整套跑起来主进程常驻 110GB+ 内存，128G 内存是底线，别学小内存机器硬抄。--kv int8别去掉：256K 上下文下 fp16 KV 会把显存直接打爆。- 视觉模式必须两个进程都起：只起主服务不带 vision 进程，喂图会直接报错。
--spec-min-p调优：调到 0.8 以上更保守、接受率低但质量稳；0.5 以下更激进，可能胡言乱语。0.70 是质量/速度的平衡点。- 分片模型只写第一片路径即可：
-00001-of-00003会自动找齐后两片，但必须同目录。
七、一句话总结
Q4_K_M 主模型 + int8 KV + MTP 投机解码，128G 内存 + RDNA3 显卡上跑出 256K 上下文，用得很爽快！
