多模态微调实战（01）：问题、目标与路线图

通用视觉语言模型「看得懂图、会说话」，但在垂直场景里往往不够稳。这个系列记录一次完整、可复现的多模态 LoRA 微调链路：从环境、数据一路走到全量训练、合并与 GGUF 量化发布。第一篇先不堆命令，而是把「要解决什么问题、为什么这么选、整条流水线长什么样」讲清楚。

这是「多模态微调实战」的第 01 篇。系列共 10 篇，以车牌 OCR 为例，串起 环境 → 数据 → 小规模验证 → 评测 → 全量训练 → 合并 → GGUF 量化 的完整闭环。框架用 ms-swift，基座用 Qwen3-VL-4B-Instruct，硬件前提是单卡约 16GB 显存的消费级 GPU。文中路径、主机名、账号均已泛化，车牌号均为虚构示例。

一、要解决什么问题

以车牌 OCR 为例，通用 VLM 直接上会有几个典型问题：

• 基座模型可能擅自补全省份简称、加空格、换格式；
• 评测若要求「字符串完全一致」，Exact Match 会非常难看；
• 业务侧通常希望输出格式固定、字符集可控、延迟可接受。

因此更现实的路径是：

1. 选一个够用的开源多模态基座（本系列用 Qwen3-VL-4B-Instruct）；
2. 用领域数据做 LoRA 指令微调；
3. 用同一套验证集做前后对比；
4. 合并权重，再按需量化成 GGUF，方便本地 / 边缘部署。

二、为什么用 ms-swift

ms-swift 是 ModelScope 生态下的训练与部署框架，对本任务有几个直接好处：

点	说明
多模态友好	原生支持 messages + images 的 JSONL
命令统一	swift sft / swift infer / swift export 一条链路
LoRA 成熟	--tuner_type lora、--merge_lora 开箱即用
续训清晰	--resume_from_checkpoint 可恢复优化器与步数

当然也可以用其他框架。本系列只保证：按这套命令与目录约定，流程可复现。

三、为什么是 LoRA，而不是全参

在单卡约 16GB 的前提下：

• 全参微调 4B 多模态模型，显存与工程成本都更高；
• LoRA 只训练少量低秩矩阵，配合冻结 ViT / aligner，显存可压到约 9GB 量级；
• 训练结束后可 merge_lora，得到一份「看起来就像普通 HF 模型」的完整权重。

LoRA 不是银弹：容量有限、对数据质量敏感。但对「格式对齐 + 领域识别」类任务，性价比通常很高。

四、整体路线图

一条主线，严格按「先小后大」推进：

准备环境(Docker + ms-swift)
      │
      ▼
准备数据(LMDB → JSONL)
      │
      ▼
小规模 LoRA 试跑 ──► 微调前后评测
      │（流程 OK）
      ▼
全量数据 LoRA ──► 选 checkpoint ──► merge_lora 合并
      │
      ▼
可选：导出 GGUF / INT4 ──► 部署与业务验收

建议：

1. 用几千条样本把链路跑通（通常几十分钟）；
2. 确认评测指标符合预期；
3. 再上全量（可能数天），期间务必能断点续训。

五、本系列会覆盖、不会覆盖的内容

会覆盖

• Docker 训练环境搭建思路；
• 多模态 JSONL 构造；
• LoRA 超参与 16GB 显存经验；
• 评测指标与结果解读；
• 全量训练运维（后台、监控、续训）；
• 合并与 GGUF 量化后的精度取舍。

不会覆盖

• 从零训练基座模型；
• 大规模多机并行调优细节；
• 具体业务前端 / 云上编排；
• 任何未公开的私有数据样例。

六、预期结果量级（供对照）

以下数字来自一次完整实践，供你对照自己的实验，不是保证值：

阶段	现象
基座零样本（演示验证集）	Exact Match 约 3%
演示集 LoRA 后	Exact Match 可接近 100%
全量 3 epoch	验证 token 准确率可到 99%+；验证 loss 最优可能早于最后一个 step
合并后模型	独立目录，约数 GB～十余 GB
GGUF INT4 vs F16	验证集任务表现大体可用；综合精度约掉 6.5 个百分点

七、小结

• 垂直场景微调的核心价值常常是格式对齐 + 领域识别，而不是把模型变聪明。
• ms-swift + LoRA 是 16GB 单卡上性价比很高的组合。
• 全系列严格「先小后大」：先跑通、再评测、后扩量、终量化。

多模态微调实战第 01 篇完。下一篇：用 Docker 把 ms-swift 训练环境固化下来，让「昨天能训、今天也能训」。