作者：Jinghong Lan、Wei Cheng等

解读：AI生成未来

FreeStyle 的价值不在于把“风格迁移”又做了一遍，而在于把双参考生成里最难被量化的泄漏问题拆成了数据、注意力和位置编码三个可处理对象。

双参考生成可以被理解成一个多条件约束问题：输出图像需要满足内容参考 CRef、风格参考 SRef 和文本指令三类条件。失败也很典型：模型可能保住内容却风格不足，也可能风格很强但偷走了风格图里的语义对象。FreeStyle 这篇工作围绕这个冲突做了比较完整的工程化和机制化设计。

图 1：FreeStyle 数据构建与双 LoRA 组合管线示意。

一、数据不是附属品，而是主创新之一

论文首先指出，双参考任务缺少大规模、干净、长尾覆盖足够广的 triplet 数据。人工收集成本高，单一风格集合覆盖窄，普通图文数据又难以保证内容和风格解耦。因此 FreeStyle 没有只在模型侧做小修小补，而是把社区 LoRA 当成可组合的数据锚点。

其数据侧分成两条线。第一条是风格迁移数据：收集多样内容图，验证约 645 个稳定风格触发词，通过固定模板生成风格化目标，再用 DINOv2 检查内容一致性、用 ONEIG 风格编码器检查风格一致性。第二条是社区 LoRA 挖掘：从社区平台抓取 LoRA 权重和元数据，按 Illustrious、FLUX-dev、Qwen-Image 等 base model 分组，结合 ComfyUI 工作流生成参考图与双 LoRA 组合样本。

图 2：风格迁移数据构建。先生成，再通过内容一致性和风格一致性双向过滤。

二、Stage 1：用注意力 enrichment 处理风格参考泄漏

在 style-reference 阶段，输入中没有独立的内容 LoRA 组合，模型主要学习“把 Image 1 的风格迁移到 Image 2”。论文观察到，失败样本里风格参考 token 在后期去噪中会吸收异常高的注意力质量，尤其集中在第一个 transformer block。换句话说，泄漏不是一个模糊现象，而可以在 denoising time 与 network depth 上定位。

为此，FreeStyle 定义了 group-wise attention enrichment：把 key token 分成 text、content reference、style reference 等语义组，计算某一组获得的注意力占比，并用组大小做归一化。如果风格组获得的注意力明显超过其 token 占比，就说明模型可能在过度依赖风格参考。训练中使用双边 hinge loss，把 style-reference enrichment 控制在目标区间内。

图 3：注意力分析显示，泄漏样本在风格 token 区域出现更宽、更持久的高响应带。

消融结果很直接：去掉 enrichment loss 时，SRef 的 VLM leakage score 为 2.674；加入后降到 0.522。这个指标越低越好，说明注意力约束显著降低了语义污染。

图 4：注意力 enrichment loss 消融。加入约束后，风格图中的语义元素更少被误复制。

三、Stage 2：双参考时，泄漏从注意力转向位置对应

进入 CRef+SRef 后，情况变了。内容参考会占据大量注意力，风格参考不再表现出 Stage 1 那种明显的注意力过量，但泄漏仍然存在。论文认为，新的通道是高频 RoPE 中的局部位置对应：模型可能通过 patch-level positional correspondence，把风格图中的局部语义结构带进输出图。

FreeStyle 因而引入 frequency-aware RoPE modulation：对风格参考分支抑制高频位置成分，削弱局部复制倾向；同时增强低频成分，保留全局风格结构。消融中，CRef+SRef 的 VLM leakage score 从 1.047 降到 0.453。

图 5：RoPE modulation 消融。频率感知调制减少了由局部位置对应带来的内容泄漏。

图 6：论文附录中的频率与 denoising/block 分析，用于理解不同阶段的泄漏机制。

四、评测：不要用一个分数掩盖 trade-off

FreeStyle 同时提出开放 benchmark，包含 200 张内容参考图和 200 张风格参考图，覆盖 style-reference 与 CRef+SRef 两个设置。指标被拆成风格、内容、指令跟随、VLM verification 和 aesthetics 多个轴。这样的设计很关键，因为模型可以通过保守生成拿到高内容分，也可以通过过度风格化牺牲结构。单一平均分很容易掩盖这些 trade-off。

内容保持方面，论文采用 CAS（Content Alignment Score）：先对 DINOv2 patch features 做 instance normalization，尽量去掉风格相关的通道统计，再比较结构一致性。可靠性方面，论文引入基于 Qwen3-VL 多次二值判断的 Verification Score，分别报告 Ver-S 和 Ver-C。

图 7：附录中的风格聚类可视化，展示不同 encoder feature space 对风格结构的区分能力。

五、结果怎样读

在 SRef benchmark 上，FreeStyle 的 VLM-Style 为 7.142，Ver-S 为 0.482，均为开源方法第一；在 CRef+SRef benchmark 上，VLM-Style 为 5.467，Ver-S 为 0.409，也排名开源方法第一。更重要的是，它没有只在风格指标上“冲高”，而是在内容保持、指令跟随和美学分之间保持了相对均衡。

这篇工作的技术启示是：双参考可控生成不能只靠更强 backbone 或更强 prompt。数据需要可组合、过滤需要多轴验证，训练约束需要对准真实失败机制，评测也必须把风格、内容、泄漏和可靠性拆开看。FreeStyle 的贡献正是在这几条线上形成了闭环。

说明：论文声明相关资源用于非商业学术研究；复现或二次使用时应遵守开源协议、平台条款和第三方内容权益。

参考文献

[1] FreeStyle: Free Control for Style–Content Dual-Reference Generation from Community LoRA Mining

技术交流社区免费开放

这是一个高质量AIGC技术社群。

       原文标题 : 拆解 FreeStyle：从社区 LoRA 到双参考可控生成