基于 OP-Mix 的多能力持续训练方法指导指代改写模型训练
1 理论基础
声明：本文方法论全部基于论文 "Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time" (OP-Mix, Hu et al., 2025, https://arxiv.org/abs/2605.15220) 的结论与实验结果提炼而成，旨在将论文的学术贡献转化为可直接指导工程实践的系统性方法论。
1.1 问题形式化
设模型已具备的能力域为 $\{D_1, \dots, D_m\}$，当前混合比例为 $p_{t-1}$，新引入的能力域为 $D_{m+1}, \dots, D_{m+K}$。目标是找到混合比例 $\alpha^*$ 使得：
$$ \alpha^* = \arg\min_{\alpha \in \triangle^K} \frac{1}{N}\sum_{j=1}^{N} w_j \cdot \hat{g}_j(\alpha) + \lambda \cdot D_{\text{KL}}(E(\alpha) \| \mu) $$