我在大厂用全参数微调：评估体系 | 技术负责人推荐

我之前在大厂用全参数微调模型，最值钱的经验是：必须在训练数据质量、训练策略和硬件资源之间找到平衡。不要迷信大模型的泛化能力，它照样会吃屎。全参数微调的关键不在于模型规模，而在于训练数据的分布和标签的准确性。我见过太多项目因为数据质量差，最终微调结果还不如原生模型。训练时必须指定--use_lora=False，否则你连Lora参数都不知道自己在调。另外，optimizer参数要选AdamW，学习率要控制在1e-5到1e-4之间，不要随便放。训练过程中要监控loss曲线，如果loss在某个epoch后不再下降，立刻停止。硬件资源分配上，显存不够就只能改batch size，或者用混合精度训练。别问我怎么改，我试过几百次，最后发现只能靠你懂。

▌ 技术参考

一
全参数微调是当前大厂在NLP和CV任务中常用的方式，尤其是在需要模型保持原有结构但对特定领域或任务进行深度适配时。通常我们会用HuggingFace Transformers库提供的TrainerAPI来进行。在初始化Trainer时，需要设置training_args中的--do_train=True，同时确保模型加载时使用AutoModelForSequenceClassification或AutoModelForImageClassification，这取决于任务类型。数据预处理部分，建议使用Dataset类，加载时指定split="train"，并确保数据格式正确。对于文本分类任务，输入必须是dict类型，包含input_ids和attention_mask。如果你用的是自定义数据集，千万别直接把numpy数组丢进去，必须转换成PyTorchTensor或者TensorDataset格式，否则训练会报错。

二
训练配置中，优化器的选择至关重要。必须使用AdamW，这是大厂最常用的优化器，尤其在微调大模型时，其学习率调度策略能有效防止梯度爆炸或过拟合。在训练_args中设置--optim=adamw_hf，同时设置--lr_scheduler_type=linear。学习率范围通常在1e-5到1e-4之间，根据模型大小和数据量调整，比如13亿参数的模型，建议从1e-5开始。还有，训练过程中必须开启--gradient_accumulation_steps=4，这样可以减少显存占用。如果显存不够，就只能降低batch size，或改用混合精度，使用--fp16=True。我见过显存不够导致模型崩溃，最后得重启整个训练环境。

三
训练数据质量直接决定微调效果。必须确保训练数据的分布和目标数据一致，否则模型会学偏。数据增强可以用ALBUMENTATIONS或imgaug做图像任务，对于文本任务，可以用Textual Augmentation工具包。数据预处理阶段，一定要加--max_length=512，否则会出现padding错误。在加载数据时，可以使用DataCollatorForTokenClassification，它能自动处理padding和attention mask。如果数据量太少，建议用数据合成工具，比如synthetic_data_generator，生成一些带噪声的数据。我之前用它生成10万条带噪声的文本样本，最终模型准确率提升了3%。

四
训练时要监控loss曲线，这是判断模型是否过拟合或欠拟合的关键。使用TensorBoard可以直观看到loss的变化，建议在训练_args中加入--log_dir=./logs，并在每个epoch结束时保存checkpoint。loss曲线如果在某个点开始震荡，说明模型可能过拟合了，这时候要检查是否用了过多的shuffle或者数据增强。可以尝试在训练过程中加入早停机制，即当loss连续5个epoch不下降时，就停止训练。这个设置可以在TrainingArguments里写成--early_stopping_patience=5。另外，模型的loss值如果比预训练阶段高很多，说明数据有问题，必须重新清洗数据。

五
硬件资源分配上，显存是最大的限制因素。如果显存不够，训练时会报CUDA out of memory。这时候需要调整batch_size，或者用混合精度训练。混合精度训练需要在训练_args中设置--fp16=True，同时确保CUDA版本支持。如果你使用的是多GPU训练，可以用--ddp_find_unused_parameters=False来优化内存使用。在分布式训练中，必须设置--dist_checkpointing=True，这样可以避免内存溢出。我之前在16G显存的GPU上训练一个7B模型，结果训练到第300步就崩溃了，后来才知道是用了--ddp_find_unused_parameters=True，这个参数如果不加，会占用大量显存。

六
模型评估体系必须和业务需求对齐。不能简单地用accuracy或f1-score，要根据任务类型选择评估指标。比如，对于多分类任务，建议用macro-F1或micro-F1，这样可以更全面地反映模型表现。对于文本生成任务，可以用BLEU或ROUGE。在训练过程中，建议每5个epoch保存一次模型，并用Trainer的compute_metrics方法自定义评估逻辑。如果数据量大，可以使用DistributedSampler来加速评估。另外，评估数据集要和训练数据集分开，不能用同一个，否则模型会记住数据，评估结果不真实。

七
全参数微调适合需要模型保持原有结构但对特定任务进行深度适配的场景。比如，金融文本分类、医疗问答系统、客服对话理解等。这些场景的数据分布比较固定，模型需要在特定领域内有更强的表达能力。但全参数微调不适合通用任务，因为训练成本太高，而且容易过拟合。如果任务是通用的，比如新闻分类或者情感分析，全参数微调的收益并不明显，反而会增加训练时间和资源消耗。我见过一些项目用全参数微调后，准确率只提升了1%，却消耗了三倍的显存和时间，性价比太低。

八
替代方案是LoRA，也就是低秩适配，这种技术能大幅减少训练资源消耗。在训练_args中设置--use_lora=True，并指定rank=64，这个参数控制低秩矩阵的维度。如果rank太小，模型会学不进去，太大又会增加训练时间。LoRA适合在已有模型基础上做微调，而不是重新训练整个模型。但LoRA有个问题，就是它无法像全参数微调那样完全适配数据，只能在一定程度上提升效果。我之前用LoRA训练客服对话模型，发现它在few-shot任务上表现更好，但在多轮对话任务上不如全参数微调。

九
训练时必须设置--save_strategy=steps，这样能保证模型在每个训练步骤后保存，避免训练中断后数据丢失。保存路径可以写成--output_dir=./output，这样模型会自动保存到该目录。注意，每次保存会覆盖之前的文件，所以需要加上--save_total_limit=50来控制保存数量。如果训练中途需要恢复，可以用--resume_from_checkpoint=True参数。另外，训练过程中要设置--save_safetensors=True，这样模型文件会更小，也更安全。我之前训练模型时不小心删除了output目录，后来发现模型能从checkpoint恢复，但需要重新加载参数。

十
训练过程中要设置--report_to=none，避免TensorBoard或其他第三方工具占用资源。如果要用到logging，建议用WandB，这样能更方便地跟踪训练过程。在配置文件中，可以设置--logging_dir=./logs，这样日志会自动保存。同时，要设置--logging_steps=100，每100步记录一次日志。如果训练时间太长，可以调整--logging_steps=500，减少日志输出频率。我之前用--logging_steps=100记录日志，结果训练速度变慢，后来改成了500才正常。

十一
在训练中要注意注意力机制的参数配置。比如，在Transformer模型中，可以设置attention_mask的生成方式，避免padding部分影响训练。当使用DataCollatorForTokenClassification时，会自动处理attention mask，但如果你手动处理，必须确保每个样本的attention_mask长度与input_ids一致。在模型配置文件中，要设置attention_probs_dropout_prob=0.1，这个参数控制注意力权重的随机丢弃率。如果这个参数太大，模型会变得太不稳定，太小又无法防止过拟合。我之前调试到这个参数，发现0.1是最合适的。

十二
训练时要设置--weight_decay=0.01，这个参数控制权重衰减，防止模型参数爆炸。如果weight_decay太小，模型会过拟合；太大又会抑制模型学习能力。可以尝试不同值，比如0.001或者0.005，观察loss变化。另外，在训练过程中，需要设置--warmup_steps=500，这个参数控制预热阶段的步数。预热阶段可以让模型逐渐适应训练节奏，避免初始阶段过快学习导致爆炸。如果warmup_steps太小，模型会快速进入不稳定状态，太大又会浪费训练时间。我之前设成500就挺稳定。

十三
模型推理阶段，必须加载微调后的模型，并设置--infer_mode=True。在加载模型时，要确保使用AutoModelForSequenceClassification，这样可以自动处理分类头。如果模型支持fast inference，可以开启--fast_infer=True，这样推理速度会快很多。同时，要设置--use_cache=True，这样推理时会利用缓存减少计算量。不过，这个参数在微调阶段不能开，否则会影响训练效果。我之前试过在训练阶段开启这个参数，结果loss波动很大，后来才知道这是个错误。

十四
训练过程中，要关注模型的梯度分布，如果某些层的梯度太大，说明学习率设置过高。这时候需要降低学习率，比如从1e-4降到1e-5。可以用梯度裁剪来防止梯度爆炸，设置--gradient_clipping=1.0。这个参数控制梯度的最大值，如果梯度超过这个值，就会被裁剪。梯度裁剪在微调阶段非常有用，能防止模型学得太激进。另外，可以设置--gradient_checkpointing=True来减少显存占用，但要注意这会增加训练时间。我之前用这个参数训练一个7B模型，显存从30G降到了15G，但训练时间增加了30%。

十五
微调后要进行模型压缩，比如使用--prune_ratio=0.8，这样能减少模型参数量，提升推理速度。模型压缩可以用PruneTrainedModel工具，它会自动识别不重要的参数并移除。不过，模型压缩会影响精度，必须仔细评估。在压缩后，要重新进行评估测试，确保性能不受太大影响。另外，可以使用--quantize=True来实现量化，将模型参数从float32变成int8，这样推理显存会减少50%以上。我之前用这个参数压缩模型，结果推理速度提升了2倍，但准确率下降了1%。这个损失是可以接受的，但要根据业务需求做权衡。