建议收藏：AI调试 实战教程 | 全网最详细

▌ 技术引导
AI调试这玩意儿真不是光靠看文档就能糊弄过去的。我见过太多人把模型调参当成打游戏，结果模型在生产环境掉线或者结果离谱。现实是硬核的，你得知道怎么抓日志、怎么分析梯度、怎么搞分布式训练的监控。我这段时间踩坑，发现几个实战中必须掌握的点：第一，要会用TensorBoard或者W&B看训练过程的变化趋势；第二，训练模型时必须开启调试模式，把log_level调成DEBUG，这样你才能看到模型内部的每一步是怎么走的；第三，容器化训练时千万别忘了设置--device=auto和--num-workers=4，否则GPU利用率低得离谱。最后，如果你还在用手动方式调试，那可能已经落后了，得考虑一下自动化的工具链。别问我怎么知道的，我是蹲在服务器上盯着GPU利用率干出来的。

▌ 技术参考
一
AI调试的关键在于日志颗粒度。在PyTorch中，调试模式需要在训练脚本中添加torch.utils.tensorboard.SummaryWriter，并且log_dir参数必须指向某个具体路径，比如logs/experiment_1。如果你用的是DeepSpeed或者Megatron-LM，记得在初始化时设置--log-level=DEBUG，这样分布式训练中的每台机器都会输出详细信息。另外，别忘了把Logging模块调成DEBUG级别，否则你可能看不到模型加载的细节，比如权重是否正确读取。

二
在模型训练中，梯度检查是最常见的调试手段。使用PyTorch的torch.autograd.detect_anomaly可以检测到梯度中的异常值，尤其是那些数值爆炸或者突然归零的情况。这个函数必须放在训练循环中，比如在loss.backward()之前调用。如果你用的是JAX，可以借助jax.profiler.profile加上--profile-memory=True参数，这样能更精细地追踪内存和梯度变化。但注意，JAX的profile会增加一定计算开销，建议在验证集上测试。

三
分布式训练的调试点往往藏在文件系统里。如果你用的是Horovod或者PyTorch Distributed，记得检查每个节点的output目录，确保它们没有冲突。比如在DistributedDataParallel中，设置find_unused_parameters=True可以避免某些参数没被使用时的错误。还有一个关键点是：在使用数据并行时，要确保每个worker的data loader都有正确的shuffle设置，否则数据分布会不均。另外，记得在训练脚本中加--master-port参数，这个端口要避免被其他进程占用。

四
训练集和验证集的差异是AI调试中最容易被忽略的点。有时候模型在训练集表现很好，但到了验证集就掉线。这时候要检查数据增强的实现是否一致，比如在数据预处理中有没有在验证集上应用了不同的transform。我之前调试一个GAN模型时，发现验证集的图像噪点比训练集多了10%，后来发现是因为在验证阶段用了不同的裁剪方法。另外，数据集的加载方式也必须统一，比如用torch.utils.data.DataLoader时，num_workers要设置成和训练时一样的数值，否则数据加载会有延迟。

五
模型评估的细节往往决定了调试的方向。比如在评估时，如果发现某个指标突然下降，要检查是否是数据泄漏或者评估方法错误。使用wandb.log可以自动收集训练过程中的所有指标，包括acc、loss、iou等，这样能快速定位问题。但如果你用的是本地训练，必须手动将验证结果写入文件，否则很难追踪。此外，有时候模型在测试时表现不稳定，这时候要检查是否在推理阶段进行了错误的归一化处理，比如在训练时用了[0,1]范围的归一化，但在推理时却用了[-1,1]的范围。

六
调试GPU内存占用是高频问题。在PyTorch中，使用torch.cuda.memory_summary()可以查看每个batch的显存使用情况，这个命令必须在每个训练迭代时都调用一次。如果发现显存占用过高，建议用torch.cuda.empty_cache()来释放未使用的内存。另外，启用混合精度训练时，要记得在模型初始化处加上--fp16=True参数，并在优化器配置中设置clip_grad_norm=1.0，防止梯度爆炸。但要注意，混合精度训练在某些模型上会有精度损失，得通过测试验证。

七
模型输出与预期不符时，要从输入开始排查。使用PyTorch的torchviz.plot_graph可以画出模型的计算图，这样你能直观看到哪些层没有被激活或者输入数据是否丢失。比如在处理image数据时，可能因为张量的形状不对导致模型输出全零。这时候要检查transforms中的to_tensor是否被调用，或者是否在某个层进行了错误的reshape操作。还可以用forward hook来监控中间层的输出，比如在模型中插入hook函数，打印中间层的张量形状和值，这样能更快定位问题。

八
配置文件的调试方式决定了整个训练流程的稳定性。如果你用的是HuggingFace Transformers的Trainer API，记得在TrainingArguments中设置logging_strategy='steps'，并把logging_steps设为100，这样能确保每次训练都会生成日志。另外，要确保数据集的split比例是准确的，比如在训练脚本中用data_args.dataset_split='train'，并且检查split的逻辑是否覆盖了所有数据。如果数据集太小，建议用--dataset-repeats=3参数来重复数据，这样能模拟更大的数据规模。

九
模型的初始化方式对训练结果影响极大。在初始化权重时，如果模型的某些层没有被正确初始化，会导致收敛变慢甚至无法收敛。使用torch.nn.init.kaiming_normal_或者xavier initialization时，要确保设置正确的gain参数，比如对于ReLU激活函数，gain设置为2.0。我之前用PyTorch训练一个Transformer模型时，发现注意力层的权重初始化有问题，导致模型无法提取有效特征，后来换了kaiming初始化才解决。

十
调试模型推理过程要从输入预处理开始。特别是在使用预训练模型时，像HuggingFace的AutoTokenizer，必须确保tokenizer的padding和truncation方式和训练时一致。比如在训练时用了padding='max_length'和truncation=True，那么在推理时也要勾选同样的参数，否则输入长度不对会导致模型输出错误。另外，注意模型的input_ids和attention_mask是否被正确生成，尤其是当你的输入文本长度超过model.max_length时，必须手动截断或者padding。

十一
训练脚本的版本管理和环境一致性是调试的基础。使用DVC（Data Version Control）或者Git LFS来管理数据集版本，这样能确保训练过程中数据不会突变。在Docker镜像中，要确保所有依赖项都被正确安装，比如pip install torch torchvision torchaudio==0.12.0 transformers==4.28.0，并且在训练脚本中添加--env-check=True参数检查环境是否一致。我之前调试过一个模型，发现不同机器上的训练结果差异很大，后来发现是因为PyTorch版本不同导致的，这个教训很惨。

十二
模型评估的稳定性调试要从批处理大小和数据格式入手。如果模型在评估时出现性能波动，先检查是否batch_size太大导致显存不足，或者是否在数据加载过程中有随机性。比如在使用DataLoader时，设置shuffle=False确保数据顺序不变，否则评估结果会因为数据顺序不同而产生偏差。此外，使用PIL加载图像时，要确保所有图像的尺寸和类型一致，否则可能引发维度不匹配的错误。

十三
模型训练中的异常处理是关键。在PyTorch中，使用try-except块包裹训练循环，这样能捕获到RuntimeError或者CUDA out of memory等错误。例如，在模型训练时，可以这样写：try: model.train() ... except RuntimeError: print("CUDA Panic")。同时，使用torch.cuda.memory_allocated()来监控每个batch的显存分配情况，避免出现显存泄漏。这个过程最好结合TensorBoard做可视化，毕竟肉眼盯着日志太累。

十四
调试模型的计算图时，要确保所有操作都正确映射到计算节点。比如在使用torchscript时，必须检查是否有UnsupportedOperation或者keyword argument错误。有时候模型中的某些函数会被误用，比如在函数中用了torch.tensor而不是torch.as_tensor，这会导致计算图被破坏。另外，如果模型在导出时报错，可以用torch.export.export()函数来生成trace，然后在导出后检查trace的结构是否符合预期。

十五
模型优化器的配置可能隐藏了很多调试点。比如在使用AdamW时，要确保weight_decay参数被正确应用，避免某些层的权重没有被正则化。同时，使用lr_scheduler时，要检查是否在每个epoch结束时调用scheduler.step()，否则学习率不会更新。我之前就因为忘记调用这个函数，导致模型训练一直用初始学习率，收敛速度极慢。此外，在分布式训练中，要确保optimizer和scheduler都被正确封装进DistributedDataParallel，否则参数同步会有问题。