LLM基准测试Prompt优化：从入门到精通

▌ 技术引导

做LLM基准测试，我见过最坑的地方是没搞清楚测试目的。有些测试只是跑个吞吐量，但有些是验证推理质量，目标不同，手段也不同。我经常用HuggingFace的Evaluate库+自定义脚本组合，用`--max_length=512`控制输出长度，用`--num_beams=4`增强生成多样性。推荐用`transformers`库的`AutoModelForCausalLM`和`AutoTokenizer`加载模型，然后通过`Evaluate`的`load`方法引入指标，比如`accuracy`、`perplexity`、`bleu`。真实场景里，我见过用`--temperature=0.7`调参把生成质量拉到最佳点，但`--top_p=0.9`搭配`--num_return_sequences=3`会带来更高的资源消耗。关键点是数据集、指标、推理参数三者要对齐，否则测试结果完全没参考价值。

评估过程中，我习惯用`accelerate`库来管理设备，直接用`accelerate launch`加`--config_file=config.yaml`启动分布式训练，这样能在多卡上跑得更快。模型加载时如果用`from_pretrained`加速加载，记得加`device_map="auto"`，否则内存爆掉。测试时用`torchrun`启动多进程，加`--nprocs-per-node=4`和`--master-port=12345`避免端口冲突。如果模型太大，加载到CPU上跑，会卡在`tokenizer`初始化阶段，这时候必须用`--half`或者`--bf16`切换精度，否则跑不动。

另外，我见过很多人用`evaluate`库自带的`load`方法加载数据集，结果数据集格式不兼容，直接报错。这种情况下，必须手动处理数据，比如用`pandas`加载CSV，然后转成`Dataset`格式再传给`Evaluate`。有些数据集没做`tokenization`，直接喂给模型，生成结果全是乱码。踩坑点在于数据预处理和模型配置要完全匹配，否则测试没意义。还有人用`fast_tokenizer`加速，结果发现`fast_tokenizer`和`slow_tokenizer`在计算`bleu`时结果偏差很大，必须统一使用同一种方式。

评估结果要可视化，我常用`matplotlib`或者`plotly`画图，但有的时候数据量太大，直接用`pandas`的`to_csv`导出结果，再用Excel或Power BI来分析。我还会用`logging`记录每个测试阶段的耗时，比如加载模型、tokenize、推理、评估，这样能定位瓶颈。如果测试集分批处理，记得用`batch_size=16`+`num_workers=4`提速，但别超过GPU显存。实际跑的时候，我经常用`--disable_caching`关闭缓存，避免重复计算，特别是用`transformers`的`DataCollatorForLanguageModeling`时。

最后，我习惯把测试脚本和结果文件分开，用`git`管理代码，用`--output_dir=results/`保存结果，然后在`results/`下用`json`格式记录每个模型的指标。这样能快速对比不同模型的效果。在真实项目中，我见过用`lighteval`做基准测试，它的`benchmarks`自动加载数据，但需要自己写评估逻辑，挺麻烦。所以熟练掌握`transformers`和`Evaluate`是必须的。

▌ 技术参考

一
LLM基准测试需要明确评估目标，比如是验证推理质量还是计算吞吐量。推荐使用`HuggingFace`的`Evaluate`框架，兼容大多数模型格式。加载模型时用`AutoModelForCausalLM.from_pretrained("model_name", device_map="auto")`，这能自动分配设备。如果模型太大，记得用`--half`或`--bf16`切换精度，否则会卡在加载阶段。测试时用`accelerate launch`+`--config_file=config.yaml`启动分布式模式，能提升多卡并行效率。

二
数据集处理是关键，建议用`datasets`库加载，比如`from_pretrained("dataset_name")`，然后转成`Dataset`格式再传给评估脚本。如果数据集没做预处理，必须手动处理，例如用`pandas`读取CSV后，用`map`方法对每行文本做`tokenization`。注意`tokenizer`的`max_length=512`和`truncation=True`参数，避免溢出。测试时用`batch_size=16`+`num_workers=4`，但别超过显存限制。

三
常见踩坑场景是参数不匹配，比如`--num_beams=4`和`--temperature=0.7`冲突，导致生成质量下降。另外，`fast_tokenizer`和`slow_tokenizer`在计算指标时结果差异很大，必须统一使用同一种方式。我见过有人用`transformers`的`DataCollatorForLanguageModeling`，但没设置`mlm=True`，导致训练数据混淆。测试时记得关闭缓存，用`--disable_caching`避免重复计算。

四
性能影响方面，`--half`精度能减少内存占用，但可能影响精度，特别是`bleu`和`perplexity`。`--bf16`精度在NVIDIA A100上表现更好，但需要CUDA 11.6+.用`torchrun`启动多进程，配合`--nprocs-per-node=4`和`--master-port=12345`提升并行效率。测试时如果模型太大，使用`device_map="auto"`能自动分配显存，避免OOM。

五
适用场景是验证模型性能，比如对比不同微调方法、不同架构、不同训练数据。局限性在于测试数据集必须足够大，否则结果不具有代表性。如果数据集太小，容易被`--num_beams=4`的多样性策略干扰，导致指标波动。测试时建议用真实场景的数据，比如用户查询、对话历史、代码生成，而不是单纯用`GLUE`或`SuperGLUE`数据集。

六
替代方案可以考虑`lighteval`，它的`benchmarks`自动加载数据，但需要自己写评估逻辑。进阶技巧是用`torch.compile`优化推理速度，但可能增加内存占用。我见过有人用`--model_parallel`分配模型到不同卡，提升吞吐量。如果测试结果波动大，可以加`--seed=42`固定随机种子，保证复现性。

七
评估指标中，`accuracy`适用于分类任务，`perplexity`适合语言模型，`bleu`用于生成质量。推荐用`transformers`的`AutoTokenizer`预处理数据，确保`tokenize`和`detokenize`一致。测试时用`--max_length=512`限制生成长度，否则会超出显存。如果用`evaluate`库，记得用`--task=classification`或`--task=generation`指定任务类型。

八
真实场景测试要注意数据分布和任务类型，比如对话数据不能直接用`GLUE`。我见过用`HuggingFace`的`test`集做基准，但生成文本过长导致测试失败，必须加`--max_length=256`和`--num_return_sequences=1`。测试时如果用`transformers`的`GenerationConfig`，记得设置`--do_sample=True`和`--top_k=50`，这样能提升生成多样性。

九
测试结果保存用`--output_dir=results/`，然后用`json`格式记录每个模型的指标。这样能方便后续分析。如果测试集太大，用`--split="train"`分片处理，避免一次性加载所有数据。开发环境用`--debug=True`排查问题，生产环境用`--disable_debug=True`加速执行。注意`--num_beams=4`和`--num_return_sequences=3`的搭配，容易导致生成结果重复，得用`--temperature=0.7`调节。

十
评估时用`transformers`的`DataCollatorForLanguageModeling`，记得设置`mlm=False`，否则会打乱数据。测试前用`--cache_dir=/tmp`设置缓存目录，避免磁盘空间不足。如果用`accelerate`，记得在`config.yaml`里设置`mixed_precision="fp16"`，这样能提升训练效率。测试阶段用`--precision=16`和`--dtype=fp16`，避免精度丢失影响指标。

十一
测试时用`--max_new_tokens=256`控制生成长度，否则会占用太多显存。如果用`fast_tokenizer`，必须用`--fast_tokenizer=True`，否则会变慢。数据加载时用`--num_proc=4`加速，但别超过CPU核心数。测试指标用`--metrics=accuracy,perplexity,bleu`指定，避免漏掉关键指标。注意`--eval_batch_size=16`和`--per_device_eval_batch_size=16`的区别，前者是总batch size，后者是每卡的batch size。

十二
测试时用`--do_eval=True`开启评估模式，确保模型进入推理状态。如果用`transformers`的`AutoModelForCausalLM`，记得用`--use_cache=True`加速推理。测试结果用`--save_strategy=epoch`保存，避免中间结果覆盖。如果测试数据格式是`text`，用`--text_column="text"`指定，否则报错。注意`--output_file="results.json"`必须存在，否则会报错。

十三
测试前用`--debug=True`开启调试，能看到每个阶段的耗时，比如加载模型、tokenize、推理、评估。真实测试用`--disable_debug=True`优化性能。测试时用`--num_beams=4`和`--temperature=0.7`搭配，能提升生成质量，但会增加资源消耗。如果用`--top_p=0.9`，记得设置`--top_k=50`避免生成重复内容。

十四
测试时如果使用`torchrun`，记得在`config.yaml`里设置`deepspeed_config="ds_config.json"`，这样能提升分布式训练效率。如果模型太大，用`--device_map="auto"`自动分配显存，避免OOM。测试结果用`--save_strategy=steps`按步保存，方便后续分析。如果测试数据包含特殊符号，记得在`tokenizer`里加`--add_prefix_space=True`，否则会识别错误。

十五
测试时用`--evaluation_strategy="epoch"`按epoch评估，避免过早停止。如果测试集太小，用`--per_device_eval_batch_size=4`减少显存占用。测试结果用`--load_best_model_at_end=True`加载最优模型，这样能提升最终指标。如果用`lighteval`，记得在`config.yaml`里设置`task="classification"`，否则默认任务不匹配。测试时用`--disable_tqdm=True`关闭进度条，减少I/O开销。