技术管理者 | 41个国产大模型RAG搭建

▌ 技术引导

最近在折腾41个国产大模型的RAG搭建，发现不少坑是相通的。最直接的结论是，RAG架构在大模型部署时，必须在内存、吞吐、延迟和精度之间找到平衡。比如，使用Qwen、LLaMA3、Baichuan3等模型做RAG时，加载方式直接影响性能。如果直接调用模型的tokenize和embedding功能，会占用大量显存，导致推理时出现OOM。实际操作中，很多人会把模型用onnxruntime或tensorrt加速，但参数配置容易出错，特别是混合精度推理和模型量化参数的组合。另外，文本分块策略也很关键，比如用sentence-transformers做向量分割时，如果分块太细，会增加检索耗时；太粗则影响召回精度。而且，大多数国产大模型在推理时对batch size敏感，特别是中文语料下，如果batch size设置不当，会显著影响QPS。记住，一定要在本地测试时先做性能基准，再决定是否用分布式方案。

有些模型的embedding向量长度和格式不一致，比如通义千问的embedding是768维，而百度文心一言的可能不一样，这会导致向量数据库存取异常。这时候必须确认模型的输出维度，然后统一格式。在实际部署中，很多团队会把模型分片处理，比如将embedding和reranker分开部署，这样能提升并发度。但分片也要注意负载均衡，否则某些节点压力过大，影响整体效果。还有一些模型需要特定的环境变量激活，比如文心一言的推理模式需要设置model_name和use_cache参数，否则会默认用全量参数，内存占用上不去。总之，RAG架构的搭建不能只看模型本身，还得看整个系统如何协同，才能真正落地。

如果你在搭建RAG时遇到性能瓶颈，最简单的方法是用Faiss或Milvus做向量检索，这两者在国产大模型的场景下表现都很稳定。但别忘了，Faiss默认不支持GPU，而Milvus虽然支持，但需要额外的索引配置。比如，用HNSW索引时，传参的num_nodes和efConstruction必须慎重调整，否则检索速度和准确率会受影响。另外，很多大模型的推理API并不支持自定义分块策略，这时候你得用爬虫或预处理工具把原始数据替换成固定长度的块，例如用NLTK或spaCy做分词，确保所有块长度一致。还有个容易被忽视的点是，向量数据库的写入策略，如果使用批量写入，要控制好batch_size和并发数，否则会导致数据库负载过高，进而影响检索效率。

部署RAG时还需要考虑模型的版本兼容性，有些模型在v2.0之后调整了参数结构，比如Baichuan3在v2.0引入了新的config项，比如use_flash_attention，这个参数如果没正确设置，推理会报错。另外，国产大模型在处理中文时，对分词策略要求很高，比如使用jieba或THUCNews的分词器，但也要注意停用词过滤和标点处理，否则会影响检索质量。如果是做多模型RAG，建议统一用同一个分词器，避免不同模型对同一篇文章处理结果不一致的问题。还有个关键点是模型的缓存机制，比如通义千问的reranker模型在16bit量化之后，会因为缓存失效导致重复计算，这时候要手动设置cache_dir路径，确保模型推理过程中的缓存不会被覆盖。

在实际项目中，我见过不少团队把RAG和本地数据库结合使用，比如用MySQL或Elasticsearch做辅助索引，但这样做会增加系统复杂度。更简单的方式是直接用向量数据库做全文检索，同时用模型的文本分块逻辑来提升匹配效率。不过，国产大模型在处理长文本时，某些版本会有截断问题，比如文心一言在处理超长query时，会自动截断，导致上下文丢失。这时候可以考虑用模型的truncate方法手动处理，比如设置max_new_tokens=256，这样能保留更多上下文。另外，有些模型的API需要特定的token类型，比如通义千问的embedding API要求使用user_token或assistant_token，如果没填对，会触发认证错误。总之，RAG搭建的关键点是细节，而不是大概念。

▌ 技术参考

一 选择模型时需注意参数兼容性，国产大模型多采用HuggingFace格式，但部分模型如百度文心一言要求使用特定的配置文件。例如，启动模型时应检查config.json是否存在，若缺失可能导致参数无法加载。使用命令行启动时，可指定--model_name参数指向本地模型路径，同时确保--device设置为cuda，否则会默认使用CPU，效率低下。

二 文本分块策略必须统一，否则影响向量数据库的检索效果。常用方法是用sentence-transformers的SentenceTransformer类，设置model_name='bert-base-chinese'，然后调用.encode方法生成块。注意，每个块的长度应控制在256以内，超出部分自动分割。分块时建议用jieba分词，设置cut_all=False，确保不丢失语义。

三 向量数据库配置需考虑内存和性能，用Faiss时建议用Float16格式，减少内存占用。Milvus则需预设索引类型，如HNSW，设置index_type='HNSW', nbits=8，这样能兼顾精度和速度。同时，写入数据时采用批量模式，batch_size=1024，否则单条写入会拖慢整体进度。

四 检索优化需结合模型参数调整，比如使用Faiss的search_k参数，设置为100，避免返回过多无关结果。Milvus的efSearch也需合理配置，过高会导致延迟，过低则影响召回率。在某些模型中，可调用model.config.max_position_embeddings调整上下文长度，但需注意不要超过模型支持的最大值，否则会报错。

五 模型量化是提升性能的关键，使用onnxruntime时可添加--use_int8参数，但部分模型如通义千问v2.0需要开启use_flash_attention标志，否则无法使用量化。量化后推理速度提升显著，但精度可能会下降，建议用验证集进行微调。

六 分布式部署需配置负载均衡，使用Nginx时需设置upstream块，定义多个模型节点，例如upstream models { server 127.0.0.1:8080; server 127.0.0.1:8081; }，并设置proxy_pass指向该模块。注意，每个节点的环境变量需一致，如CUDA_VISIBLE_DEVICES=0，否则会触发GPU分配错误。

七 向量数据库需定期维护，避免内存碎片化，建议每小时执行一次gc操作，用Python的gc.collect()函数清理缓存。同时，监控数据库的内存使用情况，若超过阈值，可考虑增加节点或调整索引参数。

八 模型推理时，部分国产大模型如LLaMA3需要显存预留，设置torch.cuda.empty_cache()可释放未使用的显存。另外，某些模型在推理时会自动启动分布式模式，此时需手动关闭，否则导致多个进程同时使用GPU，性能下降。

九 RAG的查询优化可通过修改query的长度，比如使用truncate方法控制query长度在256以内，同时设置padding='max_length'确保输入格式一致。部分模型如文心一言支持context_length参数，设置为512可提升上下文理解能力，但需注意显存是否允许。

十 向量数据库的搜索结果需进行后处理，比如用scikit-learn的KMeans聚类，设置n_clusters=10，对相似度高的块进行归类。同时，可结合模型的reranker模块，设置num_beams=4，提升结果排序的准确性。

十一 建议在本地测试时先启用log模式，查看模型输出的token数量，例如在模型配置中添加log_level='debug'，这样可发现token生成异常。另外，监控模型的推理时间，如果超过2秒，可尝试降低batch_size或调整量化等级。

十二 部分模型在推理时会自动切换到混合精度，比如Baichuan3在量化后会自动使用FP16，此时需关闭use_half_precision标志，否则可能出现数值溢出。同时，检查模型的pretrained参数是否正确，若未加载，会导致推理结果偏差。

十三 向量数据库的索引策略需根据数据量动态调整，比如使用IVF_FLAT时，设置nlist=1000，nprobe=10，能提升检索速度。若数据量更大，可改用IVF_PQ，设置nbits=8，这样既节省内存，又不影响召回率。

十四 模型的环境变量配置很关键，比如设置CUDA_VISIBLE_DEVICES=0后，运行模型时应确保该设备存在，否则会触发CUDA错误。同时，部分模型需要设置MAX_NUM_SEQS=512，防止同一时间处理过多请求，导致显存爆掉。

十五 向量数据库的写入方式对效率影响很大，建议使用批量写入，如Milvus的upsert方法，设置batch_size=1024，同时开启异步模式，减少写入对主线程的阻塞。此外，定期清理历史向量，避免数据库膨胀，影响检索速度。