Q22｜关联：大模型发展与RAG技术的关联性？

作者介绍：
黄佳，新加坡科研局资深研发工程师

Q：RAG 其实针对的就是一些垂直领域的数据，通过从海量文档中得到需要用到的 Chunk，感觉我们不需要用很大的模型来回答用户的问题，只用一个 400 多兆的文本生成模型也能够完成这个生成任务。那么是否可以这么理解：大模型的发展其实与 RAG 技术并无太大关系？

黄佳：RAG 系统中嵌入模型也很重要，嵌入模型与生成模型同属大模型技术栈，所以并不是没有关系。我们不可能把海量的文档都交给生成模型，还是要做嵌入和检索才行。

RAG 技术的上限取决于嵌入模型对目标数据的表征能力，通过向量空间的嵌入精确地表达一个文档。生成阶段依赖模型能力，而检索阶段更依赖嵌入模型的表征精度。生成大模型与嵌入大模型是共同发展的态势，但训练目标和架构存在差异。两者均涉及将数据映射到向量空间，但生成模型侧重序列预测，嵌入模型侧重语义表征。