UEmbed:统一稀疏与密集多模态嵌入
稀疏检索是现代搜索系统(从网络搜索到检索增强生成)的基础。现有方法引入学习稀疏检索(LSR)超越精确词法匹配,但LSR一直局限于编码器式双向架构,在多模态场景中仍高度依赖辅助跨模态模块。为解决这些限制,我们提出UEmbed(统一嵌入),一个解码器风格的多模态嵌入模型,可在一次因果前向传播中同时生成稀疏词法表示和密集表示。
查看原文解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。
稀疏检索是现代搜索系统(从网络搜索到检索增强生成)的基础。现有方法引入学习稀疏检索(LSR)超越精确词法匹配,但LSR一直局限于编码器式双向架构,在多模态场景中仍高度依赖辅助跨模态模块。为解决这些限制,我们提出UEmbed(统一嵌入),一个解码器风格的多模态嵌入模型,可在一次因果前向传播中同时生成稀疏词法表示和密集表示。
查看原文