← 返回资讯
大模型 HuggingFace Daily Papers

UEmbed:统一稀疏与密集多模态嵌入

稀疏检索是现代搜索系统(从网络搜索到检索增强生成)的基础。现有方法引入学习稀疏检索(LSR)超越精确词法匹配,但LSR一直局限于编码器式双向架构,在多模态场景中仍高度依赖辅助跨模态模块。为解决这些限制,我们提出UEmbed(统一嵌入),一个解码器风格的多模态嵌入模型,可在一次因果前向传播中同时生成稀疏词法表示和密集表示。

查看原文
解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。