加州大学研究人员开发视觉语言模型 BLIVA,以更好地处理包含文本的图像

据站长之家 8 月 28 日报道,加州大学圣地亚哥分校的研究人员开发了一种视觉语言模型 BLIVA,旨在更好地处理包含文本的图像。视觉语言模型(VLM)通过合并视觉理解功能来扩展大型语言模型 (LLM),以回答有关图像的问题。
据悉,BLIVA 结合了两种互补的视觉嵌入类型:一种是 Salesforce InstructBLIP 提取的学习查询嵌入,用于关注与文本输入相关的图像区域;另一种是受 Microsoft LLaVA 启发提取的编码修补嵌入,直接从完整图像的原始像素修补中获得。

上一篇:

下一篇:

发表回复

登录后才能评论