基于跨模态语义推理与融合的视觉感知推荐方法及系统

专利信息

专利权人:山东大学

第一发明人:孟雷

专利号:ZL202210558907.4

授权日:2024-5-28

专利类型:发明

国别:中国

专利简介

专利权人 山东大学 第一发明人 孟雷
专利号 ZL202210558907.4 授权日 2024-5-28
专利类型 发明 国别 中国
所属领域 开放许可开始日期
开放许可截止日期 单次许可期限
许可费支付方式
本发明属于推荐技术领域,提供了一种基于跨模态语义推理与融合的视觉感知推荐方法及系统,包括基于用户和商品的交互信息学习用户协同表征和商品协同表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法学习视觉偏好表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法和商品文本描述学习图像语义表征;基于图像语义表征通过图卷积生成语义偏好表征;将用户协同表征、商品协同表征、视觉偏好表征以及语义偏好表征进行融合,计算用户对商品的偏好得分,基于用户对商品的偏好得分为用户推荐商品;本发明实现多模态异构表征之间冗余信息与互补信息的权衡。