商品检索是一门综合了物体检测、图像分类以及特征学习的技术。近期,很多研究者成功地将深度学习方法应用到这个领域。本文对这些方法进行了总结,然后概括地提出了商品特征学习框架以及垂类数据挖掘方式,最后介绍了商品检索技术在服装搭配中的应用。
前言
几年前,当人们还在感叹于网页购物的快速便捷时,各大电商巨头就“悄悄地”将它们的购物应用推广到了用户的手机里。从那一刻起,用户购买的习惯也在悄悄地发生着改变:人们不再局限于时间与地点,只要拥有一部联网的手机,就能轻松获取想要的商品。发展至今,移动设备的安全、高速等特点越来越获得人们的认可,也使得移动购物行为变得更加普遍。然而目前PC和Mobile终端中,用户基本都是通过文本关键词获取目标商品,这种单一的关键词描述有时很难获取用户的真实需求。
为此,电商们也进行了很多改进。其中最有效的一些做法是构建高度结构化的后台商品数据库。其目的是能够通过分析用户的查询来推荐一些更加精细粒度、时效性好、热度高的商品品类,并提供给用户一个限定了价格、品牌、风格等等的商品候选集合。这种基于文本的由粗到精的推荐方式,能够很好的帮助用户定位到具有精细且具体标签的商品。然而,当用户需求的商品的周边信息不明确时,很难通过抽象出有限的关键词来进行检索。这类商品包括:未知品牌的化妆品,样式新颖的家具或者时尚流行的服装等(如图1)。
所见即所得
对于上述的问题,可以用一句话归结为:当需求物品难以用文本量化描述时, 给定它的一张图像,是否有可能推荐给用户相关的商品? 可以想象这样的场景: 当你看到一件喜欢的物品,只通过手机拍照将其图像上传购物网站,就能获取实物购买信息。如果商品检索能做到这样的“所见即所得”, 必将会给有购物需求的用户带来很大的便捷。
“所见”如何才能变成“所得”呢? 在回答这个问题之前, 首先需要了解商品检索中的难点问题:
商品品类繁多
小到柴米油盐,大到家具电器, 都可以称为商品。而且很多商品都包括多级且细致的分类,例如,家具可分为卧室家具、客厅家具、餐厅家具、书房家具等;服装的一级品类包括女装、男装、内衣、配饰与童装童鞋等, 女装又可分为连衣裙、T恤、雪纺衫等; 母婴中的童车童床类别可分为安全座椅、婴儿推车、婴儿床、婴儿床、垫餐、椅学步车等。由此可见, 好的检索技术不仅要识别这么多的商品类别, 并且需要区分每个类别下的不同商品实例; 同时后台商品数据库应该具有很高的覆盖面。
同款与相似款的混淆
根据多级类目或属性进行商品划分的方式,尽管区分了大多数具有精细语义的商品,但在区分同款与相似款上的作用仍然是有限的,即无法确认两件分为一个类别的商品是相同款。 举例来说,已知两个人都穿着白色短袖圆领T恤, 因为姿态、角度、光照等影响,有可能会使得相似款更像同款,或者同款被误识别为相似款。这就是计算机视觉中经常碰到的类内差异性与类间相似性问题。图3的例子可以说明这两个问题。 左侧(a)中的上衣是同一款衣服,但由于人体姿态、悬挂方式、手臂遮挡、光线等问题的存在,使得它的颜色以及长度等表观属性具有很大的差异性;三款相似的黑色印花连衣裙如(b)所示,它们拥有相似的不规则的印花图案,以及黑色的底色和A字裙摆;这些特点都让他们很相似,但从袖型可看出它们非同款。