f:id:starttoday_tech:20200712085110j:plain

株式会社ZOZOテクノロジーズ（本社：東京都渋谷区代表取締役社長：久保田竜弥、代表取締役CINO：金山裕樹）の研究開発組織「ZOZO研究所」は、当所研究員らが執筆した論文「Exchangeable Deep Neural Networks for Set-to-Set Matching and Learning」（邦題：置換不変ニューラルネットワークによる深層集合マッチング）が、European Conference on Computer Vision（以下ECCV）2020に採択されたことをお知らせいたします。

本研究成果は、当所研究員である斎藤侑輝、中村拓磨、共同研究者で和歌山大学講師である八谷大岳氏、統計数理研究所・総合研究大学院大学教授福水健次氏（斎藤の博士課程指導教員）によるものです。

ECCVは、CVPR・ICCVと並ぶコンピュータビジョン分野における世界三大国際会議の一つです。隔年で開催されており、第16回目となる本年度は、5,025本の投稿から1,361本の論文が採択されました。当所は、8月24日から27日にオンラインにて開催されるECCV 2020本会議にてポスター発表を行います。

研究背景

ZOZO研究所では、「ファッションを数値化する」をミッションとして研究開発を行っています。ファッションデータを扱うには今までにない手法やモデルが必要になることが多く、当所では精力的に新規技術の研究を進めている他、大学との産学連携も強化しております。

また、コンピュータビジョンの学会では近年、ファッションデータを扱う論文で、特にファッションアイテムの親和性推定やファッション画像の生成、ファッション画像向けキーポイント検出、ファッションアイテムの推薦システムをテーマにしたものが増えています。ファッションは曖昧な概念を含んだ研究対象であり、今後も独創的な研究が次々と現れるものと思われます。

その状況下、当所においても、ファッションアイテム推薦基盤の構築に力を入れており、本研究を行うに至りました。

研究概要

今回採択された論文では、ファッションアイテムの推薦から一歩先んじて、ファッションコーディネートの推薦について研究しています。例えば、下図のようにユーザーが持つアイテム群（下図左）と推薦候補のアイテム群（下図右）が複数あるとき、どのアイテム群がユーザーのアイテム群に一番マッチし、2つの群を合わせたときにコーディネートとして適切かを考えます。

f:id:starttoday_tech:20200712085401p:plain

このとき、それぞれのアイテム群は集合として表すことができ、アイテム群のマッチングは集合マッチングの問題設定として定式化できます。さらに、このように異なるアイテムカテゴリーを持つ集合同士のマッチングには、強力な特徴学習の仕組みとなる深層学習が必要になると考えられます。しかし、集合マッチングを深層学習と組み合わせた研究は、これまでほとんど行われておりませんでした。

そういった中、本論文では独自のニューラルネットワークアーキテクチャ、効率的な学習法、学習データ作成手段を提案しました。特に集合マッチングには「集合内のアイテムや集合同士を入れ替えても出力が不変であること」と「集合間インタラクションに基づく特徴変換」を備えた手法を用いることが重要であると提起し、それらを満たすアーキテクチャを考案しました。

実験では、各アイテムの画像特徴量を抽出する畳み込みニューラルネットワークと、特徴量の集合を扱う提案手法をEnd-to-endに学習し、マッチする集合の候補を正しく選べるかを調べました。その結果、提案手法は比較手法よりも精度が高いことが明らかになり、上述した特性が本論文の提唱する集合マッチングにおいて重要であることを確かめました。

また、監視カメラ向けアプリケーションとして近年注目されているGroup Re-Identificationタスクにおいても、提案手法の有効性を示しました。Group Re-Identificationは、同じ人物で構成される2つの集団を検索するタスクです。ここでは集団を人物画像の集合として扱い、高い精度かつノイズに対してロバストに同一の集団を検知可能であることが確認できました。

なお、提案手法や実験の詳細については、当社が運営する技術ブログ「ZOZO Technologies TECH BLOG」にて、一部ご紹介しております。