器の類似検索を用いた料理画像参照 による器活用支援に関する研究

食品を盛り付ける器や盛り付け方は，料理・食卓の印象を大きく左右する．本研究では，来客に提供する食事や SNS への投稿を想定した料理など “他者の審美的な評価が関わる” 料理を対象とし，器選択・盛り付け方により料理を様々に演出する調理体験の拡張を目指す．そのためには，料理提供者は料理と器の多様な組み合わせ方，盛り付け方を把握し実践する必要があるが，それらは一般的に調理経験の蓄積や盛り付けの試行錯誤を通じて獲得されるものであり，属人的な側面が強い．そこで，ユーザが所有する器や店頭で販売されている器を対象に，外観特徴が類似した器を用いた料理画像を参照させるシステムを提案する．これにより，その器に料理を盛り付けるイメージ形成・知識獲得を促すことを目指す．提案システムでユーザに参照させる料理画像はレシピサイトより収集し，それらのうち器領域のみ切り抜いた画像を作成することで，料理画像と対応づけられた合計 9,636 件の「器画像データセット」を用意した．システムの処理として，ユーザはまず盛り付けを参照したい器をスマートフォンで撮影し，その器が画像として入力される．次に Oneformer を用いたセグメンテーションが行われ，器領域の切り抜き処理が行われる．このとき，データセットの画像は食品領域により器中央の領域が遮蔽されているのに対し，撮影された器画像は遮蔽されていないという構造であり，この非対称性がのちの類似検索に影響を与える恐れがある．そこで，クエリの器画像に対し，器領域中央に円形のマスクを施す処理を追加した．この画像を検索クエリとし，器画像データセットの中から類似したものを検索する．検索には，色や模様などの外観特徴を抽出可能な自己教師あり学習モデルである Augnet に基づく類似度算出ライブラリを使用した．その結果類似度が上位であった器が “クエリと類似した器” として採用され，対応する料理画像がユーザに提示される．このシステムを使用することで，ユーザは自身の所有する器や店頭で興味を持った器について，その活用法についての着想を得ることが期待できる．提案手法における類似検索の妥当性を測るため，実験参加者 31 名に，自宅で所有する器を提案システムで撮影し類似性を評価してもらう実験を行った．合計で 138 件の器画像が撮影された．実験に使用したシステムでは，器が撮影されると，その器をクエリとし器画像データセットの各画像との距離が算出される．器画像が距離の小さい順に順位づけされ，4 つの群（上位，上中位，下中位，下位）に割り振られた上で，各群から 3 件ずつサンプリングされる．サンプリングされた器画像に対応する料理画像計 12 件を実験参加者に提示し，撮影された器との類似性をそれぞれ 5 段階で評価してもらった（1．似ている—5．似ていない）．結果，評価の平均は上位群 3.469，下位群 4.068 であり，4 つの階層で相関関係を示した．また，クエリの器画像について，マスクあり条件とマスクなし条件で比較したところ，全ての群で効果量が負であり，マスクあり条件で検索された器の方が比較的高い類似性があると評価された傾向を示した．以上の結果から，マスク処理を含む本類似検索手法は一定の妥当性を示した．次に，器の購入場面を想定したユーザ実験を行った．実験では，同一の実験参加者に，システムを用いない器選択と，システムを用いた器選択を行ってもらい，その際器への盛り付けイメージが形成された程度を 4 段階で回答してもらった．結果，7 名中 5 名において，システムあり条件で 1～2 ポイント上昇し，システムにより盛り付けイメージ形成が促進される可能性を示した．今後は，機能面が一致した器の検索や，料理や印象など多様な起点での盛り付け参照の実現により，より包括的なシステムへと発展させる