作者：京東零售 谷偉

1.商品搜索

1.1網(wǎng)絡購物的搜索手段

隨著移動互聯(lián)網(wǎng)發(fā)展，手機端購物已成為人們生活的常態(tài)。人們在搜索商品時采用的手段也越來越豐富，當前的主要搜索方式是文本搜索與拍照搜索。

1.2文本搜索

文本搜索應用比較廣泛，較為常用的是關鍵字匹配，針對商品信息的相關描述進行分詞，并對分詞建立索引庫，從而達到查找的目的。隨著人工智能的發(fā)展，語義搜索得到了快速的發(fā)展，它通過用戶輸入的搜索內容來理解用戶真正的意圖，從而獲得更有價值的內容。其本質是將所有要搜索的內容轉化為高維數(shù)學向量，用統(tǒng)一的特征向量來描述不同內容，把檢索輸入的內容向量化，并與要搜索的內容進行向量匹配，把相似度最高的結果展現(xiàn)出來。

1.3拍照搜索

拍照搜索也就是以圖搜圖，是近幾年的視覺AI發(fā)展的一個產(chǎn)物。用戶登錄電商平臺，可以通過上傳圖片，經(jīng)過圖像分析與識別來查找相似的商品主圖，從而找出相關的商品。其基本原理是經(jīng)圖像分析抽取圖像的顏色、形狀、紋理等特征，建立特征索引庫，對用戶上傳的圖像進行特征化描述，從索引庫中查找出與之近似的特征圖像。

2. 現(xiàn)狀分析

2.1需要專業(yè)人員參與

文本搜索需要文本描述的支持，也就是需要對短視頻進行文本描述，需要人員對短視頻進行準確的文本描述，尤其描述中要含有代表其商品的關鍵詞，否則可能難以被搜索引擎所命中，這對視頻的發(fā)布人員產(chǎn)生了一定的門檻，增加搜索命中的難度。

拍照搜索主要是對商品的主圖進行特征匹配，這也就需要商品發(fā)布人員要制作盡可能與之匹配的圖片，尤其需要美工設計人員的參與，從而增加了人力成本。

2.2難以支持短視頻搜索

隨著近幾年自媒體的發(fā)展，短視頻逐漸成為互聯(lián)網(wǎng)信息傳播的主要手段。而短視頻可以認為是大量圖片的集合，不可能對短視頻的每張圖片建立特征索引，因為這會浪費大量的計算機算力。

3. 技術方案

3.1 技術問題

以前商品介紹主要以圖文方式來展現(xiàn)商品，不僅要展示商品主圖還要配細節(jié)圖，以及產(chǎn)品參數(shù)，從而達到全面涵蓋產(chǎn)品信息的能力。而短視頻能夠全方位的展示商品，并搭配語言描述以及背景音樂，可進一步形象的給消費者介紹商品的功能，給顧客更直觀的體驗，有助于促進下單。同時商家制作的短視頻可將其推送到自媒體平臺上，便于給商品引流，提高商品銷量，從而拓寬了銷售市場。

因此短視頻營銷相對于圖文營銷更有優(yōu)勢，如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻，是本發(fā)明所要解決的主要問題。本方案主要解決的是商品短視頻搜索，按照類目維度對商品短視頻進行篩選，并提高視頻搜索的命中率，為商品短視頻搜索建立橋梁。

3.2 技術方案

展開全文

3.2.1 流程圖

流程圖：

3.2.2 詳細描述

1.關鍵幀提取

賣家在制作好商品介紹的短視頻后，在發(fā)布商品時對短視頻進行上傳，視頻時長不能超過2分鐘。對該視頻進行關鍵幀提取。視頻是由一組連續(xù)的圖像組成，如果每張圖片都存儲下來，則會導致視頻文件過大，因此視頻都會被壓縮，在壓縮過程中，產(chǎn)生了I幀、P幀、B幀。I幀是畫面的完整保存，它盡可能去除了圖像空間的冗余信息；P幀則是記錄與前一個關鍵幀的差別；B幀是記錄本幀與上一幀和下一幀的差別。

因此只需提取出I幀即可。在MPEG-4標準中，stss部分標識了哪些sample是關鍵幀，如果沒有stss則全部sample是關鍵幀。當獲取的關鍵幀太多時，以時間軸維度，隨機選取20幀的圖像供商家選擇，把商家選取的5張圖片與視頻文件一同保存到文件數(shù)據(jù)庫中。

Mp4標準

Box類型說明ftyp?????文件類型moov?????記錄媒體信息?mvhd????視頻文件信息，如時長、創(chuàng)建時間等?track????存放視頻的容器??tkhd???媒體總體信息，如寬高等??mdia???媒體容器???mdhd??換算真實事件???hdlr??媒體類型，指明是video、audio、hint???minf??媒體信息容器????stbl?偏移映射關系表?????stsdsample描述?????stts時戳-sample序號映射表?????stscsample與chunk的映射表?????stszsample的大小?????stz2另一種存儲sample的大小，更節(jié)省空間?????stss關鍵幀列表（從該處獲得I幀）?????stco每個chunk的偏移?????co6464位chunk的偏移mdat?????具體的媒體數(shù)據(jù)2.特征向量計算

本次的特征向量計算采用的是VGG16模型。由于關鍵幀的圖片都是彩色圖片，因此采用3通道。卷積核為3×3，池化核為2×2。以224×224的視頻圖像為例，過程如下：

3.向量數(shù)據(jù)庫

向量在存儲時要把文件數(shù)據(jù)庫中的ID同時存下來，以及商品ID，從而建立向量、文件、商品的關系。向量搜索都是相似性搜索，通過兩個向量在高位空間的距離來做判斷，其實就是在高維空間中找到與目標向量最接近的K個向量，一般采用歐式距離計算，其公式：

為了召回精度高，暴力搜索的是最好的選擇。但這會產(chǎn)生大量的不必要的計算，浪費了計算機資源。因此本方案采用類目維度進行切割。減少搜索范圍。

4.視頻搜索

買家需要選擇要搜索的類目再進行圖片上傳，通過VGG16模型計算出特征向量，然后基于類目維度進行暴力搜索把最接近的K個向量篩選出來。最后再根據(jù)向量與文件的關系，把視頻文件查找出來，返回給買家。

5.視頻淘汰策略

每日進行定時巡檢，對于長時間沒有流量或者流量低于閾值的商品，需要從向量庫中對其短視頻進行邏輯刪除，盡可能減少搜索的體積，減少計算資源的浪費。