摘 要：為研究基于雙目立體視覺的人眼追蹤技術的發(fā)展情況，文章從專利信息挖掘與分析角度對基于雙目立體視覺的人眼追蹤技術的全球專利及中國專利進行分析，了解該技術近20年的發(fā)展趨勢、地域分布、各國發(fā)展態(tài)勢、全球重要申請人、中國重要申請人等，并進一步分析應用于裸眼3D場景的基于雙目立體視覺的人眼追蹤專利實現(xiàn)人眼追蹤所采用的裝置類型、光源類型以及實現(xiàn)人眼追蹤精度和速度提升的手段。

　　關鍵詞：人眼追蹤;雙目立體視覺;專利分析

　　引 言

　　人眼追蹤技術是一種通過計算機視覺對人眼進行定位和跟蹤的技術，在人工智能、心理學、人機交互設備、智能交通系統(tǒng)、廣告研究、體育運動研究等領域具有廣泛應用[1]。人眼追蹤應用在駕駛員疲勞檢測、裸眼3D呈現(xiàn)、廣告研究等領域需要滿足追蹤精度高、實時性強等要求，而雙目立體視覺系統(tǒng)能夠對特定目標進行信息提取，具有工作量小、處理速度快、實時性強等優(yōu)點，其在動態(tài)目標識別跟蹤等領域具有較高應用價值[2]。基于雙目立體視覺系統(tǒng)的人眼追蹤技術是利用布設的雙目攝像頭采集圖像信息，通過攝像頭標定、建立人眼3D模型、特征提取、視線方向計算等步驟實現(xiàn)人眼的定位和追蹤[3，4]。

　　專利文件是申請人對其技術進行公開以獲得專利權保護的一類法律文件，同時，因為專利文件是對技術的公開，其也是一類技術文件。專利文件以文字、圖表等形式記載技術方案，能夠較為全面地反映研發(fā)人員在創(chuàng)新中發(fā)現(xiàn)的新問題、用以解決該問題的技術手段及取得的技術效果。因此，本文從專利信息挖掘與分析視角，對基于雙目立體視覺的人眼追蹤相關專利進行分析以研究該技術的發(fā)展情況，同時，本文進一步研究了在裸眼3D顯示領域的雙目立體視覺的人眼追蹤技術情況。

　　1 全球專利分析

　　本文檢索基于incoPat數(shù)據(jù)庫，截止到2021年4月，共檢索到雙目立體視覺人眼追蹤全球專利1 261條，申請?zhí)柡喜⒑蟮玫綄＠? 008件。

　　雙目立體視覺人眼追蹤專利的年度申請量趨勢如圖1所示，盡管2007和2012、2013年的專利數(shù)量略有回落，但該技術的專利在近20年總體呈現(xiàn)上升趨勢，其中，2009年起專利數(shù)量持續(xù)快速增長，并在2017年達到最高峰，而2018—2019年專利數(shù)量有所減少，2020—2021年的數(shù)據(jù)因部分專利未公開而不參與趨勢分析討論。可見，近20年來雙目立體視覺人眼追蹤技術在經過快速發(fā)展后進入一個較為平穩(wěn)的階段。

　　從地域分布看，雙目立體視覺人眼追蹤專利主要分布于中國(311件)、日本(198件)、美國(182件)、世界知識產權組織WIPO(105件)、韓國(90件)、歐洲專利局(60件)等國家和地區(qū)。其中，中、日、美、韓的總和專利數(shù)量占該技術全部專利數(shù)量的77.5%。可見，該技術在中日美韓四國的研究和應用較為活躍。由圖2雙目立體視覺人眼追蹤專利的主要國家專利年度申請量趨勢圖可知，主要國家的專利年度申請量在近20年間均呈現(xiàn)了由少到多增長并在達到頂峰后有所回落的趨勢;在2002—2005年間，日本的專利數(shù)量高于其他國家的專利數(shù)量，其專利數(shù)量的高峰出現(xiàn)在2012年也早于其他國家，這表明該技術在日本最早受到重視并最早達到“飽和”;中、美的起步雖然晚于日本，但在2010、2011年逐漸超過日本，進一步比較中、美兩國的趨勢線可知，2011年之前，美國的專利數(shù)量基本多于中國，2011—2013年間中國逐漸趕超，并在2013年后完全超過美國，表明該技術在中國從2011年進入活躍期。

　　以專利數(shù)量對全球申請人進行排序，排名前九的申請人中，日本申請人3個，包括佳能(排名第一)、松下(排名第三)、索尼(排名第三);韓國申請人3個，包括三星(排名第三)、韓國電子通信研究院(排名第四);中國申請人2個，包括京東方(排名第三)、深圳超多維(排名第四);芬蘭申請人1個，為諾基亞(排名第五);瑞典申請人1個，為tobii(排名第六)。可見，該技術的全球研發(fā)主力多為涉及多種綜合業(yè)務的知名跨國公司，僅有兩家專注于人眼追蹤技術的企業(yè)，其中，深圳超多維是一家致力于VR/AR等創(chuàng)新視覺科技和裸眼3D顯示技術的研究、應用、創(chuàng)新產品的研發(fā)和生產的企業(yè)，tobii是一家致力于眼動儀與眼動技術研究的企業(yè)。

　　2 中國專利分析

　　為了解該技術在中國的發(fā)展情況，本文進一步對雙目立體視覺人眼追蹤的中國專利進行分析。在311件中國專利中，實用新型專利30件，占比9.3%，發(fā)明專利281件，占比90.7%，這是由于發(fā)明專利既可以對產品結構進行保護，又可以對方法進行保護，而雙目立體視覺人眼追蹤的算法是相當重要的一個部分，因此，申請人更傾向于申請發(fā)明專利;實用新型專利能夠對結構的改進進行保護且獲權周期短，對于雙目立體視覺人眼追蹤的裝置系統(tǒng)等則適合申請實用新型專利。另外，該技術的發(fā)明專利已授權107件，發(fā)明專利授權率僅為38.0%，而根據(jù)2020年國家知識產權局年報的統(tǒng)計數(shù)據(jù)，2020年發(fā)明專利授權率為47.3%[5]，可見該技術的中國專利授權難度相對較大。

　　雙目立體視覺人眼追蹤中國專利在各省份的分布情況如圖3所示，排名前四的廣東、北京、上海、江蘇的專利申請數(shù)量在平均值31.7件之上，而排名第五至第十的省市的專利數(shù)量在平均值之下。其中，排名第一的廣東為第一梯隊，專利數(shù)量遙遙領先，突破了100件;排名第二的北京為第二梯隊，數(shù)量也遠超第三梯隊的上海和江蘇;排名第五至第十的6個省市為第五梯隊，6省的專利數(shù)量總和僅相當于北京的專利數(shù)量，遠不及廣東一省的專利數(shù)量。可見，該技術的活躍度集中，主要活躍于國內的經濟發(fā)達地區(qū)。

　　從中國專利的申請人類型看，個人申請人占比為10.4%，近90%的申請人為企事業(yè)單位，其中，企業(yè)、高校、科研單位的占比分別為69.0%、16.5%、3.16%。對中國專利的主要申請人進行排序，深圳超多維排名第一，京東方排名第二，上海大學、北京芯海視界三維科技有限公司和視覺技術創(chuàng)投私人有限公司并列第三，華南理工大學、維沃移動、張家港康得新光電材料有限公司并列第四，上海青研科技有限公司、廣州杏雨信息科技有限公司并列排名第五。

　　對比排名前二的申請人，從全球專利數(shù)量看，京東方專利數(shù)量多于深圳超多維，京東方在擁有12件中國專利的基礎上還擁有6件海外專利，包括美國4件、日本1件、WIPO1件，即33%以上的專利布局于海外，表明京東方更重視海外市場和海外專利布局，而深圳超多維則主攻國內市場，專利均在國內布局。另外，中國專利的重要申請人包括上海大學、華南理工大學兩所高校，而根據(jù)在前對申請人類型的分析可知高校申請人占比不大，卻有兩所高校能夠成為排名第三、四的重要申請人，可見，高校在雙目立體視覺人眼追蹤技術研究上具有獨特優(yōu)勢。此外，維沃移動通信是知名手機品牌“VIVO”的廠商，其專利均應用于手機，并同時涉及人臉追蹤和人眼追蹤，可見該技術的發(fā)展與手機等智能設備的發(fā)展密切相關。排名第三的北京芯海視界三維科技有限公司是視覺技術創(chuàng)投私人有限公司在華投資子公司，是一家專注從事立體顯示器件研發(fā)的企業(yè)。張家港康得新光電材料有限公司、廣州杏雨信息科技有限公司都申請了涉及內窺鏡裸眼3D顯示的人眼追蹤專利。上海青研科技有限公司是專業(yè)從事眼動技術(眼球追蹤)的公司，其眼動技術的軟硬件產品包括VR眼動實驗、VR戒毒等。

　　3 關鍵技術分析

　　雙目立體視覺人眼追蹤根據(jù)所采用的裝置類型，可分為穿戴式和遙測式[6];根據(jù)雙目立體視覺人眼追蹤裝置的工作光照環(huán)境，可分為紅外光源系統(tǒng)和自然光源系統(tǒng)[7]。為了研究雙目立體視覺人眼追蹤技術在裸眼3D方面的應用以及算法改進，進一步檢索了應用于裸眼3D場景的雙目立體視覺人眼追蹤的專利以及采用圖像處理技術的雙目立體視覺人眼追蹤的專利，截至2021年4月，檢索得到70件專利。對以上專利去噪、合并、去重后進行人工標引，按照涉及穿戴式、遙測式、紅外光源、自然光源4個方面進行歸類統(tǒng)計如下。

　　如圖4所示，25件采用圖像處理技術的雙目立體視覺人眼追蹤專利中，44%的專利為穿戴式，56%的專利為遙測式，表明穿戴式和遙測式設備的應用程度較為接近。而45件應用于裸眼3D場景的雙目立體視覺人眼追蹤的專利所采用的設備均為遙測式，這與裸眼3D的特殊要求有關。從光源類型區(qū)分，采用自然光源的專利數(shù)量遠大于紅外光源，這是由于自然光源無需額外配置光源減少了設備成本、利于推廣應用，可見，采用自然光源系統(tǒng)的雙目立體視覺人眼追蹤是研究的熱點。當然，自然光源系統(tǒng)也面臨著適應復雜光照環(huán)境、攝像機精確標定、建立可靠模型等方面的挑戰(zhàn)。

　　對采用遙測式且自然光源的雙目立體視覺人眼追蹤專利按照涉及“人臉與人眼檢測”“僅人眼檢測”“結合特殊標記”“涉及攝像機標定”這4個技術手段進行5個方面的技術功效劃分，得到圖5的技術功效氣泡圖。

　　在裸眼3D中應用人眼追蹤技術是為了快速、準確地獲取觀看者的視線位置，從而根據(jù)觀看者的視線進行3D視覺呈現(xiàn)，因此，應用于裸眼3D場景的人眼追蹤需要滿足追蹤精度高和追蹤實時性佳的要求。人眼追蹤的精度和速度提升受多種因素影響，包括：建立可靠的眼睛模型、精確的攝像機標定等，其中，只有實現(xiàn)攝像機精確標定才能有效地利用模型進行可靠識別追蹤。圖5可知，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中37.5%的專利都涉及了對于攝像機的標定。而在人眼追蹤的手段方面也可以采用多種手段，其中之一是采用由粗到精的追蹤檢測策略，即，在圖像中先檢測和定位人臉，隨后在人臉區(qū)域內定位人眼，進而檢測人眼的特征，該追蹤檢測策略是一種較為常見的提高人眼檢測可靠性的手段。由圖5可知，相較于“僅人眼檢測”，采用遙測式且自然光源的雙目立體視覺人眼追蹤專利中較多的專利采用了“人臉與人眼檢測”的技術手段，并且，采用“人臉與人眼檢測”的技術手段更利于提升追蹤精度和速度。