FRVT是由美國國家標準技術局NIST(National Institute of Standards and Technology)組織的人臉識別供應商測試,作為美國國家采購的官方指導,其測試的權威性是全球工業(yè)界實際應用的黃金標準。其人臉識別測試集合來自美國國土安全局的真實業(yè)務場景,例如出入境、刑偵過程中收集的大量照片,如果測試成績好,則代表該技術可以在實戰(zhàn)場景中直接應用。
與時下熱門的由學術機構舉辦的LFW、MegaFace測試相比, FRVT更貼近實戰(zhàn),測試規(guī)模更大,不僅擁有百萬量級測試數據,同時這些測試數據均不公開,有效避免算法過擬合甚至是作弊手段,評測嚴謹且全面性,測試結果更具權威性。
在NIST官方最新發(fā)布的報告中,依圖科技在千萬分之一誤報下(采樣百億對樣本)的準確率為 95.5%,比第二名俄羅斯公司Vocord 93.5%的準確率高出2%。這是目前為止,全球公開的、最大規(guī)模測試集、最權威測試指標下的最好成績,比2014年參與同樣測試的第一名日本公司NEC在準確率上有大幅提高。
NIST針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。在FRVT官方發(fā)布的描述中,其提供的測試數據對應了出入境管理、身份門禁認證、平安城市監(jiān)控等實戰(zhàn)應用場景,依圖在四項主要的測試場景中均獲得第一名。在更詳細的人種(黑人、白人、亞洲人等)、性別比較中,依圖的算法表現幾乎沒有差異;相比其他算法隨著識別難度增加,識別率出現了不同程度的較大降低,依圖在在不同類型數據分布的實用場景中,例如黑人較多的場景下,算法都有穩(wěn)定表現。