數(shù)智時代的安全風(fēng)險

　　在安防行業(yè)，談起安全，人們自然會想到數(shù)據(jù)安全、傳輸安全、網(wǎng)絡(luò)安全等話題，但其實(shí)隨著安防行業(yè)進(jìn)入智能化時代，人工智能安全已經(jīng)是行業(yè)目前必須面對的新挑戰(zhàn)。

　　近年來，在大算力和海量大數(shù)據(jù)的驅(qū)動下，以深度學(xué)習(xí)為代表的AI技術(shù)飛速發(fā)展，以計算機(jī)視覺技術(shù)為例，依托廣闊的應(yīng)用場景從理論研究走向大規(guī)模的應(yīng)用落地，人臉識別、目標(biāo)檢測等技術(shù)被廣泛應(yīng)用于公共安全、城市交通等領(lǐng)域，推動城市治理的智能化升級。

　　但在數(shù)據(jù)驅(qū)動智能化發(fā)展的背后，安全隱患也不容忽視。瑞萊智慧副總裁唐家渝指出，數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)算法存在不可靠、不可解釋等局限性，即便是開發(fā)者也難以理解其內(nèi)在的運(yùn)行邏輯，這就導(dǎo)致系統(tǒng)可能遭受到難以被察覺的惡意攻擊。

　　McAfee曾做過一個實(shí)驗(yàn)，針對護(hù)照的人臉識別系統(tǒng)進(jìn)行攻擊，結(jié)合禁飛人員與正常飛行人員的特征，生成對抗樣本圖案，禁飛人員可憑包含這張生成的虛假照片的護(hù)照，順利通過人臉識別護(hù)照系統(tǒng)的檢測，順利登機(jī)。這種潛在漏洞在國內(nèi)安防門禁、考勤系統(tǒng)和手機(jī)解鎖應(yīng)用中同樣存在。

　　唐家渝表示，這是深度學(xué)習(xí)范式下AI應(yīng)用存在的結(jié)構(gòu)性缺陷，貫穿于AI全生命周期。除了在運(yùn)行環(huán)節(jié)對輸入數(shù)據(jù)添加“擾動”，在最開始的模型設(shè)計環(huán)節(jié)，通過在訓(xùn)練數(shù)據(jù)中添加“污染數(shù)據(jù)”進(jìn)行“投毒”，導(dǎo)致模型被埋藏后門，再通過預(yù)先設(shè)定的觸發(fā)器激發(fā)后門，模型也將輸出事先設(shè)定的錯誤結(jié)果。

　　通過數(shù)據(jù)污染、惡意樣本攻擊等方式對算法進(jìn)行深層次攻擊已經(jīng)成為趨勢，隨著AI技術(shù)尤其是計算機(jī)視覺技術(shù)的廣泛應(yīng)用，這一安全風(fēng)險的真實(shí)威脅開始顯現(xiàn)。例如，公共安全領(lǐng)域，視頻監(jiān)控、安檢閘機(jī)等智能安防設(shè)備被不法分子攻擊，用于躲避追蹤、冒充他人等；交通領(lǐng)域，自動駕駛汽車被干擾“致盲”，引發(fā)安全事故等；在金融領(lǐng)域，線上銀行的人臉認(rèn)證被破解，用于非法轉(zhuǎn)賬等詐騙行為。

　　唐家渝介紹，除了算法漏洞，“數(shù)據(jù)驅(qū)動”衍生的安全風(fēng)險還遠(yuǎn)不止于此。海量人臉數(shù)據(jù)被惡意采集、濫用，導(dǎo)致用戶隱私泄漏；泄露的人臉照片在表情驅(qū)動算法下生成偽造視頻，用于攻破人臉核驗(yàn)系統(tǒng)等……如何有效應(yīng)對人工智能安全風(fēng)險，保障人工智能安全可控的應(yīng)用落地成為行業(yè)未來發(fā)展的一項重要課題。

圖：AI版“隱身衣”演示

　　AI安全風(fēng)險如何應(yīng)對

　　隨著智能化場景的深入，人工智能的風(fēng)險問題將更加的嚴(yán)峻。目前圍繞AI的核心要素與環(huán)節(jié)來看，算法的漏洞、數(shù)據(jù)的濫用、隱私的泄露，以及技術(shù)濫用等問題都日漸嚴(yán)峻。如此，圍繞算法、數(shù)據(jù)、應(yīng)用等環(huán)節(jié)的AI治理問題也亟待解決。

　　針對以上問題，瑞萊智慧圍繞“算法可靠、數(shù)據(jù)安全、應(yīng)用可控”三大方向展開布局，在算法方面，其推出了業(yè)內(nèi)首個業(yè)務(wù)級人工智能安全平臺“RealSafe”，提供模型安全性測評及防御加固的端到端解決方案；在數(shù)據(jù)方面，其基于安全多方計算、聯(lián)邦學(xué)習(xí)、匿蹤查詢等技術(shù)打造了數(shù)據(jù)安全共享基礎(chǔ)平臺隱私保護(hù)計算平臺“RealSecure”；在應(yīng)用治理領(lǐng)域，針對“AI換臉”等深度偽造技術(shù)濫用現(xiàn)象，瑞萊智慧推出深度偽造內(nèi)容檢測平臺“DeepReal”，目前，該公司商業(yè)化產(chǎn)品已在政務(wù)、金融、能源、互聯(lián)網(wǎng)等領(lǐng)域落地。

　　唐家渝認(rèn)為，人工智能應(yīng)用是集業(yè)務(wù)、算法、數(shù)據(jù)于一體的有機(jī)整體，涉及訓(xùn)練、檢驗(yàn)、運(yùn)行等生命周期階段，所以應(yīng)面向所有關(guān)鍵流程，布局全面且有針對性地安全防御措施。同時他強(qiáng)調(diào)，人工智能安全攻防技術(shù)在快速演變過程中，新的攻擊手段不斷出現(xiàn)，除了要解決“近憂”，更要著眼于“遠(yuǎn)慮”，對于未知威脅進(jìn)行研判和防范，因此需打造動態(tài)升級、科學(xué)前瞻的防御理論及技術(shù)體系。

　　基于此，瑞萊智慧提出了兼顧“被動”和“主動”的防御機(jī)制。唐家渝解釋道，被動防御為AI應(yīng)用部署靜態(tài)的安全能力，防范已知安全風(fēng)險，比如對外部訪問、輸入數(shù)據(jù)、行為決策等進(jìn)行檢測，為算法模型部署加固防護(hù)組件等，提升系統(tǒng)抵御攻擊的能力。主動防御則是為補(bǔ)充被動式防御的局限，引入和強(qiáng)化人工智能安全團(tuán)隊力量，以動態(tài)防御對未知威脅進(jìn)行風(fēng)險預(yù)判，構(gòu)建自適應(yīng)、自生長的安全能力。

　　AI市場新賽道

　　AI安全是新興領(lǐng)域，雖然Google、Open AI、BAT等科技巨頭都有布局人工智能安全領(lǐng)域技術(shù)研究，但實(shí)際聚焦并將其商業(yè)化落地的企業(yè)寥寥無幾。

　　作為市場的先行者，唐家渝認(rèn)為這個領(lǐng)域除了部署技術(shù)體系外，更需要框架指導(dǎo)、標(biāo)準(zhǔn)規(guī)范、法律合規(guī)等多個維度協(xié)同推進(jìn)。據(jù)悉目前瑞萊智慧已經(jīng)與國家工信安全中心、中國信通院、國家互聯(lián)網(wǎng)應(yīng)急中心、公安部第三研究所等單位開展合作，聯(lián)合落地標(biāo)準(zhǔn)制定、測試評估等工作，推動AI安全從“試點(diǎn)示范”走向“推廣應(yīng)用”。

　　唐家渝表示，目前整個AI產(chǎn)業(yè)已經(jīng)從之前粗放式的高速發(fā)展進(jìn)入到高質(zhì)量發(fā)展的階段，隨著公眾對于AI安全性的關(guān)注度提升，以及監(jiān)管政策的出臺和引導(dǎo)，未來AI行業(yè)將是發(fā)展與治理協(xié)同的階段，如何保證AI應(yīng)用的安全性是一個重要命題。安全AI這一新興領(lǐng)域，比如AI安全防火墻、基于隱私計算的人臉識別方案等會很快迎來爆發(fā)。

　　安博會期間，安防知識網(wǎng)等媒體與唐家渝進(jìn)行了一次深度對話。本次訪談中，唐家渝談到AI安全的落地以及對AI產(chǎn)業(yè)的思考。

　　Q：整個展會看下來，瑞萊智慧非常的特殊，能否為我們簡單介紹下企業(yè)？

　　唐家渝：瑞萊智慧孵化自清華大學(xué)人工智能研究院，致力于提供基于第三代人工智能技術(shù)的AI基礎(chǔ)設(shè)施，加速安全、可靠、可信的產(chǎn)業(yè)智能化升級。核心聚焦安全AI領(lǐng)域，比如數(shù)據(jù)安全治理、算法可靠性提升，以及保障AI技術(shù)應(yīng)用的安全可控。

　　Q：人工智能安全的最大挑戰(zhàn)是什么？

　　唐家渝：安全問題的本質(zhì)是攻防較量，是對抗升級的過程，我們需要永遠(yuǎn)比對手“快一步”。例如我們的AI防火墻能夠檢測到現(xiàn)有的一些新型攻擊，但是攻擊方也在不斷更新算法，一旦他們比我們更快找到了新的漏洞，如果不能及時防御，后果可能會比較嚴(yán)重。這個對抗博弈的過程非常艱辛，背后的技術(shù)投入與技術(shù)難度是非常大的，但也只有這樣才能制衡住對方。

　　Q：用戶如何評估瑞萊智慧安全解決方案的效果？

　　唐家渝：安全的評估難以完全量化，主要通過兩類場景來體現(xiàn)：一是用戶已經(jīng)遭受攻擊產(chǎn)生損失，利用我們的系統(tǒng)能夠?qū)⒙┒淳唧w檢測出來，同時基于我們的方案避免類似的損失發(fā)生；二是如果有更加新型的攻擊方式出現(xiàn)，已經(jīng)部署我們系統(tǒng)的用戶通常能夠更早地發(fā)現(xiàn)風(fēng)險以及抵御風(fēng)險，降低損失。

　　Q：目前哪些用戶比較關(guān)心人工智能安全？

　　唐家渝：主要有三類，一是行業(yè)屬性對場景及業(yè)務(wù)安全性關(guān)注度較高的群體，例如銀行等金融機(jī)構(gòu)，與財產(chǎn)安全直接掛鉤；二是國家重大基礎(chǔ)設(shè)施服務(wù)群體，例如電網(wǎng)，一旦有被攻擊的風(fēng)險將造成國家重大財產(chǎn)損失和社會安全問題；最后是監(jiān)管類國家政府機(jī)構(gòu)，因?yàn)椴块T職能要求，需要利用相應(yīng)的技術(shù)工具對市面上的人工智能產(chǎn)品的安全性進(jìn)行監(jiān)管與評測。這是目前比較典型的客戶群體，我們覺得，類似于互聯(lián)網(wǎng)時代網(wǎng)絡(luò)安全的出現(xiàn)，未來人工智能會像互聯(lián)網(wǎng)一樣，普及是未來趨勢，相應(yīng)的人工智能安全應(yīng)對也將成為必需。

　　Q：與互聯(lián)網(wǎng)安全廠商如360、奇安信等會有合作嗎，還是業(yè)務(wù)是各自分開的？

　　唐家渝：我們之間屬于合作的關(guān)系，人工智能安全與網(wǎng)絡(luò)安全相比，兩者針對的目標(biāo)對象和風(fēng)險類型是完全不同的，網(wǎng)絡(luò)安全主要是針對計算機(jī)網(wǎng)絡(luò)系統(tǒng)的安全防護(hù)，人工智能安全主要關(guān)注的是人工智能系統(tǒng)模型、數(shù)據(jù)、框架等方面的安全，兩者技術(shù)點(diǎn)與場景點(diǎn)是不一樣的。因此通過開展合作，各自發(fā)揮所長，推動全方位的安全服務(wù)落地。

　　Q：安防行業(yè)強(qiáng)調(diào)的安全是數(shù)據(jù)存儲與數(shù)據(jù)傳輸?shù)陌踩?，但瑞萊智慧強(qiáng)調(diào)的是用算法去推進(jìn)安全的應(yīng)用，對于傳統(tǒng)用戶而言，目前的接受程度如何？

　　唐家渝：現(xiàn)階段看，市場仍需要一個培育的過程，但部分領(lǐng)域的客戶已經(jīng)有這方面的意識。比如我們與公安客戶交流，他們對于人工智能安全必要性的認(rèn)知還是非常高的。當(dāng)前捕捉在逃嫌疑人的人臉識別系統(tǒng)、視頻結(jié)構(gòu)化系統(tǒng)的識別算法會被一些不法分子繞過，因此針對這些安全系統(tǒng)的升級也迫在眉睫。同樣的，金融行業(yè)的用戶接受度也更高，雖然針對AI系統(tǒng)的攻擊仍是比較新的，但在利益的驅(qū)使下，已經(jīng)有不少黑產(chǎn)分子在利用這些技術(shù)手段實(shí)施攻擊，頭部的銀行客戶也正在我們的幫助下加速建立完善的人工智能安全體系。另外，我們除了布局算法安全外，也涉及數(shù)據(jù)安全領(lǐng)域，比如基于隱私計算的數(shù)據(jù)治理方案，為用戶提供全面的安全保障。

　　Q：瑞萊智慧這類型的企業(yè)出現(xiàn)，也意味著AI產(chǎn)業(yè)的野蠻生長已經(jīng)結(jié)束，開始進(jìn)入理性化的階段，站在您的角度，如何看待AI企業(yè)未來的發(fā)展？

　　唐家渝：之前的安防展，AI企業(yè)展現(xiàn)的內(nèi)容還大多聚焦在人臉識別與視頻結(jié)構(gòu)化等應(yīng)用，企業(yè)拼到最后也是在數(shù)據(jù)收集以及場景深耕上競爭。但今年來看的話，AI安全治理開始受到重視，隨著數(shù)據(jù)安全法、算法治理規(guī)范等相關(guān)條例的出臺，以及公眾輿論的討論，使用人臉識別產(chǎn)品的企業(yè)對安全問題的關(guān)注度越來越高，業(yè)界開始出現(xiàn)探索安全可信的AI方案，比如后端治理上，數(shù)據(jù)采集后的脫敏存儲、結(jié)合隱私計算的人臉識別方案等。從大環(huán)境來看，AI企業(yè)的算法效果的差異化已經(jīng)沒那么明顯了，未來市場的趨勢一定是在追求算法落地效果的基礎(chǔ)上要保障算法與數(shù)據(jù)的安全可控，這有助于整個AI產(chǎn)業(yè)的健康發(fā)展，同時對我們而言也是個利好的趨勢。

　　Q：除了公安，未來瑞萊智慧會切入其他安防場景，如交通、社區(qū)等場景嗎？

　　唐家渝：這些場景我們都有在布局，因?yàn)锳I安全性問題屬于底層的通用問題，當(dāng)前安全問題的產(chǎn)生源自于深度學(xué)習(xí)算法的結(jié)構(gòu)性缺陷，我們首先切入公安的人臉識別場景是因?yàn)槠鋺?yīng)用最為廣泛，面臨的風(fēng)險也最為嚴(yán)峻。但像智能交通的車牌識別、社區(qū)安防的人臉識別和ReID跟蹤等場景，同樣存在安全風(fēng)險，我們也在跟這些領(lǐng)域的廠商與主管部門展開合作，共同推進(jìn)相關(guān)場景的AI系統(tǒng)安全性升級。

　　Q：所有的智能化應(yīng)用落地都會有困難，那么人工智能安全方案在落地之前會遇到挑戰(zhàn)嗎？

　　唐家渝：會的，核心是安全與效果之間的平衡，因?yàn)榘踩桨傅囊?，或多或少都會對系統(tǒng)的效果產(chǎn)生影響。舉一個例子，一些視頻結(jié)構(gòu)化系統(tǒng)具有較好的識別效果，但同時容易被攻擊誤導(dǎo)，這種情況下，我們核心要突破的挑戰(zhàn)便是如何最大程度降低被惡意攻擊的概率，同時保證系統(tǒng)的識別效果盡可能不受影響，這需要我們對識別算法、攻防算法的技術(shù)理論以及實(shí)際的業(yè)務(wù)邏輯都要有深入的理解。