轉載從: Tech News 科技新報
澳洲聯邦科學與工業研究組織（Commonwealth Scientific and Industrial Research Organisation，CSIRO）旗下研究機構 Data61、澳洲網路安全合作研究中心（Australian Cyber Security Cooperative Research Centre，CSCRC）和南韓成均館大學（Sungkyunkwan University）的研究都強調了某些觸發因素可能成為智慧安全攝影機中的漏洞。
研究人員測試如何透過一個簡單的物體（例如一件特定顏色的衣服）輕鬆地乘隙利用、繞過和滲透業界流行的物體偵測攝影機 YOLO。在第一輪的測試中，研究人員使用了一個紅色毛帽來說明如何將該帽當作「觸發器」，進而讓物體消失不見。研究人員實際展示了，YOLO 攝影機在一開始還能偵測到物體，但是一戴上紅毛帽後，就偵測不到他們了。
需對 AI 進行偵測所有不同情境的訓練，否則有安全風險
在一項包含兩個人穿著相同 T 恤但顏色不同的類似展示中，也產生了相似的結果。Data61 網路安全研究科學家 Sharif Abuadbba 解釋道，最有趣的是從中了解 AI 人工智慧演算法的潛在缺陷。
「儘管 AI 具備辨識許多事物的有效性與能力，但它的問題在於它本質上是對立的」，他表示。「如果你正在編寫一個簡單的電腦程式，並將程式傳送給旁邊的其他人，他們可以對該程式碼運行許多功能測試和整合測試，並確切地看清楚該程式碼的運行方式。」
「但是透過 AI……你只能從實用性的角度來測試該模型。例如，一種專門設計用來辨識物體或對電子郵件進行分類（好或惡意電子郵件）的模型，因為它無異是個黑盒子，所以你的測試範圍會受到限制。」他表示，如果該 AI 模型未進行可偵測所有不同情境的訓練，那麼就有可能構成安全風險。
Abuadbba 指出：「如果你在進行監控，使用智慧攝像機，並想讓警報作響，但戴著紅色毛帽的人卻可能在不被發現的情況下走進、走出。」他繼續指出，經由對可能會有漏洞此一事實的認同，那麼就可以當作一個警告：讓使用者認真考慮一下可被用來訓練智慧攝影機的資料。
Abuadbba 表示：「如果你身處一個敏感性較高的組織裡，那麼你需要生成你自己信任的資料集，並進行監督式訓練……另一個選項就是從你可採用這些模型之處進行選擇。」
Twitter 影像預覽裁切工具會自動裁掉黑人臉孔
Twitter 使用者在發現該社交媒體平台的影像預覽裁切工具偏向於白人臉孔而不是黑人臉孔後，他們最近也強調有類似的演算法缺陷存在。一位白人使用者 Colin Madland 在 Twitter 上揭露視訊會議軟體 Zoom 中的種族偏見狀況後，就發現了這個演算法上的問題。
當 Madland 張貼內含自己和他黑人同事的合照影像時，在 Zoom 線上會議上使用虛擬背景時，由於演算法無法辨識他黑人同事的臉，結果他同事整個頭都被去掉，最後 Twitter 自動裁切成只有顯示 Madland 的圖像。
在回覆這個問題的過程中，Twitter 承諾將繼續測試其演算法是否存在偏見問題。Twitter 技術長 Parag Agrawal 和數位長 Dantley Davis 在官方部落格中寫道：「儘管到目前為止，我們的分析結果並未發現有種族或性別偏見問題，但我們認識到，我們的自動裁剪照片機制會有造成他人傷害的潛在風險。」
「我們應在設計和製造該產品之初時，就應該先做好預期這種可能性的工作，」他們表示，「我們目前正在進行更多的分析，以進一步提升我們測試的嚴密性，我們承諾會分享我們的發現，並探索可將我們的分析加以開源的方式，以便讓其他人可以幫助我們完美地達成該負的重責大任。」
（首圖來源：pixabay）