過去我們曾看過負責圖像辨識的 AI 將烏龜誤認為手槍，近日研究人員又對相關系統進行了一些「攻擊」測試，結果發現甚至不需要 3D 列印，小小一張特殊的貼紙就足以奪走 AI 的目光，就像在鬥牛眼前晃動的紅布。
Techcrunch 報導，機器學習（Machine learning）技術應用的興起促進許多 AI 的發展，這讓系統辨識圖像非常有能力，但在缺乏常識的情況下，它們並不聰明。
機器視覺是非常複雜的過程，就像人類一樣，機器也得透過認知才能夠正確分辨看到的景物，為了做到這一點，這些圖像辨識系統設定的重要捷徑便是：不為每個像素指定同樣的重要性。
（Souse：pixabay）
舉例來說，這是一張房子的照片，背景有天空和草地，系統透過一些基本規則清楚知道，儘管天空和草地也在圖片中，但並不是畫面「主角」，因此儘管也會將其納入考量，機器會花上更多時間來分析中間房子的形狀。
而 Google 研究人員想了解的是，如果這個捷徑的判定出錯了，那麼電腦會忽略房子，而把注意力轉向集中在選擇的東西上嗎？
除了學會辨識背景，AI 也已學會觀察特定曲線、顏色的組合，於是研究人員便針對特定圖像辨識系統，嘗試許多顏色、形狀、大小的組合，找出系統專注的特徵，並試圖創造出一個能分散系統的小型圓型圖片。
最終他們試出了最佳解答：小小的迷幻漩渦。
只要把它放在系統已知的對象旁邊，例如一根香蕉，系統會立即忘掉香蕉，認為圖片的主角就是迷幻漩渦。
團隊發現，迷幻漩渦的效果是系統性的，因此不會受到圖片差別的影響，這意味著無論系統看著何種圖片，迷幻圖形產生的干擾作用通常都能達成。
過去欺騙機器視覺的嘗試，經常是對圖片進行重複的些微調整，尋找是否有一些像素放置的位置能造成混淆，但迷幻漩渦的效果完全不同。
研究人員最近在長灘舉辦的神經訊息處理系統會議（NIPS）介紹他們的研究成果，這項研究表明，只注意圖片些微調整的地方是不夠的，因為大的局部干擾也可能會破壞辨識系統的工作。
這種研究人員認為是強大的、高度本地化的騷擾，對圖像辨識系統構成一種新型態的威脅，儘管「迷幻漩渦」是研究者針對特定系統測試出的圖案，但整體概念仍一樣，如果針對其他系統研究，也有可能會發現類似的「紅布」。
類似的干擾圖片或許甚至會偽裝成無害的貼紙，讓可能存在的辨識應用失效，即使人們注意到這些特殊的圖像，也很可能不會了解其中的意圖，而是視之為一種藝術形式。
（首圖來源：Adversarial Patch 研究資料）
延伸閱讀：