微軟亞洲研究院 AI 秀出藝術分析成果,甚至完整重現不再是夢

39

談起科技公司的研究單位,Google 則有 X Lab,而微軟則有亞洲研究院,環境類似學術單位,從事不求短期回報的研究。微軟亞洲研究院成立快 30 年,今天 (5/26) 在台首次舉行 Academic Day 活動,請來多位 AI 學術要角,展示多項 AI 應用,其中用 AI 分析藝術創作,甚至還可以有模有樣的。

用 AI 研究民族舞蹈甚至保存下來

微軟亞洲研究院研究員池内克史 (Katsushi Ikeuchi) 博士運用拉班舞譜 (Labanotation) 概念分解人類動作,分析日本民族舞蹈跳舞的影像,並且最後用機器人完整重現人類舞蹈動作,未來也能幫助人類學家保存各民族珍貴的文化寶藏。

微軟亞洲研究院 AI 秀出藝術分析成果,甚至完整重現不再是夢

▲ 台灣是南島民族是重要的據點,甚至日本人也可能受到南島民族影響。

由於台灣南島民族語言歧異度相當高,再加上南島民族語言基本辭彙中不少是台灣嘉南平原常見動植物。因此有學者提出出台灣學說,南島民族以台灣為中心擴散,擴散到東南亞、太平洋島嶼。南島民族甚至跟日本民族組成有關,相關的研究受到日本的重視。池內分析台灣南島民族的舞蹈動作,依據舞步編排分類,發現台灣原住民的舞蹈演化譜系,與原住民民族的親緣關係無關。

微軟亞洲研究院 AI 秀出藝術分析成果,甚至完整重現不再是夢

▲ 依據台灣原住民的舞蹈型式分類各族的民族舞蹈,發現跟各族的親緣關係無關。

AI 學習導演剪輯演唱會錄影

而在台灣的資訊研究領域,也有相當好的例子。中央研究院特聘研究員廖泓源博士,則是研究演唱會的影像,希望 AI 能學習演唱會影像紀錄,導演如何選擇畫面,來用 AI 挑選最好的畫面和聲源。廖博士從YouTube 找公開的演唱會錄影,訓練 AI 從辨識畫面是屬於特寫、近景、中景、長景、特長景,再依據不同錄影紀錄,之間是否有時間片段重疊,AI 判斷要採用哪段畫面,最後重新剪輯新的演唱會影像紀錄。

微軟亞洲研究院 AI 秀出藝術分析成果,甚至完整重現不再是夢

▲ 運用官方的演唱會錄影,訓練 AI 辨識畫面的大小,培養導演的能力。

AI 也能吟詩囉

微軟還有展示實習生的 AI 成果,其中台大資工研究生訓練 AI 讀現代詩集,已經訓練出來可以做出與人類創造的新詩無異的詩作,並且還有出版詩集《陽光失了玻璃窗》。只要給 AI 一張風景圖片,AI 依據他「讀」詩的成果,做出相對應的新詩出來。這些成果已經融入微軟聊天機器人小冰裡,可以不只跟小冰聊天氣,還可以有文藝的對話。

微軟亞洲研究院 AI 秀出藝術分析成果,甚至完整重現不再是夢

▲ 給一張圖片,微軟的 AI 也能做詩喔。

微軟身為大的軟體公司,除了賣產品、方案之外,也積極透過亞洲研究院的編制累積研發成果,並且跟各地學校合作,協助培育人才,回饋社會。