Google 發表自然語言處理解析器 SLING,免除模組化分析級聯效應產生的缺陷

35

日前,Google 發表自然語言框架語義分析器 SLING,它能以語義框架圖(semantic frame graph)形式,將自然語言字檔直接分析為字檔語義表示。這系統避免了級聯效應,另外還減少了不必要的計算開銷。

編譯整理如下:

直到最近,大多數實際的自然語言理解(NLU)系統都採用從詞性標籤和依存句法分析(dependency parsing)到計算匯入字檔語義表示的分析。雖然這使不同分析階段易於模組化,但前期錯誤會在後期和最終表示產生層疊效應,中間階段的匯出也可能與這階段不相關。

例如,一個典型的 NLP 系統可能在早期執行依存句法解析的工作,在結束階段執行共指分析(coreference resolution)工作,早期依存句法分析階段出現的任何錯誤都會產生級聯效應,影響共指分析匯出。

今天我們發表 SLING 實驗系統,它能以語義框架圖(semantic frame graph)形式,將自然語言字檔直接分析為字檔語義表示。

匯出框架圖能直接擷取用戶感興趣的語義標注(semantic annotation),因為沒有執行任何中間階段,所以避免上述那種導管系統的缺陷,另外還減少了不必要的計算開銷。

SLING 使用具特殊用途的迴圈神經網路模型,透過框架圖的增量編輯作業(incremental editing operation)計算匯入字檔的匯出表示。框架圖夠靈活,可擷取大家感興趣的許多語義工作(下面有更多介紹)。SLING 的分析器(parser)只使用匯入詞來訓練,不需要其餘再生成標注 (如依存句法分析)。

SLING 透過提供高效、可延伸的框架儲存實現(frame store implementation)和 JIT 編譯器來生成高效程式碼來執行迴圈神經網路,進而推理(inference)時能快速分析句法。

儘管 SLING 還處於實驗階段,但得益於高效的框架儲存和神經網路編譯器,它在桌機 CPU 能實現超過 2,500 象徵式/秒的分析速度。

SLING 使用 C++,目前可在 GitHub 下載。這個系統在技術報告有詳細說明。

框架語義句法解析(Frame Semantic Parsing)

框架語義表示字檔的含義(例如一句話),是一套正規表述。每個正規表述都稱為一個框架,可看作是知識或語義的一個單元,還包含與與它相關的概念或其他框架的相互作用。

SLING 將框架組織成屬性槽(slot)清單,其中每個屬性槽都有對應名稱(角色)和值(可能是 literal 或是到另一個框架的連結)。

下面是一例句:

很多人都宣稱自己預測到黑色星期一。(Many people now claim to have predicted Black Monday.)

下圖是 SLING 辨識提到的實體(例如人物、地點或事件)、度量(例如日期或距離)和其他概念(例如動詞),並將它們放置在正確語義角色的說明。

Google 發表自然語言處理解析器 SLING,免除模組化分析級聯效應產生的缺陷

上面例子相當簡單,框架圖的功能強大到可模擬各種複雜的語義標註工作。對初學者來說,這種框架可非常方便地將語言的內外部資訊類(例如知識程式庫)結合起來。這可以用於處理複雜的語言理解問題,例如參照、隱喻、轉喻等。這些工作的框架圖只在框架類別、角色和連結約束條件上有所不同。

SLING

SLING 透過最佳化語義框架來訓練迴圈神經網路。網路隱藏層學到的內部表示,取代了前面那種導管系統的手工特徴組合和中間表示。

解碼器使用伴隨反覆出現的特徵一起的表示,來計算用於框架圖更新的一連串過渡,以獲得匯入敘述的預期框架語義表示。SLING 中用 TensorFlow 和 DRAGNN 來訓練模型。

下面動圖展示使用過濾作業將框架和角色逐漸添加到框架圖的構建過程。

Google 發表自然語言處理解析器 SLING,免除模組化分析級聯效應產生的缺陷

正如一開始討論的簡單例句,SLING 使用 ARG1 角色將動詞和事件框架連線,表示事件框架是被預測的概念。

這個過渡系統的一個關鍵層面是,有一個很小的、固定大小的框架緩衝區,代表最近被喚起或修改的框架,用橙色方框記號。這個緩衝區會捕捉我們傾向記住的,最近被喚起、提及或強化的知識直覺。如果一個框架不再使用,那麼當新框架出現時,它最終會從這個緩衝區裡清掉。我們發現這種簡單的機制在捕捉大量框架間連結的片段時非常有效。

下一步

上面說明的實驗僅是對諸如知識擷取、分析複雜參照和對話理解等語義句法分析研究工作的啟動。

Github 發表的 SLING 有上述工作的預訓練模型,還有一些示範和方法,大家可在提供的綜合資料或自己的資料來訓練分析器。希望 SLING 對大家有所幫助說明有用,我們期待著其他語義句法分析工作應用和延伸 SLING。

(本文由 雷鋒網 授權轉載;首圖來源:pixabay