今日 Paper | 自適應次梯度法；多域聯(lián)合語義框架；無問答對分析；口語系統(tǒng)評價等

自適應次梯度法在線學習與隨機優(yōu)化

dropout：防止神經(jīng)網(wǎng)絡(luò)過度擬合

基于雙向RNN-LSTM的多域聯(lián)合語義框架分析

無問答對的大規(guī)模語義分析

口語系統(tǒng)評價：ATIS領(lǐng)域 

論文名稱：Adaptive Subgradient Methods for Online Learning and Stochastic Optimization

作者：John Duchi /Elad Hazan /Yoram Singer

發(fā)表時間：2011/7/11

論文鏈接：https://paper.yanxishe.com/review/12256?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：神經(jīng)網(wǎng)友如何學習優(yōu)化是一個非常重要的內(nèi)容，當你學習深度學習的時候，你首先學習的一定是梯度下降算法，但是這個方法存在一些問題，所以之后誕生了很多優(yōu)秀的算法。

創(chuàng)新點：作者提出一個新的次梯度方法家族,可以動態(tài)地吸收之前的看過的數(shù)據(jù)的信息,來進行基于梯度的學習.它可以找到很有信息的特征。

研究意義：優(yōu)化算法一直是深度學習的重要點之一。

論文名稱：Dropout: A Simple Way to Prevent Neural Networks from Overfitting

作者：Nitish Srivastava /Geoffrey Hinton /Alex Krizhevsky /Ilya Sutskever /Ruslan Salakhutdinov

發(fā)表時間：2014/11/12

論文鏈接：https://paper.yanxishe.com/review/12213?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：在神經(jīng)網(wǎng)絡(luò)中經(jīng)常要面對的一個問題是過擬合問題，目前有很多解決過擬合方法，這里介紹了其中之一。

創(chuàng)新點：本文提出了一種dropout方法，這些方法是目前最流行的解決神經(jīng)網(wǎng)絡(luò)過擬合的方法

研究意義：過度擬合是一個嚴重的問題。大型網(wǎng)絡(luò)也使用緩慢，很難通過結(jié)合許多人的預測來處理過度擬合測試時使用不同的大型神經(jīng)網(wǎng)絡(luò)。

論文名稱：Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM

作者：Dilek Hakkani-Tur /Gokhan Tur /Asli Celikyilmaz /Yun-Nung Chen /Jianfeng Gao /Li Deng /Ye-Yi Wang

發(fā)表時間：2016/2/12

論文鏈接：https://paper.yanxishe.com/review/12212?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：這是一篇做對話系統(tǒng)的文章，目前對話系統(tǒng)最主要的三個問題是領(lǐng)域分類，意圖識別，實體填充，這三個任務都是nlp的子問題，很多模型都是采用流水線的形式，獨立來做，本文探討了一種聯(lián)合模型

創(chuàng)新點：

作者提出了一個RNN-LSTM體系結(jié)構(gòu)，用于空位填充、意圖確定和領(lǐng)域分類的聯(lián)合建模。

建立了一個聯(lián)合多領(lǐng)域模型，支持多任務深度學習，每個領(lǐng)域的數(shù)據(jù)相互補充。

作者研究了口語理解中詞匯上下文建模的替代體系結(jié)構(gòu)。

研究意義：實驗結(jié)果表明，與基于單域/任務深度學習的替代方法相比，該方法在Microsoft Cortana真實用戶數(shù)據(jù)上的能力更強。

論文名稱：Large-scale Semantic Parsing without Question-Answer Pairs

作者：Siva Reddy /Mirella Lapata /Mark Steedman

發(fā)表時間：2014/2/15

論文鏈接：https://paper.yanxishe.com/review/12211?from=leiphonecolumn_paperreview0302

推薦原因

核心問題：在問答系統(tǒng)中，我們經(jīng)常擁有的先驗知識是問答對，通過問題和答案的匹配來做任務，但是如果當沒有問題答案對呢？如何從數(shù)據(jù)中學習出答案？

創(chuàng)新點：本論文的模型不需要問答對，采用用自然語言查詢Freebase的解析方法，將語義分析概念化為一個圖匹配問題。

研究意義：FREE917和WEBQUESTIONS子集的評價實驗基準數(shù)據(jù)集顯示了我們的語義解析器比最先進的技術(shù)更先進。

論文名稱：Evaluation of Spoken Language Systems: the ATIS Domain

作者：P. J. Price

發(fā)表時間：1990/6/24

論文鏈接：https://paper.yanxishe.com/review/12210?from=leiphonecolumn_paperreview0302

推薦原因

這篇文章有些古老，之所以分享一下是因為想要記錄一下。

本文介紹了一些問題背景，概述問題和在“公共”任務域中評估口語系統(tǒng)的初步實驗，稱為ATIS

討論了自動語音識別，以及自然語言理解的各個方面。對口語系統(tǒng)的評估是一個很大的進步超越了先前描述的評估機制。

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現(xiàn)。致力成為國內(nèi)外前沿研究成果學習討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術(shù)的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經(jīng)準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信（ID:julylihuaijiang），備注“論文兼職作者”