其中的一些例子包括：

 

包含數千個單詞的文本內容情緒分類（自然語言處理）。

 

分類數千個時間步長的腦電圖數據（醫療領域）。

 

分類數千個 DNA 堿基對的編碼/非編碼基因序列（基因信息學）。

當使用循環神經網絡（如 LSTM）時，這些所謂的序列分類任務需要特殊處理。在這篇文章中
，你將發現 6 種處理長序列的方法。

 

 

原封不動地訓練/輸(shu)入(ru)
，這(zhe)或(huo)許(xu)會(hui)導(dao)致(zhi)訓(xun)練(lian)時(shi)間(jian)大(da)大(da)增(zeng)長(chang)。另(ling)外(wai)
，嚐(chang)試(shi)在(zai)很(hen)長(chang)的(de)序(xu)列(lie)裏(li)進(jin)行(xing)反(fan)向(xiang)傳(chuan)播(bo)可(ke)能(neng)會(hui)導(dao)致(zhi)梯(ti)度(du)消(xiao)失(shi)，反(fan)過(guo)來(lai)會(hui)削(xue)弱(ruo)模(mo)型(xing)的(de)可(ke)靠(kao)性(xing)。在(zai)大(da)型(xing) LSTM 模型中，步長通常會被限製在 250-500 之間。

 

 

處(chu)理(li)非(fei)常(chang)長(chang)的(de)序(xu)列(lie)時(shi)
，最(zui)直(zhi)觀(guan)的(de)方(fang)式(shi)就(jiu)是(shi)截(jie)斷(duan)它(ta)們(men)。這(zhe)可(ke)以(yi)通(tong)過(guo)在(zai)開(kai)始(shi)或(huo)結(jie)束(shu)輸(shu)入(ru)序(xu)列(lie)時(shi)選(xuan)擇(ze)性(xing)地(di)刪(shan)除(chu)一(yi)些(xie)時(shi)間(jian)步(bu)來(lai)完(wan)成(cheng)。這(zhe)種(zhong)方(fang)式(shi)通(tong)過(guo)失(shi)去(qu)部(bu)分(fen)數(shu)據(ju)的(de)代(dai)價(jia)來(lai)讓(rang)序(xu)列(lie)縮(suo)短(duan)到(dao)可(ke)以(yi)控(kong)製(zhi)的(de)長(chang)度(du)，而(er)風(feng)險(xian)也(ye)顯(xian)而(er)易(yi)見(jian)：部分對於準確預測有利的數據可能會在這個過程中丟失。

 

 

zaimouxielingyuzhong，womenkeyichangshizongjieshuruxuliedeneirong。liru，zaishuruxulieweiwenzideshihou，womenkeyishanchusuoyoudiyuzhidingzipindewenzi。womenyekeyijinbaoliuzhenggexunlianshujujizhongchaoguomougezhidingzhidewenzi。zongjiekeyishidexitongzhuanzhuyuxiangguanxingzuigaodewenti，tongshisuoduanleshuruxuliedechangdu。

 

 

xiangduigengbuxitongdezongjiexuliefangshijiushisuijiquyangle。womenkeyizaixuliezhongsuijixuanzeshijianbuchangbingshanchutamen，congerjiangxuliesuoduanzhizhidingchangdu。womenyekeyizhidingzongchangdexuanzesuijilianxuzixulie，congerjianguzhongdiehuofeizhongdieneirong。

 

在zai缺que乏fa係xi統tong縮suo短duan序xu列lie長chang度du的de方fang式shi時shi，這zhe種zhong方fang法fa可ke以yi奏zou效xiao。這zhe種zhong方fang法fa也ye可ke以yi用yong於yu數shu據ju擴kuo充chong
，創chuang造zao很hen多duo可ke能neng不bu同tong的de輸shu入ru序xu列lie。當dang可ke用yong的de數shu據ju有you限xian時shi，這zhe種zhong方fang法fa可ke以yi提ti升sheng模mo型xing的de魯lu棒bang性xing。

 

 

除基於整個序列更新模型的方法之外，我們還可以在最後的數個時間步中估計梯度。這種方法被稱為「時間截斷的反向傳播（TBPTT）」。它可以顯著加速循環神經網絡（如 LSTM）長序列學習的過程。

 

這將允許所有輸入並執行的序列向前傳遞，但僅有最後數十或數百時間步會被估計梯度，並用於權重更新。一些最新的 LSTM 應用允許我們指定用於更新的時間步數，分離出一部分輸入序列以供使用。例如：

 

Theano 中的「truncate_gradient」參數：deeplearning

 

 

 

你(ni)可(ke)以(yi)使(shi)用(yong)自(zi)編(bian)碼(ma)器(qi)來(lai)讓(rang)長(chang)序(xu)列(lie)表(biao)示(shi)為(wei)新(xin)長(chang)度(du)，然(ran)後(hou)解(jie)碼(ma)網(wang)絡(luo)將(jiang)編(bian)碼(ma)表(biao)示(shi)解(jie)釋(shi)為(wei)所(suo)需(xu)輸(shu)出(chu)。這(zhe)可(ke)以(yi)是(shi)讓(rang)無(wu)監(jian)督(du)自(zi)編(bian)碼(ma)器(qi)成(cheng)為(wei)序(xu)列(lie)上(shang)的(de)預(yu)處(chu)理(li)傳(chuan)遞(di)者(zhe)，或(huo)近(jin)期(qi)用(yong)於(yu)神(shen)經(jing)語(yu)言(yan)翻(fan)譯(yi)的(de)編(bian)碼(ma)器(qi)-解碼器 LSTM 網絡。

 

當dang然ran，目mu前qian機ji器qi學xue習xi係xi統tong從cong超chao長chang序xu列lie中zhong學xue習xi或huo許xu仍reng然ran非fei常chang困kun難nan，但dan通tong過guo複fu雜za的de架jia構gou和he以yi上shang一yi種zhong或huo幾ji種zhong方fang法fa的de結jie合he
，我wo們men是shi可ke以yi找zhao到dao辦ban法fa解jie決jue這zhe些xie問wen題ti的de。

 

 

這裏還有一些未被充分驗證過的想法可供參考。

 

將輸入序列拆分為多個固定長度的子序列，並構建一種模型，將每個子序列作為單獨的特征（例如並行輸入序列）進行訓練。

 

雙向 LSTM，其中每個 LSTM 單元對的一部分處理輸入序列的一半，在輸出至層外時組合。這種方法可以將序列分為兩塊或多塊處理。

 

我們還可以探索序列感知編碼方法
、投影法甚至哈希算法來將時間步的數量減少到指定長度。