本篇內(nèi)容介紹了“如何使用Flow forecast進行時間序列預(yù)測和分類的遷移”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè),蒲縣企業(yè)網(wǎng)站建設(shè),蒲縣品牌網(wǎng)站建設(shè),網(wǎng)站定制,蒲縣網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,蒲縣網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

ImageNet首次發(fā)表于2009年，在接下來的四年里，它成為了大多數(shù)計算機視覺模型的基礎(chǔ)。到目前為止，無論您是在訓練一個模型來檢測肺炎還是對汽車模型進行分類，您都可能從在ImageNet或其他大型(和一般圖像)數(shù)據(jù)集上預(yù)先訓練的模型開始。

最近的一些論文，如ELMO和BERT(2018)利用轉(zhuǎn)移學習來有效地提高幾個NLP任務(wù)的表現(xiàn)。這些模型創(chuàng)建了有效的與上下文相關(guān)的單詞表示。然后，這些表示可以用于各種任務(wù)，如回答問題、命名實體識別等。

此外，在宏觀層面上，轉(zhuǎn)移學習為所有數(shù)據(jù)有限的領(lǐng)域的進展鋪平了道路。通過幫助數(shù)據(jù)有限的研究小組和公司有效利用這種技術(shù)，它幫助了深度學習的大眾化。因此，能夠在時間序列領(lǐng)域(其中有許多有限時間歷史的事件)中利用遷移學習是至關(guān)重要的。

時間序列

目前，時間序列的遷移學習還沒有模式，也沒有可去的地方。而且，對這一課題的研究相對較少。Fawaz el的一篇論文（https://arxiv.org/pdf/1811.01533.pdf）。他討論了時間序列分類的遷移學習。他們的結(jié)論是:

這些實驗表明，遷移學習可以改善或降低模型預(yù)測，但是取決于用于遷移的數(shù)據(jù)集。

由此我們了解到，對于時間序列，源數(shù)據(jù)集和目標數(shù)據(jù)集之間的相似性在許多方面比CV或NLP更為重要。然后，作者選擇發(fā)展一種技術(shù)，形成時間序列表示，以尋找最相似的時間序列用于遷移。雖然這是一個有趣的初步探索，但它仍然有許多未解的問題。那么多變量時間序列的情況又如何呢?(作者只關(guān)注單一變量)一個不同的架構(gòu)會幫助促進不同時間序列之間的轉(zhuǎn)移嗎?同樣地，一些其他的文章探索了有限的案例，在這些案例中遷移可以在時間序列領(lǐng)域有效，但是沒有一個用于遷移學習的一般框架，特別是在多元情況下。

遷移學習在其他領(lǐng)域如何工作

在深入探討關(guān)于時間序列預(yù)測的遷移學習的挑戰(zhàn)之前，讓我們先看看它在其他領(lǐng)域是如何工作的。在計算機視覺遷移學習中，一般采用分層模式進行模型學習;具體地說，模型中“早期”的層學習更多的一般模式(例如形狀、輪廓、邊緣)，而后期的層學習更多的具體任務(wù)特征(貓的胡須或汽車前燈的形狀)。在ImageNet上進行預(yù)先訓練后，這種能力甚至成功地使用轉(zhuǎn)移學習來幫助進行醫(yī)學診斷和分期。

這在NLP中也普遍適用，但是，它需要一個不同的架構(gòu)。具體來說，BERT和ELMO等模型為從序列到序列域的遷移學習鋪平了道路。特別是transformer的架構(gòu)在遷移學習方面發(fā)揮了良好的作用。同樣的道理也適用于序列問題，比如時間序列。

時間序列預(yù)測的具體挑戰(zhàn)

時間序列預(yù)測有幾個特定的核心挑戰(zhàn)。最大的一個問題是，對于時間序列，很難找到一個有用的層次結(jié)構(gòu)或一組可以泛化到不同問題的中間表示。我們確實有一些組成部分，人們傳統(tǒng)上將時間序列分解為季節(jié)性，趨勢和余數(shù)。然而，開發(fā)一個有效學習中間解耦表示的模型仍然是難以捉摸的?！癛econstruction and Regression Loss for Time-Series Transfer Learning”的作者探索創(chuàng)建一個專門的損失函數(shù)，幫助促進正遷移通過解耦過程。他們建議在使用特定時間序列模型進行預(yù)測之前，先使用初始模型(與重建損失一起)提取一般特征。盡管本文僅限于單變量時間序列預(yù)測用例，但該技術(shù)似乎有助于提高性能。

第二個挑戰(zhàn)是多元時間序列預(yù)測，許多問題的特征時間序列數(shù)量不同。例如，對于COVID-19，我們可能有流動性數(shù)據(jù)(3個特征)，新感染(1個特征)，天氣(3個特征)共7個特征。然而，對于像流感預(yù)測這樣的東西，我們可能只有新感染病例和總共四個特征的天氣數(shù)據(jù)(例如，沒有為流感收集移動數(shù)據(jù))。在我們的實驗中，我們通常發(fā)現(xiàn)使用一個模型特定的初始“embedding_layer”很有幫助，然后使用可轉(zhuǎn)移的中間層。

如何使用Flow forecast進行遷移學習

Flow forecast是一個開源的系列深度學習框架(https://github.com/AIStream-Peelout/flow-forecast)

為了方便時間序列預(yù)測的遷移學習，F(xiàn)low forecast有幾個特點，使預(yù)訓練和利用預(yù)訓練的時間序列模型變得容易。在模型參數(shù)部分，您可以使用一個名為excluded_layers的參數(shù)。這意味著，當您加載一個預(yù)先訓練好的模型時，這些層的權(quán)重將不會被加載，而會被實例化為fresh(如果它們存在于新模型中)。

"excluded_layers":["embedding_layer.weight", "embedding_lay.bias", "dense_shape.weight", "dense_shape.bias"]

這使得在多個層可能不存在或與形狀不匹配的情況下，可以很容易地利用模型的權(quán)重?？纯催@個筆記本的例子(https://colab.research.google.com/drive/169NO9B_il-E34Kdos1hxunuDFuD6rjuW#scrollTo=dx-tmLRain2Z)。

其次，通過Flow forecast，我們可以很容易地跟蹤訓練前的數(shù)據(jù)集。這意味著您可以輕松地跟蹤您的模型所訓練的其他時間序列數(shù)據(jù)的完整歷史。這可以幫助找到最好的訓練前數(shù)據(jù)集。

最后，F(xiàn)low forecast正在努力增加額外的特性，例如使它容易使用不同的學習率和選擇性凍結(jié)不同的層，以及設(shè)計自動編碼器模塊，以找到最相似的時間數(shù)據(jù)集。我們認為簡單的遷移學習是我們框架中最優(yōu)先考慮的一類特性。

在研究中發(fā)現(xiàn)了什么

到目前為止，我們發(fā)現(xiàn)廣義轉(zhuǎn)移學習對于像COVID-19預(yù)測這樣的小數(shù)據(jù)集是有用的。我們還沒有在大數(shù)據(jù)集上對其進行足夠廣泛的測試，因此無法就此得出結(jié)論。我們還相信，在將元數(shù)據(jù)納入預(yù)測時，遷移學習是非常有效的。例如，模型需要查看許多不同類型的元數(shù)據(jù)和時態(tài)數(shù)據(jù)，以學習如何有效地合并它們。我們還可以設(shè)計了一種轉(zhuǎn)移學習協(xié)議，我們首先掃描以找到最佳的靜態(tài)超參數(shù)。然后，在對非靜態(tài)參數(shù)(如批大小、學習率等)進行最后的超參數(shù)掃描之前，我們使用這些參數(shù)對模型進行預(yù)訓練(如預(yù)測長度、層數(shù))。

總結(jié)

時間序列的遷移學習取得了一定的進展，但還沒有得到廣泛的應(yīng)用。這可能是由于特征數(shù)量、中間表示的有用性和季節(jié)性差異(例如更多的負遷移)方面的問題造成的。但是像Flow forecast這種框架的出現(xiàn)，為我們提供更多易于使用的模塊，以便在時域成功地利用轉(zhuǎn)移學習變得簡單。我們相信遷移學習將在時間序列中發(fā)揮更大的作用。

“如何使用Flow forecast進行時間序列預(yù)測和分類的遷移”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

網(wǎng)站名稱：如何使用Flowforecast進行時間序列預(yù)測和分類的遷移
網(wǎng)站網(wǎng)址：http://chinadenli.net/article40/jiepeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、、網(wǎng)站設(shè)計公司、網(wǎng)站改版、搜索引擎優(yōu)化、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)