一直有一個問題:時間序列的基礎(chǔ)模型能像自然語言處理那樣存在嗎?一個預(yù)先訓(xùn)練了大量時間序列數(shù)據(jù)的大型模型，是否有可能在未見過的數(shù)據(jù)上產(chǎn)生準(zhǔn)確的預(yù)測?最近剛剛發(fā)表的一篇論文，Azul Garza和Max Mergenthaler-Canseco提出的TimeGPT-1，將llm背后的技術(shù)和架構(gòu)應(yīng)用于預(yù)測領(lǐng)域，成功構(gòu)建了第一個能夠進行零樣本推理的時間序列基礎(chǔ)模型。探索TimeGPT背后的體系結(jié)構(gòu)以及如何訓(xùn)練模型。

《TimeGPT-1》論文地址在這里，如下所示：

本文介紹了時間序列的第一個基礎(chǔ)模型TimeGPT，能夠為不同的數(shù)據(jù)集生成準(zhǔn)確的預(yù)測訓(xùn)練我們根據(jù)已建立的統(tǒng)計、機器學(xué)習(xí)和深度學(xué)習(xí)方法評估我們的預(yù)訓(xùn)練模型，證明TimeGPT零樣本推理在性能、效率和簡單性方面都很出色。我們的研究提供令人信服的證據(jù)表明，來自人工智能其他領(lǐng)域的見解可以有效地應(yīng)用于時間序列分析。我們得出結(jié)論，大規(guī)模時間序列模型提供了一個令人興奮的機會，可以民主化訪問精確預(yù)測并通過利用當(dāng)代的能力來減少不確定性深度學(xué)習(xí)的進步。

1、簡介

不確定性是生活的一個內(nèi)在方面，是人類不懈尋求駕馭和理解的一個不變因素。從古代文明確立的傳統(tǒng)到當(dāng)代世界復(fù)雜的研究工作，聰明的頭腦不斷努力預(yù)測未來可能發(fā)生的事件的分布，精心設(shè)計系統(tǒng)的方法來揭示未來。

預(yù)測潛在結(jié)果的愿望是多種學(xué)科的基礎(chǔ)，反映了人類預(yù)測、制定戰(zhàn)略和減輕風(fēng)險的深層次傾向。減少下一步會發(fā)生什么的不確定性的目標(biāo)映射到許多現(xiàn)實世界的應(yīng)用：從了解經(jīng)濟周期和趨勢到識別消費者消費模式；從優(yōu)化能源生產(chǎn)和電網(wǎng)管理的電力需求，到調(diào)整服務(wù)器、工人和機器的容量和基礎(chǔ)設(shè)施。

時間序列——按時間順序排列的數(shù)據(jù)——構(gòu)成了系統(tǒng)、企業(yè)和機構(gòu)的底層結(jié)構(gòu)。它的影響范圍從測量海潮到追蹤道瓊斯指數(shù)的每日收盤價。這種類型的數(shù)據(jù)表示在金融、醫(yī)療保健、氣象、社會科學(xué)等領(lǐng)域是必不可少的，在這些領(lǐng)域，識別時間模式、趨勢和周期變化對于預(yù)測未來價值和為決策過程提供信息至關(guān)重要。然而，目前對時間序列的理論和實踐理解尚未在從業(yè)者中達成共識，這反映了在人類條件的其他基本領(lǐng)域，如語言和感知，對生成模型的廣泛贊譽。我們的領(lǐng)域在評估深度學(xué)習(xí)對預(yù)測任務(wù)的有效性方面仍然存在分歧。預(yù)測科學(xué)的努力未能實現(xiàn)真正普遍的預(yù)訓(xùn)練模型的承諾。

在本文中，我們走上了一條新的道路，并介紹了TimeGPT，這是第一個用于時間序列預(yù)測的預(yù)訓(xùn)練基礎(chǔ)模型，它可以在不需要額外訓(xùn)練的情況下在不同的領(lǐng)域和應(yīng)用程序中產(chǎn)生準(zhǔn)確的預(yù)測。一個通用的預(yù)訓(xùn)練模型構(gòu)成了一項突破性的創(chuàng)新，為預(yù)測實踐開辟了一條新的范式之路，這種范式更容易獲得、更準(zhǔn)確、耗時更少，并大大降低了計算復(fù)雜性。

2、背景

關(guān)于深度學(xué)習(xí)方法的優(yōu)越性，預(yù)測界目前存在分歧。尚未制定統(tǒng)一的辦法。最近，這些不同的范式越來越相互挑戰(zhàn)，質(zhì)疑新發(fā)展的有用性、準(zhǔn)確性和復(fù)雜性。盡管深度學(xué)習(xí)架構(gòu)在其他領(lǐng)域取得了成功，但一些時間序列從業(yè)者已經(jīng)證明，該領(lǐng)域的一些擬議創(chuàng)新并沒有達到他們的要求或期望。1.

從歷史上看，ARIMA、ETS、MSTL、Theta和CES等統(tǒng)計方法已可靠地應(yīng)用于各個領(lǐng)域。在過去的十年里，XGBoost和LightGBM等機器學(xué)習(xí)模型越來越受歡迎，在公開競爭和實際應(yīng)用中都取得了可喜的成果。

然而，隨著深度學(xué)習(xí)的出現(xiàn)，時間序列分析的范式發(fā)生了轉(zhuǎn)變。深度學(xué)習(xí)方法在學(xué)術(shù)界和大規(guī)模工業(yè)預(yù)測應(yīng)用中越來越受歡迎[Benidis等人，2022]。

鑒于其全局方法，深度學(xué)習(xí)方法在可擴展性、靈活性和潛在準(zhǔn)確性方面比統(tǒng)計局部方法具有顯著優(yōu)勢。此外，它們學(xué)習(xí)復(fù)雜數(shù)據(jù)依賴關(guān)系的能力有效地繞過了對其他全局方法（如LightGBM或XGBoost）所需的復(fù)雜功能工程的需求。因此，基于深度學(xué)習(xí)的時間序列模型旨在簡化預(yù)測管道并增強可擴展性。在數(shù)據(jù)量不斷增長的時代，它們能夠處理大量數(shù)據(jù)并捕獲長期依賴關(guān)系，這使它們有利于執(zhí)行復(fù)雜的預(yù)測任務(wù)。

然而，學(xué)術(shù)研究人員和從業(yè)者對這些承諾的看法存在分歧。各種研究人員和從業(yè)者對提高準(zhǔn)確性的基本假設(shè)提出了質(zhì)疑，提出的證據(jù)表明，更簡單的模型優(yōu)于更復(fù)雜的方法；具有更低的成本和復(fù)雜性。相反，一些行業(yè)領(lǐng)導(dǎo)者報告稱，深度學(xué)習(xí)方法增強了他們的結(jié)果，簡化了他們的分析管道[Kunz等人，2023]。在當(dāng)前的歷史背景下，深度學(xué)習(xí)模型在自然語言處理（NLP）和計算機視覺（CV）方面的卓越能力是不可否認(rèn)的，值得注意的是，時間序列分析領(lǐng)域仍然對神經(jīng)預(yù)測方法的性能持懷疑態(tài)度。

我們認(rèn)為這種懷疑源于：

? ? ? ? ??評估設(shè)置不一致或定義不清：與其他受益于引入理想測試數(shù)據(jù)集（如計算機視覺的ImageNet）的領(lǐng)域不同，時間序列的公開可用數(shù)據(jù)集不具備必要的規(guī)模和容量

深度學(xué)習(xí)的方法來超越。

? ? ? ? ?次優(yōu)模型：考慮到有限和特定的數(shù)據(jù)集，即使是構(gòu)思良好的深度學(xué)習(xí)架構(gòu)也可能難以泛化，或者需要付出相當(dāng)大的努力才能找到最佳設(shè)置和參數(shù)。

此外，缺乏滿足深度學(xué)習(xí)方法要求的標(biāo)準(zhǔn)化大規(guī)模數(shù)據(jù)集也可能阻礙這一領(lǐng)域的進展。雖然其他領(lǐng)域受益于基準(zhǔn)數(shù)據(jù)集和明確的評估指標(biāo)，但時間序列社區(qū)仍需要開發(fā)此類資源，以促進創(chuàng)新和驗證新技術(shù)。2

在本文中，我們證明了更大、更多樣的數(shù)據(jù)集使更復(fù)雜的模型能夠在各種任務(wù)中更好地執(zhí)行。TimeGPT是第一個以最小的復(fù)雜性始終優(yōu)于替代方案的基礎(chǔ)模型。進一步研究時間序列基礎(chǔ)模型的改進可能會開創(chuàng)該領(lǐng)域的新篇章，促進對時間數(shù)據(jù)的更深入理解，并提高預(yù)測的準(zhǔn)確性和效率。

3、文獻綜述

深度學(xué)習(xí)預(yù)測模型已成為一個突出的研究領(lǐng)域，這得益于它們在最近的著名競賽中的成功，包括[Markridakis et al.，202022]，以及它們對行業(yè)中大規(guī)模任務(wù)的適用性。[Benidis等人，2022]對神經(jīng)預(yù)測模型及其應(yīng)用進行了全面的綜述和分類。

最初的深度學(xué)習(xí)時間序列預(yù)測成功源于對既定架構(gòu)的適應(yīng)，即遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN），最初分別為自然語言處理（NLP）和計算機視覺（CV）設(shè)計。RNN是流行模型的支柱，如概率預(yù)測的DeepAR[Salinas et al.，2020]和M4競賽的獲勝者ESRNN[Smyl，2020]。如[Bai et al.，2018]所示，在序列數(shù)據(jù)的多個任務(wù)中，細(xì)胞神經(jīng)網(wǎng)絡(luò)表現(xiàn)出優(yōu)于RNN的性能。正如DPMN[Olivares等人，2023b]和TimesNet[Wu等人，2022]等模型所使用的那樣，它們現(xiàn)在構(gòu)成了一個流行的構(gòu)建塊。前饋網(wǎng)絡(luò)由于其低計算成本和效率，也經(jīng)常被使用，值得注意的例子包括N-BEATS[Orishkin等人，2019，Olivares等人，2022]和NHITS[Challu等人，2023]。

近年來，基于變壓器的模型[Vaswani et al.，2017]越來越受歡迎，因為它們在大規(guī)模環(huán)境[Kunz et al.，2023]和復(fù)雜任務(wù)（如長序列預(yù)測）中表現(xiàn)出了顯著的性能。早期的例子包括TFT[Lim等人，2021]和MQTransformer[Esenach等人，2020]，兩者都具有多分位數(shù)功能。Informer通過Prob稀疏自注意機制引入了用于長序列預(yù)測的Transformers[Zhou et al.，2021]。此后，這一概念通過Autoformer[Wu et al.，2021]、FEDformer[Zhou et al.，2022]和PatchTST[Nie et al.，022]等模型中各種形式的歸納偏見和注意力機制得到了進一步完善。

基礎(chǔ)模型的潛力，即在大型數(shù)據(jù)集上預(yù)先訓(xùn)練并隨后針對特定任務(wù)進行微調(diào)的大型模型，在時間序列預(yù)測任務(wù)中仍然相對不足。然而，預(yù)測基礎(chǔ)模型的可能性有一些早期指標(biāo)。例如，[Orishkin等人，2021]表明，預(yù)先訓(xùn)練的模型可以在任務(wù)之間轉(zhuǎn)移，而不會降低性能。此外，[Kunz等人，2023]提供了證據(jù)，證明在時間序列預(yù)測任務(wù)中，Transformer架構(gòu)的數(shù)據(jù)和模型大小存在縮放定律。

4、時間序列的基礎(chǔ)模型

基礎(chǔ)模型依賴于其跨域泛化的能力，特別是在訓(xùn)練期間不可用的新數(shù)據(jù)集中。因此，我們將遷移學(xué)習(xí)理解為將從一項任務(wù)中收集的知識應(yīng)用于解決新任務(wù)的能力。接下來，我們在先前時間序列預(yù)測研究的基礎(chǔ)上解釋遷移學(xué)習(xí)的概念[Orishkin等人，2021，Olivares等人，2023a]。

是預(yù)測范圍，y是目標(biāo)時間序列，x是外生協(xié)變量。預(yù)測任務(wù)的目標(biāo)是估計以下條件分布：

所提出的基礎(chǔ)模型的核心思想是通過在迄今為止最大的公開可用時間序列數(shù)據(jù)集上訓(xùn)練它，利用數(shù)據(jù)集和模型大小的縮放定律，來利用這些原理。就廣度和深度而言，一個多樣化的數(shù)據(jù)集使TimeGPT能夠從多個領(lǐng)域前所未有的時間模式陣列中收集見解。

5、timeGPT

5.1架構(gòu)

TimeGPT是一個基于Transformer的時間序列模型，具有基于[Vaswani et al.，2017]的自注意機制。TimeGPT使用歷史值窗口來生成預(yù)測，并添加本地位置編碼來豐富輸入。該體系結(jié)構(gòu)由具有多個層的編碼器-解碼器結(jié)構(gòu)組成，每個層具有殘差連接和層規(guī)范化。最后，線性層將解碼器的輸出映射到預(yù)測窗口維度。一般的直覺是，基于注意力的機制能夠捕捉過去事件的多樣性，并正確推斷未來潛在的分布。

時間序列的廣義全局模型的開發(fā)帶來了許多挑戰(zhàn)，主要是由于處理從一組廣泛的底層過程中得出的信號的復(fù)雜任務(wù)。頻率、稀疏性、趨勢性、季節(jié)性、平穩(wěn)性和異方差性等特征為局部和全局模型帶來了明顯的復(fù)雜性。因此，任何基礎(chǔ)預(yù)測模型都必須具備管理這種異質(zhì)性的能力。我們的模型TimeGPT被設(shè)計為處理不同頻率和特征的時間序列，同時適應(yīng)不同的輸入大小和預(yù)測范圍。這種適應(yīng)性在很大程度上歸因于TimeGPT所基于的底層基于轉(zhuǎn)換器的架構(gòu)。

需要注意的是，TimeGPT不是基于現(xiàn)有的大型語言模型（LLM）。雖然TimeGPT遵循在龐大的數(shù)據(jù)集上訓(xùn)練大型變換器模型的相同原理，但其架構(gòu)專門處理時間序列數(shù)據(jù)，并經(jīng)過訓(xùn)練以將預(yù)測誤差降至最低

5.2訓(xùn)練數(shù)據(jù)集

據(jù)我們所知，TimeGPT是根據(jù)最大的公開時間序列集合進行訓(xùn)練的，總共包含1000多億個數(shù)據(jù)點。該培訓(xùn)集包含了來自廣泛領(lǐng)域的時間序列，包括金融、經(jīng)濟、人口統(tǒng)計、醫(yī)療保健、天氣、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、能源、網(wǎng)絡(luò)流量、銷售、運輸和銀行。由于這組不同的域，訓(xùn)練數(shù)據(jù)集包含具有廣泛特征的時間序列。

就時間模式而言，訓(xùn)練數(shù)據(jù)集包含具有多個季節(jié)性、不同長度的周期和各種類型趨勢的序列。除了時間模式之外，數(shù)據(jù)集在噪聲和異常值方面也有所不同，從而提供了一個穩(wěn)健的訓(xùn)練環(huán)境。一些系列包含干凈、規(guī)則的模式，而另一些系列則以顯著的噪聲或意外事件為特征，為模型提供了廣泛的場景可供學(xué)習(xí)。大部分時間序列都是以原始形式包含的；處理僅限于格式標(biāo)準(zhǔn)化和填寫缺失值以確保數(shù)據(jù)的完整性。

選擇這樣一個多樣化的訓(xùn)練集對于開發(fā)一個穩(wěn)健的基礎(chǔ)模型至關(guān)重要。這種多樣性涵蓋了非平穩(wěn)真實世界數(shù)據(jù)的復(fù)雜現(xiàn)實，其中的趨勢和模式可能會因多種因素而隨時間變化。在這個豐富的數(shù)據(jù)集上訓(xùn)練TimeGPT使其能夠處理各種場景，增強了其穩(wěn)健性和泛化能力。這有效地使TimeGPT能夠準(zhǔn)確預(yù)測看不見的時間序列，同時消除了對單個模型訓(xùn)練和優(yōu)化的需求。

5.3訓(xùn)練timeGPT

TimeGPT在NVIDIA A10G GPU集群上接受了為期多日的培訓(xùn)。在此過程中，我們進行了廣泛的超參數(shù)探索，以優(yōu)化學(xué)習(xí)率、批量大小和其他相關(guān)參數(shù)。我們觀察到一種與[Brown et al.，2020]的發(fā)現(xiàn)一致的模式，其中較大的批量和較小的學(xué)習(xí)率被證明是有益的。在PyTorch中實現(xiàn)，TimeGPT使用Adam進行訓(xùn)練，并采用學(xué)習(xí)速率衰減策略，將速率降低到初始值的12%。

5.4不確定度量化

概率預(yù)測是指估計模型在預(yù)測周圍的不確定性。正確評估預(yù)測模型的校準(zhǔn)可以實現(xiàn)風(fēng)險評估和知情決策。保形預(yù)測是一種非參數(shù)框架，它為生成具有預(yù)先指定的覆蓋精度水平的預(yù)測區(qū)間提供了一種令人信服的方法[Shafer和Vovk，2008，Stankeviciute等人，2021]。與傳統(tǒng)方法不同，共形預(yù)測不需要嚴(yán)格的分布假設(shè)，使其對模型或時間序列域更加靈活和不可知。在推斷新的時間序列的過程中，我們對最新的可用數(shù)據(jù)進行滾動預(yù)測，以估計模型在預(yù)測特定目標(biāo)時間序列時的誤差。

6、實驗結(jié)果

傳統(tǒng)上，預(yù)測性能評估是基于根據(jù)定義的截止值將數(shù)據(jù)集的每個時間序列劃分為訓(xùn)練集和測試集。這樣的原理，即使是在交叉驗證版本中，也不足以嚴(yán)格評估基礎(chǔ)模型，因為它的主要特性是能夠準(zhǔn)確預(yù)測完全新穎的序列。

在本節(jié)中，我們將探索TimeGPT作為預(yù)測基礎(chǔ)模型的能力，方法是在一組龐大而多樣的時間序列中對其進行測試，而這些時間序列在訓(xùn)練過程中從未被模型看到過。該測試集包括來自多個領(lǐng)域的30多萬個時間序列，包括金融、網(wǎng)絡(luò)流量、物聯(lián)網(wǎng)、天氣、需求和電力。

評估是在每個時間序列的最后一個預(yù)測窗口中進行的，其長度隨采樣頻率而變化。TimeGPT使用以前的歷史值作為輸入，如圖3所示，而不重新訓(xùn)練其權(quán)重（零樣本）。我們根據(jù)頻率指定了一個不同的預(yù)測范圍，以表示常見的實際應(yīng)用：12表示每月，1表示每周，7表示每天，24表示每小時的數(shù)據(jù)。

TimeGPT以廣泛的基線、統(tǒng)計、機器學(xué)習(xí)和神經(jīng)預(yù)測模型為基準(zhǔn)，提供全面的性能分析?；€和統(tǒng)計模型在測試集的每個時間序列上單獨訓(xùn)練，利用上一個預(yù)測窗口之前的歷史值。我們?yōu)槊總€頻率選擇了機器學(xué)習(xí)的全局模型方法和深度學(xué)習(xí)方法，利用測試集中的所有時間序列。一些流行的模型，如Prophet[Taylor和Letham，2018]和ARIMA，由于其過高的計算要求和大量的訓(xùn)練時間，被排除在分析之外。

我們選擇的評估指標(biāo)包括相對中絕對誤差（rMAE）和相對均方根誤差（rRMSE），這兩個指標(biāo)都根據(jù)季節(jié)性Naive模型的性能進行了歸一化。這些相對誤差提供的額外見解證明了這一選擇的合理性，因為它們顯示了與已知基線相關(guān)的性能增益，提高了我們結(jié)果的可解釋性。相對誤差度量帶來了規(guī)模獨立性的額外好處，能夠?qū)γ總€頻率的結(jié)果進行比較。為了確保穩(wěn)健的數(shù)值穩(wěn)定性和評估的一致性，我們在全球范圍內(nèi)對每個綜合數(shù)據(jù)集應(yīng)用這種歸一化。方程2中描述了適用于具有n個時間序列和h的預(yù)測范圍的數(shù)據(jù)集的這些度量的具體計算。

6.1零樣本推斷

我們首先在零樣本推理上測試TimeGPT功能，這意味著不會在測試集上執(zhí)行額外的微調(diào)。表1給出了零樣本結(jié)果。值得注意的是，TimeGPT的性能優(yōu)于經(jīng)過戰(zhàn)斗測試的綜合統(tǒng)計模型和SoTA深度學(xué)習(xí)方法，在各個頻率中排名前三。

必須注意的是，預(yù)測模型的有效性只能根據(jù)其相對于競爭替代品的表現(xiàn)來評估。盡管精度通常被視為唯一相關(guān)的度量標(biāo)準(zhǔn)，但計算成本和實現(xiàn)復(fù)雜性是實際應(yīng)用的關(guān)鍵因素。在這方面，值得注意的是，TimeGPT的報告結(jié)果是對預(yù)訓(xùn)練模型的預(yù)測方法進行簡單且極其快速調(diào)用的結(jié)果。相比之下，其他模型需要一個完整的訓(xùn)練和預(yù)測管道。

6.2微調(diào)

微調(diào)是有效利用基礎(chǔ)模型和基于變壓器的架構(gòu)的關(guān)鍵步驟。基礎(chǔ)模型是在大量數(shù)據(jù)上預(yù)先訓(xùn)練的，捕獲了廣泛的通用特征。然而，這些模型通常需要針對特定的上下文或領(lǐng)域進行專門化。通過微調(diào)，我們調(diào)整特定任務(wù)數(shù)據(jù)集上的模型參數(shù)，使模型能夠根據(jù)新任務(wù)的要求調(diào)整其大量預(yù)先存在的知識。這個過程確保模型保持其廣泛的理解，并擅長手頭的特定任務(wù)。由于其固有的靈活性和學(xué)習(xí)復(fù)雜模式的能力，基于轉(zhuǎn)換器的架構(gòu)尤其受益于微調(diào)，從而增強了其在特定領(lǐng)域應(yīng)用中的性能。因此，微調(diào)是一座至關(guān)重要的橋梁，將基礎(chǔ)模型的廣泛能力與目標(biāo)任務(wù)的特殊性聯(lián)系起來。圖5顯示了TimeGPT相對于測試集上時間序列子集的微調(diào)步驟數(shù)量的準(zhǔn)確性改進結(jié)果。

6.3時間比較

對于零樣本推理，我們的內(nèi)部測試記錄了TimeGPT每個系列0.6毫秒的平均GPU推理速度，這幾乎反映了簡單的季節(jié)性天真。作為比較點，我們考慮了并行計算優(yōu)化的統(tǒng)計方法，當(dāng)與Numba編譯互補時，用于訓(xùn)練和推理的平均速度為每個系列600毫秒。另一方面，LGBM、LSTM和NHITS等全局模型在考慮訓(xùn)練和推理的情況下，每個系列的平均時間延長了57毫秒。由于其零樣本功能，TimeGPT在總速度上優(yōu)于傳統(tǒng)統(tǒng)計方法和全局模型幾個數(shù)量級。

7討論和未來研究

目前的預(yù)測實踐通常涉及一個復(fù)雜的管道，包括從數(shù)據(jù)處理到模型訓(xùn)練和選擇的多個步驟。TimeGPT通過將流水線減少到推理步驟，極大地簡化了這一過程，大大降低了復(fù)雜性和時間投入，同時仍然實現(xiàn)了最先進的性能。也許最重要的是，TimeGPT使大型變壓器模型的優(yōu)勢民主化，如今這些模型僅限于擁有大量數(shù)據(jù)、計算資源和技術(shù)專業(yè)知識的組織。我們相信，基礎(chǔ)模型將對預(yù)測領(lǐng)域產(chǎn)生深遠影響，并可以重新定義當(dāng)前的實踐。

在時間序列中引入一個類似于其他領(lǐng)域的基礎(chǔ)模型，為未來的改進開辟了可能的道路，這可以被視為時間序列領(lǐng)域的一個重要里程碑。然而，這項工作必須被理解為一個更大的學(xué)術(shù)傳統(tǒng)的一部分，有很多懸而未決的問題。盡管我們相信TimeGPT顯示了驚人的結(jié)果，首次提出了一個能夠準(zhǔn)確預(yù)測未知序列的通用全局模態(tài)，但仍存在許多重要的局限性和懸而未決的問題。我們希望這一評估對當(dāng)前和未來的研究人員有幫助。

我們的結(jié)果與之前關(guān)于大型時間序列模型的預(yù)期性能的直覺一致。這與Zalando、OpenAI、阿里巴巴和亞馬遜的研究結(jié)果一致[Kunz等人，2023，Brown等人，2020，Eisenach等人，2020]。這些結(jié)果驗證了與模型大小、數(shù)據(jù)集大小和Transformer性能相關(guān)的縮放定律。正如在[Zeng et al.，2023]等研究中觀察到的那樣，這些定律闡明了為什么更簡單的模型在較小的數(shù)據(jù)集上可能優(yōu)于Transformers。因此，Transformers的相關(guān)性依賴于上下文，并且隨著數(shù)據(jù)集大小的增加，它們通常變得更加有益。這些定律提供了重要的實踐見解，指導(dǎo)特定任務(wù)的模型選擇。在大型數(shù)據(jù)集或計算資源的可用性受到限制的情況下，更簡單的模型可能更適合。展望未來，我們確定了未來勘探的兩個主要領(lǐng)域：

? ? ? ? 1.?Informed forecasting：包括關(guān)于潛在過程的知識，如物理定律、經(jīng)濟原理或醫(yī)學(xué)事實。

? ? ? ? 2.Time Series Embedding：雖然傳統(tǒng)上從業(yè)者假設(shè)，零售或金融等同一類別的序列比跨領(lǐng)域的序列具有更大的相似性，但衡量序列之間相似性的穩(wěn)健指標(biāo)可能會對該領(lǐng)域大有裨益。這項工作表明，圍繞時間序列分類的某些假設(shè)值得進一步研究。

此外，關(guān)于時間序列分類的基礎(chǔ)模型以及真正的多模式（文本、視頻）和多時相基礎(chǔ)模型的集成的相鄰問題有望成為未來研究的重要領(lǐng)域。這些領(lǐng)域不僅將擴展我們對時間序列數(shù)據(jù)的理解，還將提高我們開發(fā)更強大、更通用的預(yù)測模型的能力。

簡單粗略讀了一下作者的論文，初步體會學(xué)習(xí)了第一個TimeGPT的構(gòu)建路線，后續(xù)可能會有更多這類的項目出來。