Predicting U.S. business cycles with recurrent neural networks : An extensive multivariate time-series analysis for comparing LSTM and GRU networks
Mäkelä, Markus (2020-08-28)
Predicting U.S. business cycles with recurrent neural networks : An extensive multivariate time-series analysis for comparing LSTM and GRU networks
Mäkelä, Markus
(28.08.2020)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2020102185874
https://urn.fi/URN:NBN:fi-fe2020102185874
Tiivistelmä
This study examines how 22 different long short-term memory (LSTM) and gated recurrent unit (GRU) network architectures suit predicting U.S. business cycles. The networks create 91-day forecasts for the dependent variable by using multivariate time-series data comprising 26 leading indicators’ values for the previous 400 days. The proposed models are evaluated by using a train-test split, where the proposed models are trained with data from 1980 to 2005, and the out-of-sample set consists of data between 2005 and 2015. The performance is evaluated by using mean squared error (MSE) and mean absolute error (MAE), and early warning signs are also considered beneficial.
The training algorithm consists of typical deep learning methods. MSE and L1 regularization are used for determining the cost, and minibatches of 32 examples are applied together with Nesterov accelerated momentum (NAG) learning algorithm. Early stopping is introduced to halt the training process when strong signs of overfitting are detected. Each proposed recurrent neural network (RNN) architecture is trained three times, and these three networks’ averaged predictions are examined when comparing the architectures.
Performance-wise, a few LSTM networks stand out from the other proposed networks. Although the performance
results favor the proposed LSTM networks slightly over their GRU equivalents, the difference is not substantial and, in turn, the proposed GRU networks offer less deviation in MSE and MAE between each architecture. However, these steadier performance results do not generate less volatile forecasts. Instead, the best performing networks and architectures differentiate by offering less volatile predictions that also vary less from the real values.
Most of the models generate a considerable amount of early warning signs before the 2007 recession, which indicates their suitability for detecting turning points in business cycles. Moreover, a wide range of the proposed LSTM and GRU network architectures learn the general pattern, also the smaller architectures comprising only one hidden layer and less than 500 optimizable parameters. This suggests that these methods offer noteworthy solutions for business cycle forecasting and, more widely, supports applying nonlinear machine learning methods with multivariate data for macroeconomic forecasting tasks where prevalent methods have been
found unable to deliver adequate accuracy. Tässä tutkielmassa vertaillaan 22 eri LSTM- ja GRU-neuroverkon soveltuvuutta Yhdysvaltojen taloussyklien ennustamiseen. Valittujen neuroverkkojen tehtävä on luoda 91 päivän ennusteita valitulle selitettävälle muuttujalle käyttämällä 400:n aikaisemman päivän havaintoarvoja 26:sta indikaattorista. Valittujen mallien optimoimiseen käytetään havaintoja ajanjaksolta 1980-2005 ja niiden arviointiin ajanjaksoa 2005-2015. Suorituskyvyn arvioimisessa sovelletaan keskineliövirhettä ja keskiabsoluuttistavirhettä. Tämän lisäksi aikaiset signaalit syklin kääntymisestä nähdään suotuisina.
Neuroverkkojen parametrien optimoimiseen käytetty algoritmi sisältää tyypillisiä syväoppimisen menetelmiä. Kustannus määritetään käyttämällä keskineliövirhettä ja L1-termiä. NAG-algoritmia käytetään parametriarvojen päivittämiseen, jolle harjoitus instanssit syötetään 32 kappaleen erissä. Optimoiminen keskeytetään ennen takarajaa, mikäli saadaan merkittäviä viitteitä optimoitavan mallin ylisovittumisesta. Jokainen valittu neuroverkkoarkkitehtuuri treenataan kolme kertaa ja näiden kolmen neuroverkon tuottamien ennusteiden keskiarvoja käytetään pohjana eri arkkitehtuurien vertailussa.
Suorituskykyä tarkasteltaessa, muutama LSTM-neuroverkko pystyy saavuttamaan muita vaihtoehtoja paremman tarkkuuden. Vaikka suorituskyvystä kertovat tulokset suosivat valittuja LSTM-arkkitehtuureita, erot LSTM- ja GRU-neuroverkkojen suorituskyvyssä ovat keskimäärin pieniä. Toisaalta, GRU-menetelmät pystyvät tarjoamaan vähemmän vaihtelua arkkitehtuurien keskinäisten neuroverkkojen suorituskyvyssä, mutta tämä ei kuitenkaan johda vakaampiin ennusteisiin. Sen sijaan, parhaat suorituskyvyt antavat LSTM-neuroverkot erottautuvat muista tarjoamalla muita vakaampia ennusteita, jotka myös eroavat todellisista arvoista muita vähemmän. Suurin osa tutkituista malleista tuottaa huomattavan määrän signaaleita syklin vaihtumisesta ennen vuonna 2007 alkanutta lamaa. Sekä pienet että suuret neuroverkot selviävät syklin ennustamisesta pääpiirteissään hyvin, minkä takia LSTM- ja GRU-neuroverkkoja voidaan pitää varteenotettavina vaihtoehtoina taloussyklien ennustamisessa. Tämän lisäksi, tulokset kannustavat soveltamaan epälineaarisia koneoppimismenetelmiä yhdessä usean muuttujan aikasarja-aineistojen kanssa sellaisiin makrotalouden ennusteongelmiin, joihin ei aikaisemmin ole löydetty tarpeellista tarkkuutta saavuttavaa ratkaisua.
The training algorithm consists of typical deep learning methods. MSE and L1 regularization are used for determining the cost, and minibatches of 32 examples are applied together with Nesterov accelerated momentum (NAG) learning algorithm. Early stopping is introduced to halt the training process when strong signs of overfitting are detected. Each proposed recurrent neural network (RNN) architecture is trained three times, and these three networks’ averaged predictions are examined when comparing the architectures.
Performance-wise, a few LSTM networks stand out from the other proposed networks. Although the performance
results favor the proposed LSTM networks slightly over their GRU equivalents, the difference is not substantial and, in turn, the proposed GRU networks offer less deviation in MSE and MAE between each architecture. However, these steadier performance results do not generate less volatile forecasts. Instead, the best performing networks and architectures differentiate by offering less volatile predictions that also vary less from the real values.
Most of the models generate a considerable amount of early warning signs before the 2007 recession, which indicates their suitability for detecting turning points in business cycles. Moreover, a wide range of the proposed LSTM and GRU network architectures learn the general pattern, also the smaller architectures comprising only one hidden layer and less than 500 optimizable parameters. This suggests that these methods offer noteworthy solutions for business cycle forecasting and, more widely, supports applying nonlinear machine learning methods with multivariate data for macroeconomic forecasting tasks where prevalent methods have been
found unable to deliver adequate accuracy.
Neuroverkkojen parametrien optimoimiseen käytetty algoritmi sisältää tyypillisiä syväoppimisen menetelmiä. Kustannus määritetään käyttämällä keskineliövirhettä ja L1-termiä. NAG-algoritmia käytetään parametriarvojen päivittämiseen, jolle harjoitus instanssit syötetään 32 kappaleen erissä. Optimoiminen keskeytetään ennen takarajaa, mikäli saadaan merkittäviä viitteitä optimoitavan mallin ylisovittumisesta. Jokainen valittu neuroverkkoarkkitehtuuri treenataan kolme kertaa ja näiden kolmen neuroverkon tuottamien ennusteiden keskiarvoja käytetään pohjana eri arkkitehtuurien vertailussa.
Suorituskykyä tarkasteltaessa, muutama LSTM-neuroverkko pystyy saavuttamaan muita vaihtoehtoja paremman tarkkuuden. Vaikka suorituskyvystä kertovat tulokset suosivat valittuja LSTM-arkkitehtuureita, erot LSTM- ja GRU-neuroverkkojen suorituskyvyssä ovat keskimäärin pieniä. Toisaalta, GRU-menetelmät pystyvät tarjoamaan vähemmän vaihtelua arkkitehtuurien keskinäisten neuroverkkojen suorituskyvyssä, mutta tämä ei kuitenkaan johda vakaampiin ennusteisiin. Sen sijaan, parhaat suorituskyvyt antavat LSTM-neuroverkot erottautuvat muista tarjoamalla muita vakaampia ennusteita, jotka myös eroavat todellisista arvoista muita vähemmän. Suurin osa tutkituista malleista tuottaa huomattavan määrän signaaleita syklin vaihtumisesta ennen vuonna 2007 alkanutta lamaa. Sekä pienet että suuret neuroverkot selviävät syklin ennustamisesta pääpiirteissään hyvin, minkä takia LSTM- ja GRU-neuroverkkoja voidaan pitää varteenotettavina vaihtoehtoina taloussyklien ennustamisessa. Tämän lisäksi, tulokset kannustavat soveltamaan epälineaarisia koneoppimismenetelmiä yhdessä usean muuttujan aikasarja-aineistojen kanssa sellaisiin makrotalouden ennusteongelmiin, joihin ei aikaisemmin ole löydetty tarpeellista tarkkuutta saavuttavaa ratkaisua.