Anomaly Detection for Injection Molding Machines Using Probabilistic Deep Learning

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2021-01-25
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
97 + 2
Series
Abstract
In manufacturing industries, monitoring the complicated devices often necessitates automated methods that can leverage the multivariate time series data produced by the machines. However, analyzing this data can be challenging due to varying noise levels in the data and possible nonlinear relations between the process variables, requiring appropriate tools to deal with such properties. This thesis proposes a deep learning-based approach to detect anomalies and interpret their root causes from multivariate time series data, which can be applied in a near real-time setting. The proposed approach extends an existing model from the literature, which employs a variational autoencoder architecture and recurrent neural networks to capture both stochasticity and temporal relations of the data. The anomaly detection and root cause interpretation performance of the proposed method is compared against five baseline algorithms previously proposed in the literature using real-world data collected from plastic injection molding machines and artificially generated multivariate time series data. The results of this thesis show that the proposed method performs well on the evaluated multivariate time series datasets, mostly outperforming the baseline methods. Additionally, the approach had the best performance among the selected methods on providing root cause interpretation of the detected anomalies. The experiments conducted in this thesis suggest that deep learning-based algorithms are beneficial for anomaly detection in scenarios where the problem is too complicated for traditional methods, and enough training data is available. However, the amount of real-world injection molding machine data used in the experiments is relatively small, and therefore further experiments should be performed with larger datasets to obtain more generalizable results.

Monet teollisuusautomaation laitteet synnyttävät jatkuvasti moniulotteista aikasarjadataa, jota voidaan hyödyntää näiden monimutkaisten koneiden automaattiseen monitorointiin. Tällaisen datan analysointi vaatii kuitenkin tarkoituksenmukaisia menetelmiä, jotka pystyvät käsittelemään moniulotteista dataa, jossa voi esiintyä vaihtelevia määriä kohinaa ja epälineaarisia suhteita eri prosessimuuttujien välillä. Tämä työ esittää syväoppimiseen perustuvan menetelmän anomalioiden tunnistamiseen moniulotteisesta aikasarjadatasta, joka pystyy myös tunnistamaan havaittujen poikkeavuuksien juurisyitä, sekä analysoimaan dataa lähes reaaliaikaisesti. Menetelmä perustuu kirjallisuudessa esitettyyn menetelmään, joka käyttää variationaaliseen autoenkooderiin pohjautuvaa arkkitehtuuria, sekä takaisinkytkettyjä neuroverkkoja, joiden avulla menetelmä pystyy mallintamaan datassa esiintyvää satunnaisuutta sekä ajallisia suhteita. Työssä esitellyn menetelmän suorituskykyä havaita anomalioita ja tunnistaa niiden juurisyitä vertailtiin viiteen erilaiseen kirjallisuudessa aikaisemmin esitettyyn menetelmään käyttäen muoviruiskuvalukoneista kerättyä dataa, sekä keinotekoisesti luotua moniulotteista aikasarjadataa. Työn tulokset osoittavat, että esitelty menetelmä tunnistaa anomalioita hyvin testatuilla datakokoelmilla, suoriutuen useimmiten paremmin kuin vertaillut menetelmät. Tämän lisäksi työssä esitetty menetelmä oli vertailluista menetelmistä paras arvioivaan havaittujen anomalioiden juurisyitä. Työssä suoritetut kokeet osoittavat, että syväoppimiseen perustavat algoritmit ovat hyödyllisiä anomalioiden tunnistamisessa, kun ongelma on liian monimutkainen perinteisille menetelmille ja koulutusdataa on saatavilla tarpeeksi. Työssä käytetyn ruiskuvalukonedatan määrä on kuitenkin suhteellisen pieni, minkä vuoksi lisätutkimuksia tulisi suorittaa suuremmilla datamäärillä, jotta saataisiin yleistettävämpiä tuloksia.
Description
Supervisor
Blech, Jan
Thesis advisor
Blech, Jan
Keywords
anomaly detection, multivariate time series, machine learning, variational autoencoder, recurrent neural network, injection molding
Other note
Citation