Pentaho Data Integration (Kettle) -ohjelmiston hyödyntäminen ETL-prosessissa
Sahramaa, Arttu (2020)
Sahramaa, Arttu
2020
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2020060115969
https://urn.fi/URN:NBN:fi:amk-2020060115969
Tiivistelmä
Insinöörityön tavoitteena on tutustua ETL-prosessien konsepteihin, tekniikoihin ja ongelmiin sekä tutkia avoimen lähdekoodin Pentaho Data Integration (Kettle) -ohjelmistoa ja miten tätä voi hyödyntää ETL-prosessien muodostamisessa. Tavoitteena on tuottaa LTC-Otso Oy:lle kuvaus Kettle-ohjelmiston toiminnasta sekä antaa valmiudet Kettlen hyödyntämisessä.
ETL-prosessin käsittelyosiossa tutkitaan prosessille tyypillisiä käytänteitä ja ongelmia lähdekirjallisuutta tutkien. Osiossa tutustutaan ETL:n eri osaprosesseihin sekä tyypillisesti käytettäviin teknologioihin ja protokolliin, jotta saadaan kuva ETL-työkalulle tarvittavista ominaisuuksista. Työssä tutustutaan myös Kettlen toiminnallisuuksiin muodostamalla erilaisia käytännön esimerkkejä Kettlen Spoon-nimistä käyttöliittymää käyttäen.
Työn tuloksena saatiin dokumentoitua riittävät tiedot Kettlen toiminnallisuuksista, jotta Kettleä voidaan jatkossa hyödyntää ETL-prosessien muodostamisessa. Erilaisten Kettle-toiminnallisuuksien testaaminen antoi konkreettisen esimerkin Kettlen käytöstä sekä avasi Kettle-prosessien toimintamallia. Tuloksena oli myös Kettlellä toteutettu ETL-prosessi, jonka dokumentaatiota voidaan jatkossa hyödyntää uusien prosessien rakentamisessa LTC-Otso Oy:ssa.
ETL-prosessin käsittelyosiossa tutkitaan prosessille tyypillisiä käytänteitä ja ongelmia lähdekirjallisuutta tutkien. Osiossa tutustutaan ETL:n eri osaprosesseihin sekä tyypillisesti käytettäviin teknologioihin ja protokolliin, jotta saadaan kuva ETL-työkalulle tarvittavista ominaisuuksista. Työssä tutustutaan myös Kettlen toiminnallisuuksiin muodostamalla erilaisia käytännön esimerkkejä Kettlen Spoon-nimistä käyttöliittymää käyttäen.
Työn tuloksena saatiin dokumentoitua riittävät tiedot Kettlen toiminnallisuuksista, jotta Kettleä voidaan jatkossa hyödyntää ETL-prosessien muodostamisessa. Erilaisten Kettle-toiminnallisuuksien testaaminen antoi konkreettisen esimerkin Kettlen käytöstä sekä avasi Kettle-prosessien toimintamallia. Tuloksena oli myös Kettlellä toteutettu ETL-prosessi, jonka dokumentaatiota voidaan jatkossa hyödyntää uusien prosessien rakentamisessa LTC-Otso Oy:ssa.