08.02.2018Blogi

Data-alustat IoT:ssa – 3 vinkkiä mitä pitää mielessä

IoT-laitteet, jotka tuottavat dataa, tarjoavat yrityksille rajattoman määrän mahdollisuuksia luoda uutta liiketoimintaa ja palveluita nykyisten tuotteiden ja toiminnan ympärille. Vaikka IoT-ilmiö on ollut olemassa jo jonkin aikaa, yritykset tuskailevat kokonaisvaltaisen IoT-ilmiön ja yrityksen tavoitteita tukevan infrastruktuurin rakentamisessa. Tässä tekstissä käsitellään, mitä yrityksen kaaannattaa pitää mielessään silloin, kun IoT:n avulla tavoitellaan maksimaalista arvontuottoa.

Edellisessä IoT-aiheisessa blogijulkaisussa Veli-Matti Ojala käsitteli aihetta; ”kuinka rikastaa IoT-dataa yrityksen muista tietojärjestelmistä löytyvällä tiedolla”. Siinä mainittiin myös mahdollisista vaaroista, joita voi syntyä silloin, kun tarkoituksenmukaisesti rakennetaan siiloja yrityksen datainfrastruktuuriin. Perinteisesti näitä siiloja on rikottu luomalla yrityksen datasta tietovarastointiratkaisu niin sanotuksi “keskitetetyksi totuudeksi”.

Tietovarastointi nähdään nykyään kuitenkin hieman negatiivisessa valossa ja käsitteen evoluution myötä on ryhdytty käyttämään termejä, kuten data-alusta tai data hub. Kollegani Pasi Jalonen käsittelee aihetta syvällisemmin omassa blogitekstissään, joka on ehdottomasti lukemisen arvoinen. Tässä tekstissä pitäydytäänkin käyttämään edellä mainitsemiani käsitteitä: data-alusta ja data hubi.

Mutta kun rakennetaan ratkaisua IoT-datalle, herää usein kysymys: Onko data-alusta olennainen osa toteutusta?

1. Älä rakenna pistemäisiä ratkaisuja, rakenna data-alusta

Mitä oikeastaan tarkoitetaan data hubilla tai data-alustalla? Määritelmän voi muotoilla esimerkiksi seuraavasti: se on järjestelmä, johon kerätään ja tallennetaan monesta eri lähteestä kerättyä strukturoitua ja strukturoimatonta dataa. Data-alustan tarkoituksena on tarjota yhtenäistettyä ja oikea-aikaista dataa kaikille käyttäjilleen.

Yritykset ovat usein hyvin eri vaiheissa datamaturiteettinsa suhteen: jotkut ovat jo ratkaisseet dataan liittyviä haasteita rakentamalla data-alustan, kun toiset taas säilövät dataa lähdejärjestelmissä tai ovat aikeissa rakentaa ratkaisun dataan liittyvien haasteiden hoitamiseen.

Kun yritys ole vielä investoinut data-alustaan ja siellä lähdetään tekemään ensimmäistä IoT:hen liittyvää ratkaisua, voi tuntua houkuttelevalta ajatukselta luoda yksinkertainen sovellus, joka ratkaisee vain ja ainoastaan käsillä olevan ongelman. Ratkaisu voi olla web- tai mobiilisovellus, tai perinteinen analytiikkatyökalun visualisointi höystettynä yksinkertaisella back-end -toteutuksella.

Käytäntö on osoittanut, että ennen pitkää tämän tapaiset ratkaisut ajavat yritykset ongelmiin infrastruktuurin vaikean hallinnan ja käyttäjien tarpeisiin vastaamattomuuden kanssa. Data-alusta, datan mallinnus ja infrastruktuurin rakennus nähdään monesti liian raskaana toteuttaa, jolloin yritykset valitsevat olla rakentamatta sellaista. Solitalla on omaksuttu käytäntöjä, joilla ratkaisua voidaan kehittää inkrementaalisesti siten, että esimerkiksi mallinnetaan ainoastaan se data, jota tarvitaan kulloisessakin vaiheessa. Tietomallien robustisuus ja joustavuus voidaan saavuttaa esimerkiksi Data Vault -viitekehyksen avulla.

2. Mieti optimaalista teknologiayhdistelmää eri tyyppisten datojen varastointiin

Entäpä ne yritykset, joiden data-alustan rakennus on jo pitkällä tai jotka ovat parhaillaan rakentamassa omaa data-alustaa? Tällaisessa tilanteessa saattaa tuntua luonnolliselta tallentaa myös IoT-data tietokantaratkaisuihin, koska niitä on käytetty perinteisesti datan säilönnässä. Tällaisia tietokantaratkaisuja ovat esimerkiksi relaatiotietokannat, jotka toimivat IoT-datan kanssa tiettyyn pisteeseen, mutta usein ongelmia alkaa syntyä datan määrän kasvaessa, mikä johtaa puolestaan suorituskykyongelmiin. Sitä voidaan katsoa myös tallennus- ja laskentakapasiteetin epäoptimaalisena hyödyntämisenä. On tietysti olemassa joitain tietokantateknologioita, jotka eriyttävät tallennuksen ja laskennan vastatakseen kasvaviin datamääriin.

Kun datan määrä kasvaa ja sen ajantasaisuus vähenee, kaikkea dataa ei tarvita enää säännöllisesti. Tällöin sen siirtäminen pidempiaikaisiin säilytysratkaisuihin on suositeltavaa kustannusten optimoimiseksi.

Relaatiotietokannoilla on silti IoT-maailmassa oma roolinsa: lasketut ja aggrekoidut arvot, kuten KPI (engl. Key Performance Indicator), kuuluvat edelleen julkaistavaksi tietovarastoon. Näin ne ovat analytiikkatyökalujen ja käyttäjien ad hoc -kyselyiden käytettävissä. Kun tietoisuus ja vaatimukset IoT:n avulla saavuttavia arvontuottomahdollisuuksia kohtaan kasvavat, ei aggrekoitu data yksistään riitä. Sovelluskohteet, kuten data science- tai machine learning vaativat usein alhaisimmalla mahdollisella tarkkuudella kerättyä dataa (toisin sanoen sellaista dataa, jolla se alunperin laitteilta luettiin). Tämän tyyppisestä datasta käytetään usein nimitystä raakadata ja sitä tulisi olla saatavilla useiden vuosien ajalta. Tähän dataan kohdistuvat raskaat kyselyt kuormittavat tietokantoja ja häiritsevät data-alustan päälle rakennettujen muiden sovellusten toimintaa.

3. Kun lataat dataa, vältä työkaluja ja tapoja jotka toimivat ennen vanhaan

Miten perinteistä tietovarastoa pitää muuttaa, kun puhutaan datan sisään lataamisesta data-alustalle ja sen prosessoinnista? Perinteisessä tietovarastovarastoinnissa data on haettu sen lähteestä pull-ajatuksella tietyin väliajoin käyttämällä ETL/ELT-työkaluja (Extract, Transform, Load). Tällöin puhutaan eräajotyyppisistä ajoista, eli samalla isompi joukko dataa ladataan kerrallaan.

IoT-datalle eräajotyyppinen käsittely ei toimi, sillä sitä generoituu jatkuvana virtana. Lisäksi virran nopeus ja datan määrä korostavat latauksissa sitä, että ajattelutapaa pitää muuttaa. Käsitellessä IoT-dataa ei välttämättä ole esimerkiksi mahdollista tehdä ETL-ajoista tyypillisiä vierasavaintarkistuksia, vaan muhuun dataan linkitys pitää tehdä lennossa ja riippumatta muista latauksista. Latausten tulee olla nopeita ja skaalautua tarvittaessa. Usein samalle datalle joudutaan rakentamaan myös eri latausketjuja: reaaliaikaisille hälytyksille, raskaille laskennoille ja raakadatan sisään lataamiselle kaikille omansa.

Vaikka IoT-data voidaan nähdä yhtenä datanlähteenä muiden joukossa, sitä ei pidä todellakaan käsitellä samoilla periaatteilla.

Valitettavan usein yritykset törmäävät hyvin samantyyppisiin ongelmiin pyrkiessään rakentamaan liiketoimintaa ja uudenlaista arvonmuodostusta olemassa olevan liiketoimintansa rinnalle.

IoT tarjoaa lähes rajattoman määrän mahdollisuuksia! Mikäli pidät mielessä seuraavat sudenkuopat, onnistumisen edellytykset ovat huomattavasti todennäköisemmät:

  • Älä rakenna pistemäisiä ratkaisuja, rakenna data-alusta
  • Mieti optimaalista teknologiayhdistelmää eri tyyppisten datojen varastointiin
  • Kun lataat dataa, älä käytä työkaluja ja tapoja, jotka toimivat ennen vanhaan

Ohjeiden siivittelemänä toivotan onnea IoT-matkallesi!

Roope työskentelee Solitalla IoT-dataan erikoistuneessa tiimissä Data Architect -tittelillä. Roopella on taustaa ohjelmistokehityksestä sekä perinteisen tietovarastoinnin saralta ja työskentelee tällä hetkellä modernien datan ja informaationhallinta-alustojen parissa Suomen huippuyritysten kanssa. Hankkeissa on keskiössä teollisen IoT:n ja palveluiden rakentaminen tukemaan uuden liiketoiminnan rakentamista.

Solita Datapalveluiden ostajan opas