Työskentelen Solitalla Data-osaajien Recruitment Coachina ja minulta kysytään usein, mitä tarkoitamme, kun puhumme Data Engineeristä ja miten se eroaa esimerkiksi tietokantaosaajan työstä. Juttelin Solitalla Data Engineerinä työskentelevän Mika Heinon kanssa hänen arjestaan.
MIKAN TIE SOLITAAN
Mika päätyi Solitalle ystävien kautta pari vuotta sitten. Ennen Solitalle tuloa Mika oli työskennellyt jo noin yhdeksän vuotta erilaisten tietokantojen ja niitä ylläpitävän infran parissa. Perinteinen ylläpitävän tietokantaosaajan rooli siis, jossa vastattiin useiden eri asiakkaiden tietokannoista ja niiden toimivuudesta.
Solita oli aina kiinnostanut minua yrityksenä. Ei liian iso ja ei liian pieni. Suurin vaikutus oli kuitenkin että hyvä ystäväni oli Solitalla töissä ja olin sitä kautta päässyt tietoiseksi firman sisäisestä kulttuurista. Itselleni työnkuvaa tärkeämpi on ollut aina työkaverit ja ilmapiiri. Aluksi kuitenkin epäilin että vastaako osaamisprofiilini yrityksen tarpeita, mutta pari vuotta sitten avautui Oracle DBA tarve. Klassisesti työ ei kuitenkaan alkuperäisessä muodossaan toteutunut, mutta se pakotti minut miettimään, mitä itse haluan tehdä ja aloinkin hyvin varhaisessa vaiheessa opiskelemaan AWS:ää ja pääsin mukaan osaavien henkilöiden mukaan erilaisiin PoC –projekteihin. Kuin huomaamatta olinkin sisäistänyt perusteet tietovarastoinnista ja huomasin että oma aiempi osaamiseni sovelluttuna olikin tarpeen.
Solitalla Mika viihtyykin siis eniten ihmisten takia. Aiempi ystäväpiiri on sittemmin laajentunut vielä entisestään. Yhdessä vietetään aikaa muutenkin kuin töissä mm. NHL-turnausten muodossa, laskettelureissuilla ja spontaaneilla after work tapaamisilla.
DATARATKAISUJEN RAKENTAMINEN ON TIIMITYÖTÄ
Data Engineerinä arki koostuu pääasiassa 1-2 asiakasprojektista. Projekteja tehdään tällä hetkellä eniten suurille kotimaisille ja kansainvälisille yrityksille sekä yksittäisiä hankkeita julkisen puolen toimijoille.
Suurin osa asiakkaista sijaitsee pääkaupunkiseudulla ja työtä tehdään asiakkaan tiloissa maksimissaan 3-4 päivänä viikossa. Joka perjantai kokoonnutaan viettämään Solita-päivää omalla toimistolla Helsingin ydinkeskustassa. Tällöin aamu alkaa yhteisellä koko firman aamupalalla ja lounaalla käydään änäri-porukalla.
Ai siis, mikä änäriporukka? Siis meillä on Helsingin toimistolla oma porukkamme joka pelaa sarjamuotoisesti uusinta EA:n tuotosta pleikkanelosella. Firma on tullut tässä hyvin vastaan ja antanut meille käyttöömme erillisen huoneen mikä ollaan sitten sisustettu teeman mukaisesti ja mistä löytyy kunnon tykki pelaamista varten. Tuo yksi yksittäinen peli on tuonut mulle varmaan enemmän uusia työkavereita kuin mikään virallinen tapahtuma.
Isossa kuvassa Data Engineerin työhön kuuluu erilaisten dataratkaisujen rakentaminen ja niitä palvelevien dataputkien rakentaminen. Työ on 90% hands-on tekemistä erilaisissa projekteissa.
Tarkemmin tämä voi tarkoittaa esimerkiksi sitä että asiakas kertoo PI planning –sessiossa että uusi, raportointiin odotettu datalähde on esimerkiksi uuden operatiivisen järjestelmän SQL –tietokanta tai data löytyy ulkoisen toimittajan lähettäminä csv –tai json –dumppeina joko S3 –bucketissa tai klassisesti jonkin palvelimen levynkulmalla. Tällöin Data Engineerin ja tiimin työ on selvittää miten kyseinen data tuodaan ennalta mallinnettuun tietovarastoon käytettäväksi ja lopulta osaksi esimerkiksi Tableau tai PowerBI -visualisointia.
Jokaiseen projektiin valitaan soveltuvimmat teknologiat tarpeen mukaan. Useimmiten Data Engineerin voimakkain työkalu on SQL –kieli ja jokin skriptauskieli, oli se sitten klassinen shell tai nykyään useimmiten käytettävä Python.
En itsekään voi väittää olevani hyvä tai edes välttävä koodaaja, mutta jos ymmärtää milloin käyttää for looppia datan populointiin manuaalisen käsityön sijaan, niin olet jo pitkällä. Ei kannata ajatella, että ei pärjäisi DE:nä, jos oma koodaamistaito ei ole paras mahdollinen.
Ratkaisut tehdäänkin kasvavissa määrin AWS:n tai Azuren valmiita palveluita hyödyntäen, joskin on-premisessa hyödynnettävät asiat eivät ole kadonneet mihinkään, sillä iso osa ratkaisuista tehdään Apachen open source –tuotteita hyödyntäen halutun Linux –distron päälle. Työkalut pysyvätkin usein samoina, tehtiin ratkaisu sitten perinteisenä konesaliratkaisuna, hybridinä tai suoraan pilveen. Tietokantapuolella analyyttisissa ratkaisuissa suositaan kolumnaarisia tietokantoja kuten Redshiftiä tai uudempaa, palveluna saatavaa Snowflakea.
Edeltävässä tapauksessa asiakkaan haluama data voitaisiin esimerkiksi lukea SQL Serverin Integration Services -työkalulla, Informaticalla tai vaikkapa Denodon kautta sisään kohdekantaan. Toinen vaihtoehto olisi hyödyntää Apache Airflowta dataputken tekoon. Tilanne riippuu paljon siitä mikä työkaluprojektissa ja tiimissä on valittu
Työtä tehdään aina tiimityönä – ei siis yksin. Eniten tehdään yhdessä muiden Solitalla työskentelevien Data Engineerien ja Data Architectien kanssa sekä tietenkin asiakkaan kanssa.
SOLITALLA PÄRJÄÄ JOS ON KIINNOSTUNUT UUSISTA ASIOISTA
Osaamisen kehittämiseen panostetaan Solitalla merkittävästi. Osaaminen kehittyy eniten kädet savessa asiakasprojekteissa, mutta muitakin mahdollisuuksia osaamisen systemaattiseen kehittämiseen löytyy.
Data Engineerin työssä teknologiat saattavat muuttua nopeastikin. Markkinajohtajina toimivissa yrityksissä, joille projekteja tehdään halutaan usein ottaa käyttöön uusimpia teknologioita. Tällöin myös Solitan asiantuntijoiden täytyy pystyä omaksumaan hyvin nopeasti uusia teknologioita ja työkaluja.
Mikalle tämä on konkretisoitunut sen kautta, että hyvin nopeasti Solitalla aloittaessa hänellä oli edessä uusien työkalujen haltuunotto. Projekteissa opitun lisäksi Mika on kehittänyt osaamistaan osallistumalla koulutuksiin ja suorittamalla sertifikaatteja. Sertifikaatit hän on suorittanut omalla ajalla vaikka se olisi mahdollista ihan työajallakin. Viimeisimpänä Mika on suorittanut AWS Certified Solutions Architect Professional –sertifioinnin.
Joo – omalla ajalla opiskelin. Se ei kuitenkaan tarkoita, ettenkö olisi voinut opiskella työajalla. Meillä on erilaisia oppimispolkuja ja mahdollisuuksia tutustua uusiin tekkeihin vaikka kuinka. Esimerkiksi Cloud –puoli tarjoaa Azure –oppimispolkua, mikä itseäni ainakin kiinnostaa. Azure onkin hyvä esimerkki siitä, että Solitalla pärjää, jos mieli on avoin uusia tekkejä kohtaan ja on kiinnostunut asioista selvittämään sopisiko työkalu esimerkiksi omaan projektiin. Azure tulee isommissa määrin joka puolelta vastaan ja täytyy ymmärtää, että maailma ei ole piirretty AWS:n musta-oranssilla paletilla. Toisaalta täytyy myös uskaltaa myöntää ja sanoa ääneen työkavereille, jos ei oikeasti ymmärrä tai osaa jotain. Sitten opetellaan se asia yhdessä. Rohkeutta tarvitaan siinä, kun lähdetään oikeasti kokeilemaan uutta työkalua tai teknologiaa. Sitten se vaan tehdään. Sun täytyy uskaltaa hypätä.
Solitalaisten arkeen kuuluvat myös vakiintuneet kaikille avoimet tietoiskut, jotka ovat 15-45 minuutin mittaisia esityksiä erilaisista aiheista. Kuka tahansa voi järjestää tietoiskun. Tietoiskuun kutsutaan kaikki solitalaiset ja siihen voi osallistua kuka tahansa aiheen tärkeäksi kokeva joko paikan päällä tai videoyhteyden kautta. Tietoiskuja järjestetään meillä erittäin aktiivisesti, tilastollisesti noin yksi per työpäivä.
Viime aikoina Mika on lähtenyt kehittämään myös esiintymisosaamistaan ilmoittautumalla puhujaksi sekä sisäisiin että ulkoisiin asiantuntijatapahtumiin. Mika on myös kirjoittanut useita blogikirjoituksia, joiden avulla toivoo pystyvänsä jakamaan omia oppejaan myös muille asiantuntijoille.
Se oli nyt sellainen ajatus haastaa itseään uudella tavalla. Julkinen puhuminen on ollut aina, sanotaanko suoraan, inhottavaa minusta. Joten paras ratkaisu päästä peloista irti on tehdä juuri sitä mikä pelottaa. Tästä täytyykin kiittää firmaa ja tiettyjä henkilöitä, että tällainenkin mahdollisuus tarjoutui, koska luottamus oli valtava, vaikka olinkin ekaa kertaa lavalla.
Jos tunnistit itsesi ja Solita kiinnostaisi myös sinua työpaikkana, etsimme parhaillaan uusia kehittymishaluisia tietokanta- ja tietovarastointiosaajia kouluttautumaan tulevaisuuden Data Engineeriksi. Katso kaikki avoimet työpaikat.
