Data Mesh – vaihtoehtoinen tapa hallita dataa

Data on kestävää ja kustannustehokasta liiketoimintaa tavoittelevan yritysjohdon tärkein työkalu. Kokenut datatiimi sekä viimeisimmät analytiikka- ja teknologiaratkaisut ovat olennaisia osia yrityksen dataputkessa, mutta eivät yksistään riittäviä silloin, kun saatavilla olevaa dataa halutaan hyödyntää parhaalla mahdollisella tavalla. Prosessin osat on hiottava yhteen, ja dataa on katsottava uudesta näkökulmasta.

Kaiken keskiössä on datatuote

Usein ajatellaan, että hankitaan yritykseen jokin tuote, kuten toiminnanohjaus- tai muu IT-järjestelmä, joka muuttaa yrityksen toimintaa kannattavampaan suuntaan. Todellisuudessa kaiken keskiössä on data, johon liiketoiminnan kannalta kestävämmät päätökset perustuvat. 

Ajatusmallia IT-järjestelmästä tuotteena onkin syytä päivittää ja siirtyä ajatusmalliin, jossa data on pääasiallinen tuote. Tuotekehitystä tehdään tuotteen loppukäyttäjää, eli yrityksen johtoryhmää varten.

Datan käsittäminen tuotteena mahdollistaa erillisten dataprosessien yhdistämisen yhdeksi, kestäväksi ja koko organisaation kattavaksi, dataan perustuvaksi päätöksentekoprosessiksi, joka on edellytys yritystoiminnan digitalisoimiselle.

Perinteinen dataputki ei palvele datan loppukäyttäjää

Dataa tuotetaan IT-järjestelmissä, joiden toiminnasta ovat vastuussa IT-asiantuntijat. He eivät kuitenkaan ole tekemisissä datan hallinnan kanssa, koska he eivät vastaa datan viemisestä data-alustalle tai tiedä sen tarkemmin, miten dataa tullaan jatkokäyttämään. IT-asiantuntijoilla ei näin ollen ole omistajuutta hallinnoimaansa dataan.

Seuraavana dataputkessa on datatiimi, joka vie datan IT-järjestelmistä keskitetylle data-alustalle analysoitavaksi. Datatiimiläiset eivät ole mukana datan tuotantoprosessissa eivätkä he siksi tunne dataa, jonka parissa he työskentelevät. Datatiimilläkään ei ole omistajuutta dataan, koska he eivät tuota sitä. 

Viimeisenä vuorossa ovat datan kuluttajat, eli yrityksen johto ja data scientistit. Heidän pitäisi pystyä tekemään päätöksiä datan pohjalta, jota ei omista oikein kukaan. Datan laatu ei myöskään aina ole riittävää, koska siihen on vaikea vaikuttaa prosessien irrallisuuden takia.

Dataputki koostuu irrallisista osista, jotka eivät kommunikoi keskenään. Datan tuotannossa ja käsittelyssä ei lisäksi huomioida riittävästi sitä, vastaako data sen loppukäyttäjien tarpeita.

Data Mesh järjestää prosessin uudelleen

Data Mesh tarkoittaa käytännössä sitä, että perinteisen dataputkimallin sijaan datan tuotanto ja hyödyntäminen toteutetaan liiketoiminta-alueittain. Käytännössä jokainen liiketoiminta-alue (domain) tuottaa ja analysoi oman datansa, kuitenkin samaa kaavaa noudattaen. 

Data Mesh -mallissa dataputki on hajautettu, eli jokaisella domainilla on oma dataputkensa. Data-alusta on edelleen keskitetty ja kaikille sama, joten eri domainien datatuotteet ovat yhteneviä. Jos jokainen domain rakentaisi oman, erillisen tietovaraston ja data-altaan, ne toimisivat kokonaisuudesta erillisinä osina ja aiheuttaisivat siilojen syntymisen. Alkuperäisestä ongelmasta, eli prosessien irrallisuudesta ja kommunikoinnin puutteesta ei päästäisi eroon.

Datatiimillä on vastuu datasta

Domainkohtainen datan hallinta ei ole uusi lähestymistapa, vaan monissa yrityksissä datan omistajuus on ollut jaettuna domaineittain jo pitkään. Data Mesh pureutuukin juuri datan omistajuudesta aiheutuviin ongelmiin. Se eroaa aiemmin käytetystä domainkohtaisesta lähestymistavasta siten, että jokaisella domainilla on oma datatiimi, joka tuottaa, käsittelee ja kuluttaa dataa.

Datatiimillä on täysi omistajuus siihen dataan, jonka parissa he toimivat. Datatiimin jäsenet tuntevat oman domaininsa dataputken läpikotaisin, joten jos datan suhteen herää kysymyksiä tai sen laatu ei vastaa tarpeita, datatiimi pystyy korjaamaan tilanteen.

Data Mesh ei siis ole teknologiaratkaisu, vaan pikemminkin näkökulma dataputken järjestämiseksi uudella tavalla, joka mahdollistaa datan käsittämisen pääasiallisena tuotteena. Domainkohtaisesta datatiimistä, eli datan tuottajista, käsittelijöistä ja kuluttajista, kehittyy oman alueensa asiantuntijoita sekä tuotekehittäjiä, jotka yhdessä pyrkivät kehittämään parhaan mahdollisen datatuotteen.

Onko yrityksesi datan omistajuus hukassa? Me autamme datan hyödyntämisessä koko organisaation laajuisesti. Jätä yhteydenottopyyntö, niin olemme sinuun mahdollisimman pian yhteydessä.

Etlian tiimi vahvistuu

Etlian tiimi on 29.04.2019 vahvistunut Principal Architect Adwin Imperialilla. Haluamme toivottaa hänet lämpimästi tervetulleeksi Etliaan. 

Adwinilla on yli 15 vuoden kansainvälinen kokemus analytiikasta. Hän on toiminut useilla toimialoilla analytiikan, BI -arkkitehtuurien ja järjestelmähallinnan parissa. Hän on myös yksi harvoista SAP BI Enterprise Data Warehouse ja SAP HANA sertifioidusta henkilöistä. Adwinilla on menestyksekäs työhistoria ja uskomme sen olevan arvokas tekijä Etlian tavoitteiden saavuttamisessa.

Adwin vastaa Etliassa SAP liiketoiminnan kehittämisestä ja analytiikka-arkkitehtuureista. Olemme varmoja, että Adwin tulee menestymään tehtävässään ja olemaan tärkeä tekijä Etlian tulevaisuuden menestyksessä.

Voitte ottaa Adwiniin yhteyttä sähköpostitse (mieluiten englanniksi). Hänen sähköpostiosoitteensa on adwin.imperial@etlia.fi.

Etlia’s team strengthens by Principal Architect Adwin Imperial

We would like to announce and extend our warm welcome to Adwin Imperial.  He has accepted the role of Principal Architect, effective 29.04.2019.

Adwin has more than 15 years of extensive experience around the globe in the field of Analytics.  He had several engagements across different industries as an expert in analytics, BI architecture and application management.  He is one of the few persons certified as an SAP Professional in BI Enterprise Data Warehousing and he is also certified in SAP HANA.  He has a proven track record of success, which will be invaluable in meeting our goals and objectives.

As our Principal Architect, Adwin is responsible for SAP business development and analytics architectures. We are confident that Adwin will be an excellent match for this position and a vital asset for our company success.

You can contact Adwin through his email adwin.imperial@etlia.fi.

Kuinka ottaa kaikki hyöty irti BW:n HANA investoinnista?

Siirsimme Kuntien Tieran BW -järjestelmän HANA -optimoituihin objekteihin ja tietovirtoihin, koska asiakas halusi saada kaiken irti HANA -tietokannasta. Tämänkertaisessa blogissamme konsulttimme Timo Partala avaa kokemuksia projektista.

Kokemuksia BW/4HANA objekteihin siirtymisestä

Teknisen HANA -kantamigraation jälkeen asiakas halusi lähteä toteuttamaan HANA optimointia, jossa luotaisiin vanhojen tietovirtojen pohjalta uudet tietovirrat käyttäen BW/4HANA objekteja (vanhat tietovirrat jätettiin järjestelmään testaamisen helpottamiseksi). Tavoitteena oli suorituskyvyn parantaminen ja järjestelmän modernisointi.

Taustaa

BW/4HANA -järjestelmä on optimoitu toimimaan SAP HANA -kannan päällä ja samalla aikaisemmista BW versioista tuttuja useita eri objektityyppejä on yhdistetty BW:n mallintamisen yksinkertaistamiseksi (eri objektityypeille ei HANA maailmassa ole enää teknistä perustetta). Siten uudessa tietovirrassa vanhan malliset Composite Providerit (tällainen vanha Composite provider objekti on tosiaan olemassa), Multi Providerit ja Info Setit korvattiin uusilla Composite providereilla ja Virtual Providerit Open ODS View:lla. Lisäksi Info Cubet, DSO:t, PSA:t ja Hybrid Providerit korvattiin uusilla aDSO (Advanced DSO) objekteilla (kts. alla oleva kuva). 

Toteutustapa

Toteutustavaksi valittiin tietovirtojen kopiointi ja kopio-tietovirtojen muuntaminen uuteen muotoon HANAn migraatiotyökaluilla mukaan lukien BEx-kyselyt. Tämän jälkeen tiedot ladattiin uuteen tietomalliin ja verrattiin uuden ja vanhan tietovirran päällä olevien kyselyiden tuloksia toisiinsa. Lisäksi verrattiin uusien ja vanhojen infoprovidereiden (aDSO, Composite Provider vs. infokuutio, MultiProvider) sisältöjä.

Valittua toteutustapaa kokeiltiin Sandbox-ympäristössä yhdellä tietovirralla ja kun ratkaisu todettiin toimivaksi, asiakas päätti optimoinnin jatkamisesta kaikkien jäljellä olevien tietovirtojen osalta.

Toteutus

Toteutuksessa lähdettiin liikkeelle raportointikokonaisuus kerrallaan muuntamalla Multiprovider Composite Provideriksi HANAn migraatiotyökaluilla, tässä yhteydessä kopioitiin myös olemassa olevat BEx-kyselyt Composite Providerin alle. 

Sen jälkeen luotiin HANAn mallinnustyökaluilla aDSOt (advanced DSO) käyttäen mallina Multiproviderissa osallisina olevia kuutioita, DSO:a jne. Näillä uusilla aDSO:lla korvattiin sitten migraatiotyökalun jäljiltä Composite Providerissa olleet kuutiot ym.

Seuraavaksi kopioitiin muunnot ja luotiin uudet DTP:t. Tämän jälkeen luotiin uudet prosessiketjut, joissa tehdään lataukset uusiin objekteihin. Uusista prosessiketjuista otettiin myös kopiot tuotantoon siirron jälkeistä rinnakkaisajoa varten – kopioidut prosessiketjut hyödyntävät (varsinkin delta-latausten osalta) olemassa olevan prosessiketjun jo lataamaa aineistoa.

Uusien infoprovidereiden myötä myös käyttöoikeuksiin tuli muutoksia. 

Asiakkaalla on käytössä raporttikohtaisia WWW-mallipohjia, joten niistä otettiin kopiot, joihin muutettiin uudet kyselyt.

Havaintoja matkan varrelta

Työ sujui hyvin ja BW/4HANA:n objektit toimivat odotetusti, ilman suuria haasteita.

Muuntojen rutiineissa olevat luvut DSO:sta aiheuttivat ylimääräistä työtä, koska luonnollisesti luvun kohteena ei ollutkaan enää DSO, vaan aDSO ja nimi oli vaihtunut. Samoin BEx-kyselyissä olevat Infoprovider -valinnat ja suodattimet työllistivät.

Lisäksi tuli taas huomattua, miten tärkeää olisi aina pitää huoli siitä, että kaikki kehitystyö tehdään kehitykseen ja siirretään sieltä muihin ympäristöihin – näin vältytään turhilta sekaannuksilta ja ylimääräisiltä testikierroksilta.

Lopuksi

Projekti vietiin tuotantoon ja uudet raportit uusitulla teknologialla ovat toimineet hyvin. Projektin tavoitteena olleita suorituskyvyn parannuksia saatiin sekä tietojen latausaikoihin että raporttien ajoaikoihin. Järjestelmä on nyt valmis teknistä BW/4HANA versionkorotusta varten, koska kaikki käytettävät objektit ovat sen edellyttämällä tasolla.

”Vaikka muutos on suuri, rakennettaessa kaikki tietovirrat käytännössä uudestaan ja uusilla objekteilla, niin kokemuksemme mukaan muutos on hallittava. Saimme myös yhdessä Etlian kanssa rakennettua vanhaa vastaavat toiminnallisuudet uusiin tietovirtoihin. Samalla saimme yksinkertaistettua tietorakenteita. Voimme rohkaista kaikkia, jotka ovat suunnitelleet vastaavaa muutosta tai versionkorotusta BW/4HANA:an.” sanoo Kuntien Tiera Oy:n tuotantopäällikkö Marko Laitinen.

Mikäli haluat kuulla lisää, voit olla yhteydessä Timo Partalaan tai Juuso Maijalaan. Sähköposti on muotoa etunimi.sukunimi@etlia.fi

Business IT -konsultointia

Business IT -konsultti tukee liiketoimintalähtöistä Business Intelligence -kehitystä

Teknologiakonsultointi on vierihoitoa

Liiketoimintakäyttäjien analytiikkaosaamista voidaan helposti parantaa heidän tiimiytyessä teknologiakonsulttien kanssa. Konsultti ja organisaation liiketoimintaosaaja voivat yhdessä kehittää uusia tietonäkymiä oikeilla tiedoilla tuotantoympäristössä. Liiketoiminnan edustaja näkee miten analytiikkatyökaluja käytetään tehokkaasti. Vaikka internet onkin pullollaan erilaisia opetusvideoita, on paljon helpompaa oppia ja kysyä täsmäkysymyksin vieressä olevalta asiantuntijalta.

Gartner ennustaa Business Intelligence -projektien olevan jatkossa liiketoimintavetoisia

Business Intelligence‑markkinoilla on aikaisemmin sijoitettu IT-vetoisiin hankkeisiin. Jatkossa projektit tulevat olemaan enemmän liiketoimintavetoisia IT:n keskittyessä tietomalleihin ja hallinnointiin. Staattiset yksi raportti kaikille -tyyppiset ratkaisut muuttuvat dynaamiseksi tiedon etsinnäksi (data discovery.)

Liiketoimintakäyttäjiltä puuttuu teknologiaosaamista

Etlian Analytiikka ja Business Intelligence 2015 -kyselyssä pahimpana esteenä analytiikan käytölle liiketoiminnan kehittämisessä pidettiin osaavien sisäisten resurssien puutetta. Nykyisistä BI-investoinneista olisi odotettavissa enemmän arvoa, jos liiketoimintakäyttäjät tuntisivat välineet paremmin.

Projektiin voi valmistautua prototypoimalla aidolla liiketoimintatiedolla

Ennen varsinaista projektia voi olla järkevää tehdä esiprojekti tuotannossa olevilla tiedoilla ja tietomäärillä. Muutaman päivän esiprojektilla kasvatetaan ymmärrystä mahdollisista analytiikkaratkaisuista. Modernit analytiikkasovellukset antavat työkalut liiketoimintakäyttäjien omiin käsiin ja niillä voi huoletta tallentaa omia versioita analyyseistä. Samalla havaitaan mahdolliset pullonkaulat ja tietotarpeet. Esiprojektin aikana tehdään tarkemmat määrittelyt varsinaista projektia varten. Varsinainen projekti voidaan toteuttaa perinteisellä vesiputousmallilla tai ketterillä menetelmillä. Esiprojekti tuo vesiputousmalliinkin ketteryyttä.

Ota lentävä lähtö kokeneen konsultin kanssa

Kokeneen konsultin kanssa voit ottaa lentävän lähdön, kun heti ensimmäisessä työpajassa voidaan aloittaa kehitystyö. Yhteisestä ajasta saa parhaan hyödyn irti, kun antaa konsultin etukäteen tutustua käsiteltäviin raportteihin ja tietomalleihin. Näin itse työpajassa ei kulu arvokasta aikaa taustatietojen selvittelyyn.

Haluatko kuulla lisää? Ota meihin yhteyttä!

.