De opmars van Data Fabric
Het landschap van datatoepassingen en gegevensbeheer verandert in hoog tempo. Hierbinnen heeft een innovatief concept de aandacht getrokken: Data Fabric. Deze benadering van gegevensintegratie en -beheer heeft de manier waarop organisaties met hun informatie omgaan getransformeerd. In dit blog nemen we jou mee in het ontstaan van Data Fabric, we leggen uit waarom het een cruciale rol speelt in de moderne digitale wereld en we gaan dieper in op een van de bekendere data fabric oplossingen.
Data Fragmentatie
In het vroege stadium van het digitale tijdperk begonnen organisaties in hoog tempo gegevens te genereren en op te slaan. Dit gebeurde op diverse platforms, variërend van lokale servers tot de opkomende cloud infrastructuur. Elke afdeling binnen een organisatie had zijn eigen systemen, databases en applicaties, wat resulteerde in een explosie van gegevensfragmentatie. Wanneer deze systemen hun data niet delen met andere toepassingen en services, ontstaan er silo’s. Deze versnippering leidde tot uitdagingen op het gebied van integratie, besluitvorming en beheer van gegevens:
- Het was moeilijk om gegevens uit verschillende bronnen te integreren, waardoor het verkrijgen van een holistisch beeld van de bedrijfsprestaties moeilijk werd.
- Door versnippering kostte het meer tijd om geïnformeerde beslissingen te nemen. Belangrijke inzichten waren verspreid over verschillende afdelingen en waren niet direct toegankelijk.
- Het beheren van verspreide gegevensbronnen vereiste aanzienlijke inspanningen en middelen, wat de efficiëntie van gegevensbeheer verminderde.
Het ontstaan van Data Fabric
In reactie op deze uitdagingen ontstond het concept van Data Fabric. Geïnspireerd door de behoefte aan een geïntegreerde aanpak, waar gegevens overal toegankelijk en uniform beheerd konden worden, begon Data Fabric aan zijn opmars. Het doel was duidelijk: een samenhangende, schaalbare, en locatie-onafhankelijke infrastructuur voor gegevens creëren. Dit wordt bereikt door een uniforme laag te leggen (data fabric) over de complexe architectuur waardoor die weer overzichtelijk wordt. Organisaties komen zo weer in control.
De term “Data Fabric” werd gekozen om de essentie van het concept te benadrukken. Net zoals textielweefsel wordt gevormd door het verweven van individuele draden, beoogt Data Fabric gegevensbronnen met elkaar te verbinden en een samenhangend geheel te vormen. Deze analogie legt de nadruk op naadloze integratie, waarbij elke “draad” een gegevensbron vertegenwoordigt die een weefsel van informatie creëren.
Kenmerken van Data Fabric
Data Fabric heeft enkele cruciale kenmerken:
- Gegevensintegratie
Data Fabric streeft naar uniforme integratie van gegevensbronnen, waardoor een holistisch beeld ontstaat. Een fundamenteel aspect is het vermijden van het kopiëren van gegevens. Er wordt zoveel mogelijk gebruik gemaakt van shortcuts (verwijzing naar de opslagplaats). - Locatie-onafhankelijkheid
Het maakt niet uit waar gegevens zich bevinden; Data Fabric zorgt voor uniforme toegang, of ze nu in de cloud of op lokale servers beschikbaar zijn. - Schaalbaarheid
Ontworpen om mee te groeien met de behoeften van een organisatie, biedt Data Fabric een schaalbare oplossing voor gegevensbeheer. - Beveiliging en Compliance
Doordat alle gegevens overzichtelijk zijn, wordt de beveiliging en naleving van regelgeving, gewaarborgd. Dat is cruciaal in een tijd waar gegevensbescherming van het grootste belang is.
Één uniforme omgeving
Nu de kenmerken van Data Fabric duidelijk zijn kunnen we gaan kijken naar de toepassing ervan. Laat ik voorop stellen dat Data Fabric geen tool of software is die je kan kopen, het is een oplossing die applicaties en gebruikers samenbrengt in één naadloze omgeving. Je kan het zien als een integratielaag gebouwd bovenop meerdere losstaande componenten om een geünificeerd beeld te bieden van alle bedrijfsgegevens. Denk aan gegevensbronnen zoals relationele databases, datawarehouses, datalakes, datamarts, IoT, legacy-systemen, enzovoort. Onderstaande afbeelding (bron: Gartner) laat zien welke aspecten deel uit maken van de data fabric architectuur.
Data Fabric oplossingen
De laatste jaren zijn er steeds meer partijen gekomen die een data fabric oplossing in de markt hebben gezet. Een van de eerste partijen die met een Data Fabric oplossing kwam was Denodo. Dit bedrijf is gespecialiseerd in data virtualisatie en werkte al aan data fabric oplossingen toen het nog geen data fabric heette.
Denodo staat al drie jaar op rij bekend als een leider in het Gartner Magic Quadrant voor gegevensintegratietools en is ook erkend als een leider als het gaat om Enterprise Data Fabric oplossingen.
2023 Gartner Peer Insights Voice of the Customer for Data Integration Tools (denodo.com)
MS Fabric
Denedo mag dan wel marktleider zijn, vanuit onze expertise zullen wij vaker in aanraking komen met de oplossing van Microsoft: MS Fabric. Het merendeel van onze klanten werkt met tooling van Microsoft en ook zij komen met een Data Fabric oplossing: MS Fabric. Hier wil ik dan ook wat dieper op in gaan.
Microsoft Fabric is een SaaS-platform dat een reeks diensten aanbiedt voor data teams, waaronder data engineering, data integratie, data warehousing, real-time analytics, data science en AI. Dankzij de alles-onder-één-dak constructie biedt deze dienst betere integratiemogelijkheden tussen de verschillende data gerelateerde SaaS diensten van Microsoft. Denk aan diensten als Synapse, Data Factory of PowerBI. Data professionals met verschillende rollen en vaardigheden kunnen in één centrale omgeving ontwikkelen, beheren en analyseren wat de samenwerking zal bevorderen.
Het fundament van MS Fabric is OneLake. De naam suggereert het al, OneLake is de centrale opslagplek voor alle data binnen de organisatie (onder de motorkap een logisch data lake). Het codewoord voor deze centrale opslag is uniformiteit. Hiermee wordt het eenvoudiger om de verschillende databronnen aan elkaar te knopen maar het wordt voor de gebruiker ook makkelijker om de data te benaderen en te gebruiken. Hoe ziet dat er uit in de praktijk? Stel je hebt data uit verschillende bronnen: ADLS, Amazon en Sharepoint. Een eindgebruiker zal simpelweg door een lijst met folders en bestanden navigeren, niet wetend waar de data fysiek opgeslagen is.
Voor Microsoft zal dit het platform zijn waar alle toekomstige data-ontwikkelingen zullen plaatsvinden. Zo maakt MS Fabric ook gebruik van Copilot waarbij er, aangedreven door AI, transformaties, visualisaties en inzichten gegenereerd kunnen worden.
Op de website van Microsoft kun je Fabric gratis gebruiken voor 60 dagen maar let op: deze trial vereist wel een Power BI pro licentie.
Conclusie
We zien met Data Fabric een ontwikkeling waarvan we verwachten dat deze binnen enkele jaren de standaard zal zijn binnen de meeste organisaties. Enerzijds zal het voor de gebruiker makkelijker worden om datasets en diensten te combineren, maar het is voor Microsoft (en andere leveranciers) ook een kans voor upselling. Ben je al gebruiker van Power BI of Synapse Data Warehousing maar gebruik je nog een ETL tool van een andere partij? Dan is het door deze alles-onder-één-dak oplossing zeer laagdrempelig om Data Factory te gaan gebruiken i.p.v. een ETL tool zoals Informatica.
Een andere gedachte die bij me opkomt als ik over de geïntegreerde totaaloplossingen van Data Fabric lees is het dataplatform van Snowflake. Dit krachtig data platform biedt ook een geïntegreerde omgeving waar steeds meer toepassingen samen komen: datawarehousing, analytics, monitoring en veel aandacht voor het eenvoudig kunnen delen van data met elkaar. Met de komst van streamlit is het zelfs mogelijk om data apps te bouwen waaronder interactieve rapportages. Zou dit een serieuze concurrent kunnen zijn van MS Fabric?
Meer weten?
Het ontstaan van Data Fabric weerspiegelt de voortdurende behoefte van organisaties om grip te krijgen op hun groeiende en verspreide data landschap. Data Fabric gaat organisaties ongetwijfeld helpen om met vertrouwen de toekomst in te gaan. Naast de inzet van dergelijke tooling zal een organisatie ook de juiste mensen nodig hebben om de kracht van deze technologie te benutten, te optimaliseren en strategisch in te zetten. Wilt u weten hoe uw organisatie kan profiteren van deze ontwikkelingen? Aarzel niet om contact met ons op te nemen.
