Naar de hoofdinhoud

Lakehouse as a Service: data exporteren naar je eigen Azure-opslag

Overzicht

Lakehouse as a Service is de data-export van Zero Friction. Zodra de koppeling actief is, ontvang je elke nacht je operationele gegevens — onder meer meters, verbruik, klanten, contracten, facturen en betalingen — in een Azure-opslagaccount dat jij zelf beheert.

Je koppelt daarna je eigen rapportagetool of datawarehouse (bijvoorbeeld Power BI, Microsoft Fabric, Databricks of Synapse) rechtstreeks aan die opslag. Dit is iets anders dan de kant-en-klare rapporten in Zero Friction zelf: hier krijg je de ruwe data om zelf analyses te bouwen.

Lakehouse as a Service bestaat uit drie onderdelen:

  1. Voorwaarden in Azure — een eigen opslagaccount, een map voor de export en een app-registratie waarmee Zero Friction mag schrijven.

  2. De Rapportage-kaart in Zero Friction — onder Configuratie activeer je de koppeling en vul je de exportgegevens in.

  3. Dagelijkse export — elke nacht wordt een volledige kopie van de ondersteunde gegevens als Parquet-bestanden in je opslag gezet.

De Rapportage-kaart is alleen verbindbaar als Lakehouse as a Service voor jouw organisatie is ingeschakeld. Zie je de kaart wel, maar kun je niet verbinden? Vraag je Zero Friction-contactpersoon om toegang aan te zetten.

Wat heb je nodig voordat je start?

Zorg dat dit klaarstaat in Azure. Zonder deze stappen mislukt de verbindingstest of de activatie.

  • Een Azure Storage-account met hierarchical namespace (ADLS Gen2). Een gewoon Blob-account zonder deze optie werkt niet.
    ​

  • Een folder (container of map) in dat account waar de bestanden mogen landen, bijvoorbeeld gold.

  • Een Microsoft Entra ID-app-registratie (service-principal) met een client secret.

  • De service-principal heeft minstens de rol Storage Blob Data Contributor op het doelaccount of de doelmap.

  • Staat er een firewall op het opslagaccount? Dan moet vertrouwde Microsoft-toegang zijn toegestaan, anders faalt de verbindingstest.

  • De exportlocatie is het HTTPS DFS-adres, bijvoorbeeld https://youraccount.dfs.core.windows.net/ — niet het adres dat eindigt op .blob.core.windows.net.

Gebruik altijd het DFS-eindpunt (.dfs.core.windows.net). Het blob-eindpunt wordt geweigerd.

Hoe activeer je de koppeling?

Ga naar: Configuratie > Algemeen > Integraties > Rapportage

  1. Open de kaart Rapportage en kies het tabblad Instellingen.

  2. Vul bij Export locatie het DFS-adres van je opslagaccount in, bijvoorbeeld https://youraccount.dfs.core.windows.net/.

  3. Vul bij Folder de container of map in waarin de export mag worden geschreven, bijvoorbeeld gold.

  4. Vul bij Microsoft Entra ID-tenant-id de directory in die de service-principal beheert.

  5. Vul bij Toepassings-id (client-id) service-principal de application (client) ID van de app-registratie in.

  6. Vul bij Client secret service-principal het geheim van de app-registratie in.

  7. Klik op Verbinding testen. Bij een geslaagde test is schrijftoegang gecontroleerd.

  8. Klik op Verbinden om te activeren. De kaart toont Actief zodra de koppeling klaar is.

De eerste bestanden verschijnen na de eerstvolgende nachtelijke export.

Het client secret wordt om veiligheidsredenen nooit vooraf ingevuld. Telkens je de locatie, folder, tenant-id of toepassings-id wijzigt — of het geheim roteert — moet je het secret opnieuw ingeven zodat de verbinding opnieuw kan worden opgezet.

Wat ontvang je, en hoe is de data opgebouwd?

De export landt in deze structuur:

<je opslagaccount>/<je folder>/zero_friction/<organisatie-id>/<tabelnaam>/

  • Bestanden staan in Parquet (Snappy-compressie).

  • Elke nacht wordt een volledige kopie van alle ondersteunde tabellen opnieuw geschreven (geen incrementele delta).

  • Tijdstempels volgen de tijdzone van je organisatie. Is die onbekend, dan valt het systeem terug op UTC.

  • Nieuwe tabellen of kolommen kunnen later bijkomen. Selecteer kolommen op naam, niet op positie, en behandel nieuwe kolommen als optioneel.

Je ontvangt onder meer deze gegevens (tabelnaam tussen haakjes):

  • Stamgegevens — contracten (contract), klanten (customer), klantgroepen (customergroup), meters (meter), verhuisaanvragen (moverequest), locatiegroepen (propertygroup), locaties (servicelocation).

  • Facturatie en betalingen — facturen (invoice), jaaroverzichten (annualstatement), incassozaken (collectioncase), betalingen (payment), betalingsplannen (paymentplan), banktransacties, transacties en geschatte facturen.

  • Configuratie — producten, tarieven, btw-codes, incassostromen, invoervariabelen, feestdagenkalender, facturatie-instellingen van locatiegroepen.

  • Metering — verbruik (consumption / serviceconsumption), meetwaarden (measurement), meterproblemen (meteringissue).

  • PAYG / vooruitbetaling — PAYG-rekeningen, problemen en verklaringen.

  • Communicatie — communicatieberichten en -onderwerpen.

  • Online betalingen — betaalintenties (paymentintent).

Lijsten binnen een entiteit (bijvoorbeeld factuurlijnen of statushistoriek van een meter) komen in een aparte kindtabel, zoals invoice_line of meter_statushistory. Die tabellen verwijzen naar de ouder via ParentId.

In de tabel customer staat altijd één extra rij van het type leverancier. Dat is geen echte klant, maar je eigen organisatie. Filter die rij weg voor klanttellingen; laat ze staan als je banktransacties of betalingen afstemt, want ongematchte bedragen kunnen daarop geboekt zijn.

Instellingen wijzigen of de koppeling stopzetten

  1. Ga naar Configuratie > Algemeen > Integraties > Rapportage en open de kaart.

  2. Instellingen bijwerken: pas de velden aan, vul het client secret opnieuw in en sla op. De verbinding wordt dan opnieuw opgezet.

  3. Deactiveren: ontkoppelen stopt nieuwe exports. Bestanden die al in je opslag staan, blijven staan.

Opnieuw activeren na een wijziging in Azure (nieuw secret, andere map of ander account) maakt de koppeling opnieuw aan.

Problemen oplossen

Probleem

Oplossing

De Rapportage-kaart is niet verbindbaar of ontbreekt.

Vraag je Zero Friction-contactpersoon of Lakehouse as a Service voor jouw organisatie is ingeschakeld. Controleer ook of je rechten hebt op Configuratie > Integraties.

Melding dat het formaat van de exportlocatie ongeldig is.

Gebruik het HTTPS DFS-adres dat eindigt op .dfs.core.windows.net/, zonder extra pad achter de host.

Verbindingstest of activatie faalt: geen toegang tot het opslagaccount.

Controleer de exportlocatie, folder, tenant-id, toepassings-id en het secret. Bevestig hierarchical namespace, de rol Storage Blob Data Contributor, en of de firewall vertrouwde Microsoft-toegang toestaat.

De kaart staat op Actief, maar er komen geen (nieuwe) bestanden.

Wacht tot na de nachtelijke export. Kijk of je in de juiste folder en organisatie-map kijkt. Blijft het leeg: neem contact op met support.

De koppeling toont Mislukt na een wijziging in Azure.

Vul het nieuwe secret (en eventueel de nieuwe locatie) in en sla de instellingen opnieuw op, of activeer opnieuw.

FAQ

Is dit hetzelfde als de rapporten in Zero Friction?
Nee. De rapporten in de applicatie zijn kant-en-klare overzichten. Lakehouse as a Service levert de onderliggende data in je eigen Azure-opslag, zodat je zelf dashboards en analyses bouwt.

Hoe vaak wordt de data ververst?
Eén keer per nacht, als volledige kopie. De data van gisteren is doorgaans de volgende ochtend beschikbaar. Incrementeel bijwerken (alleen wijzigingen) is later gepland.

Krijg ik historische data?
Ja. Elke export bevat de volledige set ondersteunde gegevens die op dat moment in Zero Friction staat, niet alleen nieuwe records van die dag.

Kan ik meerdere exportbestemmingen tegelijk hebben?
Nee. Per organisatie is er één actieve bestemming. Wijzig de instellingen om van locatie te wisselen.

Worden bestaande bestanden verwijderd als ik de koppeling stopzet?
Nee. Deactiveren stopt alleen toekomstige exports. Wat al in Azure staat, blijft ongewijzigd.

Welke tijdzone hebben de tijdstempels?
De tijdzone van je organisatie. Is die niet bekend, dan UTC.

Waarom zie ik een extra “leverancier”-klant?
Die rij stelt je eigen organisatie voor en vangt bankbewegingen op die niet aan een echte klant gekoppeld konden worden. Filter ze weg voor klantanalyses.

Werkt dit zonder Microsoft Azure?
Op dit moment is een Azure Data Lake Storage Gen2-account verplicht. Andere cloudaanbieders worden nog niet ondersteund.

Was dit een antwoord op uw vraag?