Al jaren werken we binnen Fudura met een datawarehouse. (Databricks) Ons datateam loopt al een tijdje tegen issues aan, waaronder traagheid, met de getconnector die financiële mutaties ontsluit naar het DWH. Ze hebben mij vanuit functioneel beheer gevraagd om mee te kijken. Hierbij heb ik ze o.a. gewezen op de nieuwe Odata-connectoren van AFAS en dat deze ook voor het DWH gebruikt kunnen worden. Uit een test bleek dat een full-load via Odata nog maar een paar minuten kostte t.o.v. een aantal uur via de getconnector. Waar we echter tegenaan liepen in de Odata connector was dat de gegevensverzameling een stuk beperkter is. Je hebt alleen ‘Financiele mutaties’, terwijl je in de getconnector bijvoorbeeld ook nacalculatie-velden kunt toevoegen. Ook al willen we de joints zoveel mogelijk beperken aan de AFAS kant, we zouden bijvoorbeeld wel een GUID van de nacalculatie en een GUID van de opbrengst projecten willen opnemen, zodat we deze aan de DWH-kant kunnen joinen.
Wat ik ook vreemd vind is dat het veld ‘GUID regel’ van de financiële mutatie nooit een waarde lijkt te tonen. Ik zou hier een unieke waarde per journaalpostregel verwachten, zodat je dit ook kunt gebruiken om te bepalen welke regels opnieuw ingeladen moeten worden. Vanwege de traagheid worden de regels nu incrementeel verladen naar het DWH.
Zijn er andere klanten die hier ook tegenaan zijn gelopen? Tips & tricks zijn welkom!
