Datamigratie 1: het opzetten van een datamigratieplan

Een applicatie bereikt het einde van zijn levensduur, of er komt een nieuw systeem dat beter past. In beide gevallen volgt vaak dezelfde vraag: hoe krijgen we de data veilig en betrouwbaar over?

‍

Een datamigratie bestaat meestal uit drie stappen:

• extract: data uit de bron halen
• transform: data omzetten naar het doelformaat
• load: data laden in het doelsysteem

Dat klinkt overzichtelijk, maar in de praktijk vraagt het om strakke voorbereiding, controles en duidelijke afspraken. Een migratie is altijd afgebakend: je brengt data van bron naar doel, volledig of gedeeltelijk.

‍

In deze reeks gaan we uit van vier fases:

• het datamigratieplan opzetten
• de migratiestraat bouwen
• proefmigraties uitvoeren
• de echte migratie uitvoeren

In dit eerste deel draait alles om het plan.

‍

Wat moet worden gemigreerd?

‍

Begin met scope. Welke data moet mee, en waarom? Wees specifiek en migreer niet meer dan nodig. Extra data maakt het traject complexer, vertraagt besluitvorming en vergroot de kans op fouten. Historische data of vervuilde data is vaak een risico op zichzelf. Soms is opschonen of selecteren verstandiger dan “alles meenemen”.

‍

Uitkomst: een duidelijke afbakening van wat wel en niet meegaat.

‍

Wat zijn de risico’s en hoe vangen we die op?

‍

Migratie kent altijd risico’s. Niet alleen “het faalt volledig”, maar ook subtielere effecten:

• waarden die veranderen door transformatie
• detailniveau dat verdwijnt
• afwijkingen die doorwerken in rapportages en ketens

Maak risico’s concreet en bespreek wat je ermee doet:

• mitigeren (voorkomen of beperken)
• accepteren (bewust, met gevolgen helder)
• terugvalscenario’s (rollback of alternatieve route)

Denk expliciet na over afhankelijkheden. Data staat zelden op zichzelf en komt vaak terug in externe rapportages of downstream systemen.

‍

Uitkomst: risicobeeld + afspraken over fallback en besluitvorming.

‍

Hoe gaan we migreren: big bang of waves?

‍

Er zijn grofweg twee smaken:

‍

Big bang

Alles in één keer. Snel, maar alle risico’s komen samen op één moment. Het werkt alleen als de hele keten en alle controles af zijn en iedereen beschikbaar is.

‍

Waves

In stappen migreren. Je verkleint het risico per migratiemoment en je leert iteratief. Nadeel is dat je tijdelijk twee systemen in de lucht houdt en dat je goed moet regelen waar de “waarheid” staat tijdens de overgang.

‍

Uitkomst: een bewuste keuze die past bij risico’s, capaciteit en organisatie-impact.

‍

Hoe controleren we dat er geen data verloren gaat?

‍

Dataverlies of dataverandering is een van de grootste risico’s. Bouw daarom controlepunten in na elke stap (extract, transform, load). Werk met meetmomenten:

• kengetallen (aantallen, totalen, totalen per categorie)
• steekproeven op objectniveau (kritieke scenario’s)
• waar passend: technische checks (hashes, referentiële checks)

Het doel is simpel: je wilt kunnen uitleggen wat erin ging en wat eruit kwam, en waarom verschillen acceptabel zijn of niet.

‍

Uitkomst: een controlemodel dat je later per migratiestap kunt invullen.

‍

Wat doen we als data uitvalt?

‍

Uitval gebeurt. Zorg dat je vooraf vastlegt:

• hoe je uitval herkent (logging, uitvallijsten, vergelijkingen)
• hoe je herverwerkt (handmatig, opnieuw runnen, meenemen in volgende wave)
• wanneer uitval kritiek is (drempelwaarden, impact op samenhang)

Uitkomst: een werkbaar herstelplan.

‍

Tot slot
‍

Na dit deel heb je een plan dat richting geeft, ook als details later nog veranderen. In deel 2 bouwen we de migratiestraat: export, transformatie en laden.