English version, scrol down

Dreigt onze overheid digitaal dement te worden? Hoe de archiefachterstand van miljarden digitale bestanden ons collectieve geheugen bedreigt en waarom industriële automatisering nodig is om onze digitale geschiedenis terug te winnen.

We creëren met elkaar enorme hoeveelheden data. Was informatie vroeger vooral op papier vastgelegd, tegenwoordig wordt vrijwel alles digitaal geproduceerd. Ook archiveren is daarmee een digitaal proces geworden. Althans, aan het worden. Want hoewel de overheid al decennialang digitaal werkt, zijn het beheer en de archivering van al die informatie nog onvoldoende aangepast aan die digitale werkelijkheid.

De huidige Archiefwet schrijft voor dat permanent te bewaren documenten (pas!) na twintig jaar naar een officiële archiefdienst worden overgebracht. Twintig jaar geleden was het 2006: de periode waarin de commerciële cloud aan zijn grote opmars begon en veel organisaties hun digitale transformatie versnelden. De overgang naar native digital data ging daarna razendsnel. Documenten werden digitaal aangemaakt, gebruikt en opgeslagen.

Dat maakt het beheer, selecteren, archiveren én vernietigen van digitale informatie steeds belangrijker. Een deel van die informatie is goed geordend en voorzien van metadata. Digitaal is direct archiveren bij de bron is prima mogelijk. Immers documenttype, classificatie, herkomst en bewaartermijn zijn bekend. Dan ontstaat er ook niet een enorme hoeveelheid legacy-data: oude bestanden, ongestructureerde informatie, kopieën, historische dossiers en restanten van applicaties en systemen. Data waarvan we soms niet eens meer weten wat de inhoud of betekenis is.

Een archiefachterstand van miljarden bestanden

Een bekend voorbeeld is de datakluis van de Belastingdienst, waarin aanvankelijk 64 miljoen ongesorteerde bestanden werden gemeld. Na correctie voor dubbeltellingen en systeembestanden bleven ongeveer 25 miljoen originele bestanden over. Maar dit is slechts een deel van het probleem. Er zijn duizenden digitale omgevingen die nog moeten worden onderzocht.

Denk ook aan netwerkschijven van afdelingen, individuele medewerkers en projecten die allang zijn verdwenen. Wie beoordeelt de informatie van medewerkers die vertrokken zijn? Wat doen we met bestanden van opgeheven afdelingen of systemen waarvan niemand meer weet waarvoor ze ooit zijn gebruikt? Dit speelt niet alleen bij de rijksoverheid. Ook gemeenten, provincies, waterschappen en andere publieke organisaties hebben grote hoeveelheden historische informatie waarvan de vindbaarheid en toegankelijkheid niet meer gegarandeerd zijn.

Wanneer beleidsbesluiten niet meer te vinden zijn, vergunningen incompleet blijken of dossiers niet meer kunnen worden gereconstrueerd, is dat meer dan een archiveringsprobleem. Het raakt de rechtszekerheid, de verantwoording en het functioneren van de overheid. Een overheid die haar eigen informatie niet meer kan vinden, kan haar geschiedenis niet meer betrouwbaar reconstrueren. Je zou kunnen spreken van een dementerende overheid. De omvang van de achterstand is nauwelijks in kaart gebracht. We praten waarschijnlijk over honderden miljoenen bestanden bij afzonderlijke organisaties en mogelijk miljarden bestanden voor de overheid als geheel.

Handmatig opruimen is geen oplossing (meer)

Laten we eens rekenen. Stel dat het beoordelen, classificeren en afhandelen van één document gemiddeld één minuut deskundige aandacht vraagt. Dat is al een heel optimistische aanname. Bij één miljard documenten betekent dit ruim twee miljoen werkdagen, oftewel ongeveer 10.000 medewerkers die een jaar lang niets anders doen dan documenten beoordelen.

Een voorzichtig rekenscenario voor de overheid als geheel is 20 miljard documenten. Bij een gemiddelde bestandsgrootte van 1 MB vertegenwoordigt dat 20 petabyte aan oorspronkelijke data, exclusief replica’s, back-ups en opslag voor duurzame bewaring. Het beoordelen van deze bestanden zou bijna 190.000 arbeidsjaren kosten. Zelfs met 10.000 medewerkers die zich fulltime met deze operatie bezighouden, duurt het bijna negentien jaar. En ondertussen produceert de overheid gewoon steeds meer – niet gearchiveerde – nieuwe informatie.

De conclusie is duidelijk: met handmatig werken lossen we deze achterstand nooit op. We moeten het archiveren en opruimen van digitale informatie fundamenteel anders organiseren. Niet document voor document, maar industrieel.

Van handmatig archiveren naar een digitale archieffabriek

Stel dat we beschikken over een zogenaamde archive-engine die 100.000 bestanden per uur kan verwerken. Bij continu gebruik zijn dat 2,4 miljoen bestanden per dag en bijna 876 miljoen per jaar. Met één productielijn zou de theoretische verwerking van 20 miljard bestanden ongeveer 23 jaar duren. Met tien parallelle productielijnen wordt dat circa 2,3 jaar. Met honderd lijnen nog ongeveer 83 dagen.

Dit zijn theoretische capaciteiten. Het verwerken van 100.000 bestanden per uur betekent natuurlijk niet automatisch dat ook 100.000 documenten juridisch definitief zijn beoordeeld en gearchiveerd. Uitzonderingen, menselijke controles en kwaliteitsbewaking blijven noodzakelijk. Maar de cijfers laten wel zien hoe groot de schaalbaarheid van een industrieel concept kan zijn. Deze manier van denken kennen we uit de industriële productie.

In de jaren tachtig en negentig was ik (mede)verantwoordelijk voor het automatiseren van verschillende traditionele fabrieken. Daar gebeurde vrijwel alles handmatig. Medewerkers beoordeelden grondstoffen, bedienden machines, controleerden producten en verzorgden de verwerking en verpakking. Toen de productievolumes toenamen, werd handmatige verwerking steeds minder efficiënt. De oplossing was flexibele productieautomatisering. NC-gestuurde machines, robots, automatische materiaaltoevoer en centrale besturing veranderden de fabriek fundamenteel. De medewerkers verdwenen niet allemaal, maar hun rol veranderde: van handmatige productie naar procesontwerp, programmering, kwaliteitsbewaking en optimalisatie.

De productiviteit nam daardoor aanzienlijk toe. Precies die omslag moeten we nu ook bij digitaal informatiebeheer maken. Niet sneller archiveren door steeds meer archivarissen aan het werk te zetten, maar door het archiveringsproces zelf te automatiseren. De NC-machines en industriële robots van vroeger worden nu AI-modellen en software-agents. Legacy-data vormt de grondstof. Documentherkenning, AI-classificatie en automatische metadata-extractie verzorgen de bewerkingen. Selectielijsten en archiefregels bepalen de bestemming. Kwaliteitscontroles bewaken de integriteit en juistheid. Het eindproduct is een duurzaam toegankelijk digitaal archief, terwijl informatie die rechtmatig vernietigd mag worden uit de oorspronkelijke opslag verdwijnt. Zo ontstaat een digitale archieffabriek: één geautomatiseerde productiestraat van legacy-data naar een betrouwbaar digitaal geheugen.

De juridische ruimte voor automatisering

Ook beleidsmatig zijn er ontwikkelingen die deze richting ondersteunen. In het advies Alles is niets uit 2024 constateerde het Adviescollege Openbaarheid en Informatiehuishouding (ACOI) dat de overheid haar doelen voor het op orde brengen van de informatiehuishouding niet haalt. Ook inspectierapportages laten zien dat het probleem structureel is. Een belangrijk knelpunt is dat organisaties vaak niet eens volledig weten waar hun informatie zich bevindt. Een voorbeeld is de Nationale Ombudsman, waar informatie verspreid staat over zaaksystemen, netwerkschijven en persoonlijke schijven in Teams. Zonder een volledig overzicht is het moeilijk om informatie verantwoord te beheren en te archiveren. Je kunt immers moeilijk archiveren wat je niet kunt vinden.

De nieuwe Archiefwet biedt mogelijkheden om de aanpak te moderniseren. In de beantwoording van Kamervragen in april 2026 is onder meer gewezen op vereenvoudiging van waarderingscategorieën, alternatieve waarderingsmethodieken, automatische waardering, de sleutelfunctiemethodiek voor e-mail en chatberichten en modelselectiebesluiten. Standaardisatie, uniforme metadata en vergaande automatisering worden daarmee steeds belangrijker. Dat biedt ruimte voor een industriële aanpak. Wel blijft een belangrijk onderscheid bestaan: automatische herkenning, classificatie en verwerking zijn iets anders dan juridisch definitieve besluitvorming. Vernietiging mag uitsluitend plaatsvinden op basis van een geldig selectiebesluit.

Het nationale digitale geheugen onder Nederlandse regie

Bij een operatie van deze omvang ontstaat ook een infrastructurele uitdaging. Als de overheid tientallen petabytes aan informatie moet verwerken, zijn voldoende opslag- en verwerkingscapaciteit nodig. De verwerkingsomgeving hoeft echter niet permanent alle oorspronkelijke data te bewaren. Zodra de verwerking is afgerond, kunnen bestanden die rechtmatig vernietigd mogen worden uit de oorspronkelijke opslag verdwijnen. Dat kan aanzienlijke besparingen opleveren.

Daarnaast is digitale soevereiniteit van belang. Het gaat immers om ons nationale geheugen. Daarom moeten we nadenken over de fysieke opslaglocatie, het juridisch zeggenschap en het operationele beheer. Een expliciete architectuureis voor nationale archiefdata kan zijn dat infrastructuur, zeggenschap en uiteindelijk eigendom volledig Nederlands zijn, inclusief Nederlandse uiteindelijke belanghebbenden (UBO’s). De beantwoording van Kamervragen uit april 2026 benoemt mogelijkheden voor opslag en verwerking binnen de EU, EER of landen met een adequaatheidsbesluit, maar overheden kunnen ook strengere eisen stellen.

Tijd voor industriële dataopruiming!

De digitale archiefachterstand van de overheid is te groot om nog met traditionele methoden op te lossen. We hebben niet alleen meer archivarissen nodig, maar vooral een fundamenteel andere manier van werken. De industriële revolutie heeft laten zien hoe handmatige productie kan veranderen in schaalbare, geautomatiseerde processen. Diezelfde omslag is nu nodig voor onze digitale informatiehuishouding.

Met AI, software-agents, gestandaardiseerde archiefregels en geautomatiseerde productielijnen kunnen we miljarden bestanden systematisch verwerken. Niet zonder menselijke deskundigheid, maar met een andere rolverdeling tussen mens en machine. Het doel is uiteindelijk meer dan het wegwerken van een archiefachterstand. Het gaat om het terugwinnen van het digitale geheugen van onze overheid: informatie die vindbaar, betrouwbaar, toegankelijk en juridisch verantwoord bewaard of vernietigd wordt.

Laten we stoppen met document voor document opruimen. Het is tijd voor de digitale archieffabriek.

Photo by Virginia Rondeau

Zie ook i-Archon: Van vindplaats naar bewijs. 

————————— Translated by ChatGPT —————————

Industrial-Scale Data Cleanup . . .

Why we can no longer tackle the backlog of billions of files manually, and how industrial automation can help us reclaim our digital memory.

We are creating enormous amounts of data. Whereas information used to be recorded primarily on paper, almost everything is now produced digitally. Archiving has therefore also become a digital process. Or, at least, it is becoming one. Although government organisations have been working digitally for decades, the management and archiving of all this information have not yet fully adapted to this digital reality.

Under the current Archives Act, documents designated for permanent preservation must be transferred to an official archival institution after twenty years. Twenty years ago was 2006: the period when commercial cloud services began their rapid expansion and many organisations accelerated their digital transformation. The transition to native digital datathen happened at an astonishing pace. Documents were created, used and stored digitally.

This makes the management, selection, archiving and destruction of digital information increasingly important. Some of this information is well organised and contains metadata. Direct archiving at the source is perfectly feasible for such information. After all, the document type, classification, origin and retention period are known. This prevents the accumulation of vast amounts of legacy data: old files, unstructured information, duplicates, historical records and remnants of applications and systems. Data whose content or meaning we sometimes no longer even understand.

A backlog of billions of files

A well-known example is the Dutch Tax Administration’s data repository, which initially contained a reported 64 million unsorted files. After correcting for duplicate records and system files, approximately 25 million original files remained. But this is only part of the problem. Thousands of other digital environments still need to be investigated.

Think of network drives belonging to departments, individual employees and projects that disappeared long ago. Who is going to assess the information left behind by former employees? What should we do with files from abolished departments or systems that nobody remembers the original purpose of?

This is not just a central government problem. Municipalities, provinces, water authorities and other public organisations also hold enormous amounts of historical information whose findability and accessibility can no longer be guaranteed.

When policy decisions can no longer be found, permits turn out to be incomplete or case files cannot be reconstructed, this is more than an archiving problem. It affects legal certainty, accountability and the functioning of government itself. A government that can no longer find its own information can no longer reliably reconstruct its own history. One might even speak of a government suffering from digital dementia.

The scale of the backlog has barely been mapped. We are probably talking about hundreds of millions of files within individual organisations and potentially billions of files across government as a whole.

Manual cleanup is no longer an option

Let’s do the maths. Suppose assessing, classifying and processing a single document requires an average of one minute of expert attention. That is already a very optimistic assumption.

For one billion documents, this amounts to more than two million working days, or approximately 10,000 employees spending an entire year doing nothing but assessing documents.

A conservative estimate for government as a whole is 20 billion documents. At an average file size of 1 MB, this represents 20 petabytes of original data, excluding replicas, backups and storage for long-term preservation.

Assessing all these files would require almost 190,000 person-years. Even with 10,000 employees working full-time on this operation, it would take almost nineteen years. Meanwhile, government organisations continue to generate more new information every day, much of which is not properly archived.

The conclusion is clear: we will never eliminate this backlog through manual work alone. We need to fundamentally rethink how digital information is archived and cleaned up. Not document by document, but on an industrial scale.

From manual archiving to a digital archive factory

Imagine having an archive engine capable of processing 100,000 files per hour. Running continuously, that would amount to 2.4 million files per day and almost 876 million per year.

A single production line would theoretically need approximately 23 years to process 20 billion files. With ten parallel production lines, this would take around 2.3 years. With one hundred lines, just 83 days.

These are theoretical processing capacities. Processing 100,000 files per hour does not automatically mean that 100,000 documents have been legally assessed and definitively archived. Exceptions, human reviews and quality assurance remain essential. Nevertheless, the figures illustrate the enormous scalability of an industrial approach.

We are familiar with this way of thinking from industrial manufacturing.

During the 1980s and 1990s, I was partly responsible for automating a number of traditional factories. Almost everything was done manually. Employees inspected raw materials, operated machinery, checked products and handled processing and packaging.

As production volumes increased, manual processing became increasingly inefficient. The solution was flexible manufacturing automation. NC-controlled machines, robots, automated material handling and central control systems fundamentally transformed the factory. Employees did not disappear, but their roles changed: from manual production work to process design, programming, quality assurance and optimisation.

Productivity increased significantly as a result.

We now need to make exactly the same transition in digital information management. The answer is not to archive faster by employing ever more archivists, but to automate the archiving process itself.

The NC machines and industrial robots of the past are now being replaced by AI models and software agents. Legacy data becomes the raw material. Document recognition, AI classification and automated metadata extraction perform the processing. Retention schedules and archival rules determine the destination. Quality controls ensure integrity and accuracy.

The end product is a sustainably accessible digital archive, while information that can legally be destroyed is removed from the original storage environment.

This is how a digital archive factory emerges: one automated production line transforming legacy data into a reliable digital memory.

The legal scope for automation

There are also policy developments supporting this direction.

In its 2024 report Alles is niets (Everything is Nothing), the Advisory Board on Public Access and Information Management (ACOI) concluded that government organisations are failing to meet their objectives for getting their information management in order. Inspection reports also show that this is a structural problem.

One important obstacle is that organisations often do not even know exactly where their information is stored. One example is the Dutch National Ombudsman, where information is scattered across case management systems, network drives and personal drives in Microsoft Teams.

Without a complete overview, it is difficult to manage and archive information responsibly. After all, it is hard to archive what you cannot find.

The new Archives Act offers opportunities to modernise this approach. In its response to parliamentary questions in April 2026, the government referred to simplified valuation categories, alternative assessment methodologies, automated valuation, the key-function methodology for email and chat messages, and model selection decisions.

Standardisation, uniform metadata and far-reaching automation are therefore becoming increasingly important. This creates room for an industrial approach.

One important distinction remains: automated recognition, classification and processing are not the same as legally definitive decision-making. Destruction of records may only take place on the basis of a valid retention and disposal decision.

Keeping our national digital memory under Dutch control

An operation of this scale also creates an infrastructure challenge. If government organisations need to process tens of petabytes of information, sufficient storage and processing capacity will be essential.

However, the processing environment does not need to retain all original data permanently. Once processing has been completed, files that may legally be destroyed can be removed from the original storage environment. This could generate substantial savings.

Digital sovereignty is equally important. After all, we are dealing with our national memory. We therefore need to consider the physical location of storage, legal control and operational management.

An explicit architectural requirement for national archival data could be that the infrastructure, control and ultimate ownership remain entirely Dutch, including Dutch ultimate beneficial ownership (UBOs).

The government’s response to parliamentary questions in April 2026 refers to possibilities for storage and processing within the EU, EEA or countries with an adequacy decision. However, public authorities can also impose stricter requirements.

Time for industrial-scale data cleanup!

The digital archival backlog facing government is simply too large to be resolved using traditional methods. We do not just need more archivists; we need a fundamentally different way of working.

The industrial revolution demonstrated how manual production could be transformed into scalable, automated processes. The same transformation is now needed in digital information management.

With AI, software agents, standardised archival rules and automated production lines, we can systematically process billions of files. Not without human expertise, but with a fundamentally different division of responsibilities between people and machines.

Ultimately, the goal is about much more than eliminating an archival backlog. It is about reclaiming our government’s digital memory: information that is findable, reliable, accessible and either preserved or destroyed in a legally responsible manner.

Let’s stop cleaning up files one document at a time. It’s time for the digital archive factory.

#DigitalArchiving, #DataManagement, #DigitalTransformation, #AI, #ArtificialIntelligence, #ArchiveAutomation, #DigitalPreservation, #InformationGovernance, #DataSovereignty, #PublicSectorInnovation, #GovernmentIT, #LegacyData, #IndustrialAutomation, #DigitalMemory, #SmartGovernment