Bronarchiveren is duurzaam

Gooi je een informatieproduct na gebruik direct weg of bewaar je het? Bewaar je dan het hele informatieproduct of alleen enkele essentiële documenten of datasets? Digitale data bewaren – zeker als deze actief beschikbaar blijft – kost naast beheer, ook nog jarenlang energie en opslagcapaciteit. Uit oogpunt van duurzaamheid is het zinvol al bij de bron te beslissen of gebruikte informatie snel mag worden vernietigd of langdurig moet worden bewaard. Vanuit dat oogpunt is bronarchivering een duurzame activiteit. Zeker voor organisaties die veel data verzamelen, produceren en verwerken, is het een interessante duurzaamheidsdoelstelling. Actieve data direct archiveren c.q. vernietigen schoont niet alleen actieve databases en storage op, maar verlaagt direct licentie- en beheerkosten van databases en storage. Ook voorkom je het vervelende probleem dat je nog vele jaren onnodige en onbruikbare data achter je aan moet zeulen, omdat je niet (meer) weet of je die data mocht – of wellicht moest – weggooien. 

Informatie en data bewaren is duur

Met mijn achtergrond in de storage-industrie weet ik als geen ander dat het gebruiken en bewaren van actieve data niet goedkoop is. Het zo snel mogelijk ‘opruimen’ van onnodige data is per saldo veel goedkoper dan het ‘voorlopig maar bewaren’. Als leverancier verkochten we natuurlijk graag veel storage, maar voor onze klanten was het economisch niet slim méér storage aan te schaffen dan absoluut nodig was. Regelmatig schonen en opwerken was dan ook een oprecht en eerlijk advies. Ik heb daar indertijd veel over geschreven, zie mijn blog die ik schreef in navolging van de reclameboodschap “Bart, ruim je speelgoed nu eens op!”.

Eigenlijk is bronarchiveren een perfecte oplossing om dit probleem voor eens en altijd op te lossen. Direct onnodige, overbodige of niet meer bruikbare data vernietigen op het moment dat je dat zeker weet. Of archiveren, het liefst in een automatisch proces. Bronarchivering biedt zelfs meer voordelen dan alleen een fijne opgeruimde data-omgeving. Immers, archivering haalt dure data uit de silo’s van de chat-, mail-, zaak- en contentmanagement systemen en maakt het als goedkopere archiefdata ook nog eens breed toegankelijk voor iedereen die daar toegang toe heeft. Dit schept binnen de organisatie direct een betere informatie-gelijkheid. Niet alleen over alle interne informatie en applicatie silo’s heen, maar ook voor externe partners, klanten en burgers. 

Archiveren schept openheid 

We zien dat onze privacywetgeving het lastig heeft gemaakt om willekeurige documenten zomaar met anderen te delen. Een document met persoonlijke informatie mag zonder consent van eigenaar of betrokkene niet worden gedeeld. We kennen de zwart gelakte WOB en WOO documenten die na een openbaarheidsverzoek moeten worden verstrekt. Als we die gewenste documenten al binnen de wettelijke termijn van zes weken kunnen vinden, kost het doorlezen en zwartlakken van gevoelige passages een veelvoud van die tijd. Met de inzet van heel veel ‘onzinnige’ uren voor de betrokken ambtenaren. 

Hoe mooi zou het zijn als je bij het archiveren documenten direct de-personaliseert. Automatisch persoonlijke informatie verwijderen of afschermen. Denk aan de publieke rechtbankverslagen waar slechts wordt gesproken over gedaagde en aanklager, zonder verdere naam of functie aanduiding. Dit kan natuurlijk met elk document gebeuren op het moment van archivering. Het mooie is dat dit met de moderne AI-gereedschappen tegenwoordig snel en elegant kan worden uitgevoerd. Ook hierdoor is bronarchivering duurzaam door de besparing in tijd en energie van onze overheid.   

Bronarchivering schept informatie-gelijkheid

Een ander belangrijk voordeel van bronarchivering is dat zowel burger, ondernemer als ambtenaar op een gelijke wijze de voor hen relevante informatie direct kunnen (terug-) vinden, omdat gearchiveerde informatie in principe open is. Iedere burger of ondernemer – maar ook elke bevoegde ambtenaar – kan zijn of haar informatie die de overheid in gearchiveerde vorm bezit, inzien, opvragen en delen met wie hij of zij wil. Of opnemen in gezamenlijke dossiers die overheid, burger of ondernemer onderhouden. Daarnaast kan in een gezamenlijk  dossier, de ‘eigenaar’ van elke informatie zelf beslissen, deze in dit dossier te delen. Ieder geeft immers consent dat zijn of haar informatie daarin mag worden gebruikt. 

Als dit mogelijk zou zijn geweest aan het begin van de toeslagen-affaire zou het niet zo uit de hand zijn gelopen. Immers, zowel ambtenaar als toeslag-ouder wisten niet wat ze niet wisten, omdat ze beiden geen toegang hadden tot het hele dossier. Hierdoor was een open  digitaal balie-gesprek’ niet mogelijk. Het werd een eindeloos proces van beschikking sturen, bezwaar aantekenen, reactie krijgen, nieuwe informatie opsturen en wellicht tenslotte bij de rechter in beroep gaan. Er zijn rechtszaken geweest waar de burger meer en betere informatie in zijn dossier had dan de overheid, die de burger niet eerder niet had kunnen delen met die behandelende ambtenaar. Waardoor wellicht direct een juiste conclusie of beschikking mogelijk was geweest. We zien bij het UWV nu met de WIA affaire een volgende, wellicht ook miljarden kostende affaire ontstaan, omdat ook daar tussen ambtenaar en burger geen of onvoldoende informatiegelijkheid is. 

Bronarchivering is de toekomst

Het groeiend aantal informatiestromen, denk ook het chatverkeer dat tegenwoordig voor hogere ambtenaren ook al deels moet worden opgeslagen en dus gearchiveerd, maakt dat handmatig archiveren in feite onmogelijk is geworden. Daarnaast willen we – zeker bij chatverkeer – ook de context graag bewaren, omdat anders achteraf bij een parlementaire enquete of internationaal tribunaal niet meer de te reconstrueren is waarom en in welke context die communicatie plaatsvond. Digitale informatie zonder (digitale) context heeft steeds minder toekomstige historische waarde wat betreft auditing en waarheidsvinding. Een extra stap in deze vastlegging kan een transactionele vastlegging in een open gedistribueerde blockchain zijn, waardoor de echtheid en onveranderlijkheid van die transactie werkelijk bewezen is. 

Onze exploderende datawereld vraag ook aan het einde van het gebruik van die data een geautomatiseerd archiveringsproces, dat niet alleen overbodige data direct opruimt, maar ook de overblijvende gearchiveerde data op een open, veilige en geborgde wijze beschikbaar maakt voor iedereen die daar recht toe heeft. Daarom is archiveren, en zeker bronarchiveren, duurzamer dan ooit. En dat proces moet ook automatisch zijn en over alle data en informatie genererende en beherende systemen heen worden uitgerold. Een super metadata laag die de regie neemt alle vrijgegeven en (dus) archiveerbare informatie te beheren, op de juiste plaatsen te laten opslaan en gemanaged beschikbaar te stellen. 

Door zowel privacybescherming als toenemende compliance-eisen zoals in de Data Act is informatie kunnen maken net zo strategisch geworden als het op ordentelijke wijze kunnen archiveren. Net zoals bij een vliegtuig de landing net zo essentieel is als de start was. Tussen die twee momenten is een vliegtuig ‘airborn’ en vervult het zijn functie: vliegen. Voor informatie geldt data zelfde: na creatie vervult het de functie waarvoor het gemaakt is, daarna ‘landt’ het kan of worden opgeruimd of duurzaam worden bewaard. Onze informatiewereld verschilt op veel vlakken niet zoveel van wat in de fysieke wereld al jaren gewend waren te doen. Daar hoort ‘onze informatie-rommel opruimen’ ook bij: weggooien of netjes en terugvindbaar op een afgesproken plek neerzetten. 

Photo by Nothing Ahead 

———————–   translated by ChatGPT  —————————-

Source Archiving is Sustainable

Do you discard an information product after use, or do you preserve it? If you decide to save it, do you store the entire product or only essential documents or datasets? Storing digital data, especially if it remains actively available, consumes both energy and storage capacity over the years. From a sustainability perspective, it’s wise to decide at the source whether the information can be discarded quickly or needs to be preserved long-term. In this regard, source archiving is a sustainable practice. For organizations that collect, produce, and process large amounts of data, it’s an important sustainability goal. Archiving or deleting active data immediately not only cleans up databases and storage systems but also reduces the licensing and maintenance costs of these systems. It also prevents the issue of dragging along unnecessary and unusable data for years because it’s unclear whether it should have been deleted or retained.

Storing Information and Data is Expensive

With my background in the storage industry, I know better than anyone that using and storing active data is costly. Cleaning up unnecessary data as quickly as possible is generally much cheaper than keeping it “just in case.” As a supplier, we enjoyed selling a lot of storage, but it wasn’t economically smart for our customers to buy more than they needed. Regular cleanup was honest and sound advice. I’ve written a lot about this, including in a blog inspired by the phrase, “Bart, clean up your toys now!”

In essence, source archiving is a perfect solution to this problem. It allows you to immediately destroy unnecessary or redundant data once you’re certain it’s no longer needed or archive it, preferably through an automated process. Source archiving offers more benefits than just a tidy data environment. It also removes expensive data from chat, email, case, and content management silos, converting it into cheaper archival data that becomes broadly accessible to authorized individuals. This fosters better information equality within an organization, breaking down internal silos and enhancing collaboration with external partners, clients, and citizens.

Archiving Promotes Openness

Our privacy laws have made it difficult to share documents arbitrarily with others. Documents containing personal information can’t be shared without the consent of the owner. We’ve seen blacked-out documents under the Dutch Public Access Law (WOB) and the Open Government Act (WOO) following requests for public access. If these documents can be found within the legal six-week deadline, reviewing and redacting sensitive sections often takes much longer. This costs numerous hours of unnecessary work for involved civil servants.

Imagine if documents were anonymized upon archiving—automatically removing or shielding personal information. This is already common practice in public court records, where individuals are referred to only as “the defendant” or “the complainant,” without further identification. This process can be applied to any document at the time of archiving. Thanks to modern AI tools, this can now be done quickly and elegantly. By adopting source archiving, governments can save significant time and energy, making it a more sustainable practice.

Source Archiving Creates Information Equality

Another important benefit of source archiving is that it allows citizens, businesses, and civil servants to access relevant archived information on an equal basis since archived data is, in principle, open. Every citizen, entrepreneur, and authorized official can view, request, and share information the government has archived. They can also include it in joint files that the government, citizen, or entrepreneur maintains. Additionally, the owner of any information in a shared file can decide whether to share their data within that file, giving consent for its use.

Had this process been available during the Dutch childcare benefits scandal, the situation may not have escalated. Both civil servants and parents were unaware of important details because neither had access to the complete file. This prevented an open “digital counter conversation” and led to an endless process of sending decisions, filing objections, and awaiting responses, often resulting in court proceedings. In some court cases, citizens had more and better information than the government, but the information couldn’t be shared with the handling official earlier, potentially avoiding an incorrect decision. We now see a similar situation developing in the UWV benefits case, which could cost billions due to a lack of information equality between civil servants and citizens.

Source Archiving is the Future

With the growing volume of information streams, including chat communications that senior officials must increasingly store and archive, manual archiving is becoming impossible. Moreover, for chat traffic, it’s essential to preserve the context, as without it, future parliamentary inquiries or international tribunals won’t be able to reconstruct why and under what circumstances the communication took place. Digital information without its digital context loses much of its historical value for auditing and truth-finding. An additional step could involve recording these transactions in an open, distributed blockchain, ensuring the authenticity and immutability of the archived data.

Our expanding data world requires an automated archiving process that not only discards unnecessary data but also makes archived data available in a secure, open, and safeguarded manner for those entitled to access it. This is why archiving, particularly source archiving, is more sustainable than ever. This process must be automated and applied across all systems that generate and manage data and information. A super metadata layer should take control, storing and making all released and archivable information available in the right places.

With increasing privacy protections and compliance demands such as the Data Act, the ability to manage information has become as strategically important as the ability to archive it properly. Just as with a plane, the landing is as essential as the takeoff. Between those two moments, a plane is ‘airborn’ and fulfills its function: flying. The same applies to information—after creation, it fulfills its purpose, and then it “lands” to be either discarded or sustainably preserved. In many ways, our information world mirrors what we’ve been accustomed to in the physical world, including the need to “clean up our mess” by either discarding or neatly storing information where it can be found later.