{"id":85349,"date":"2025-02-24T15:13:57","date_gmt":"2025-02-24T15:13:57","guid":{"rendered":"https:\/\/hanstimmerman.me\/?p=85349"},"modified":"2025-02-24T15:50:18","modified_gmt":"2025-02-24T15:50:18","slug":"kunnen-we-het-data-vliegwiel-vertragen","status":"publish","type":"post","link":"https:\/\/hanstimmerman.me\/nl_nl\/kunnen-we-het-data-vliegwiel-vertragen\/","title":{"rendered":"Kunnen we het data-vliegwiel vertragen?"},"content":{"rendered":"
Digitale data ontstaat bijna moeiteloos. Surveillancecamera\u2019s, IoT-sensoren, chats, social media en herinneringsmeldingen pompen onafgebroken een stroom informatie de wereld in\u2014waarvan het merendeel nooit wordt bekeken. Datalakes voor analyses, digitale archieven om niets te vergeten, AI-databases om trends te signaleren: het vliegwiel draait steeds sneller. Het resultaat? Een explosie van \u2018zwarte data\u2019\u2014informatie zonder duidelijke oorsprong en inhoud, die nooit zal worden geanalyseerd en die vaak wordt bewaard uit pure onzekerheid, soms tegen alle (privacy) regels in.\u00a0<\/span><\/span><\/h5>\n

De wereld is onverzadigbaar<\/b><\/span><\/p>\n

Er wordt geschat dat we in 2028 ruim 400 zettabytes aan data genereren. Dat is 400 miljoen petabyte. En \u00e9\u00e9n petabyte is een miljoen gigabyte. We cre\u00ebren zelfs (veel) meer data dan we fysiek kunnen opslaan. De dataproductie groeit jaarlijks met 24%, terwijl de opslagcapaciteit slechts met 17% toeneemt. Dit heeft twee belangrijke gevolgen: de prijs van dataopslag zal stijgen, en bedrijven zullen steeds strategischer moeten bepalen welke data ze (nog) willen bewaren en hoe ze deze data opslaan en op de lange termijn beheren.<\/span><\/p>\n

Het effici\u00ebnt en zorgvuldig classificeren en vastleggen van metadata van bedrijfsdata in archieven en AI-ondersteunde datalakes wordt voor steeds meer organisaties een uitdaging. De achterstand in het archiveren van digitale informatie groeit jaarlijks, wat in sommige gevallen leidt tot wat we \u2018digitale dementie\u2019 noemen: het verlies van overzicht over de eigen data. Je verleden vergeten. Het niet meer kunnen terugvinden of zelfs herinneren. Datagedreven werken is een mooie strategie, maar als je je eigen data niet meer kunt terugvinden, doe je toch iets verkeerd!<\/span><\/p>\n

Probleem van elke tijd<\/b><\/span><\/p>\n

E\u00e9n van mijn eerste blogs in 2010 ging al over dit onderwerp. Lees de blog<\/a> \u2018Ruim je data toch eens op<\/i>\u2019 er maar op na. IT-afdelingen worstelen met de enorme hoeveelheden data die de organisatie produceert en die ergens opgeslagen moeten worden. De business geeft echter nog steeds te weinig richtlijnen over de waarde, houdbaarheid, veiligheid en duurzaamheid van de gegenereerde data. Destijds stelde ik al dat als je niet direct bij de bron iets over de verwachte of geplande lifecycle van de informatie vermeldt, de data onbedoeld een eeuwig leven in de vergetelheid kan krijgen.<\/span><\/p>\n

Denk aan de factuur uit 1995 die formeel allang vernietigd had moeten zijn. De sollicitatiebrief uit 2002 die nog rondzwerft van een kandidaat die nooit is aangenomen. Een beoordelingsgesprek met een medewerker die al jaren niet meer in dienst is, opgeslagen in een oud dossier van een manager. Of de zelfgemaakte kopie\u00ebn van een medewerker uit een bedrijfsdossier. Naast bewaarplicht is er een vernietigingsplicht. Bestuurders kunnen erop aangesproken worden als documenten niet of te laat worden verwijderd. De vernietigingsplicht is vooral in de wet opgenomen ter bescherming van persoonsgegevens, zoals vastgelegd in de Wet bescherming persoonsgegevens (WBP).<\/span><\/p>\n

Noodvernietiging<\/b><\/span><\/p>\n

In enkele gevallen mag zelfs eerder worden overgegaan tot vernietiging van documenten. Dit heet \u2018noodvernietiging\u2019 (zie ook de Archiefwet, art. 9, lid 2<\/a>). Dit is vooral toegestaan in tijden van oorlog of als geheime documenten in verkeerde handen dreigen te vallen. Denk aan uitzonderlijke situaties zoals het binnenvallen van een buitenlandse vijand of de bestorming van een ambassade.<\/span><\/p>\n

Een historisch verhaal<\/a> uit de VOC-tijd beschrijft hoe Martinus Bruno, die in 1672 aanmonstert als tweede schrijver op een VOC-schip, een noodvernietigingsprocedure meemaakt. Het schip loopt in een storm op een zandbank en wordt vervolgens gekaapt door de Engelsen. Uit verslagen blijkt dat de kapitein van het VOC-schip een noodvernietigingsprocedure toepaste om te voorkomen dat het scheepsarchief in handen van de vijand zou vallen. De methode was simpel: de kapitein haalde een pakket documenten uit zijn hut, verzwaarde dit met stukken lood en gooide het overboord. Een effectieve en beproefde methode die in veel militaire verslagen terugkomt.<\/span><\/p>\n

Als EMC leverden we aan het leger zelfs storageboxen met zowel noodwisprocedures als ingebouwde explosieven. Bij nood konden alle schijven effectief worden gewist, of als daar geen tijd meer voor was, met \u00e9\u00e9n druk op de knop fysiek worden vernietigd.<\/span><\/p>\n

Automatisering van archivering en vernietiging<\/b><\/span><\/p>\n

Een effectieve oplossing om achterstanden in zowel archivering als vernietiging te voorkomen, is om een digitaal document\u2014of het nu een brief, dossier, chat of e-mail is\u2014direct bij vrijgave formeel te archiveren. Compleet met de juiste metadata, zodat het document later door het archiefsysteem op tijd en op de juiste wijze kan worden vernietigd. Immers, niet alleen mag er geen toegang meer zijn tot het document, ook alle digitale versies die op andere plaatsen zijn opgeslagen, moeten aantoonbaar zijn gewist.<\/span><\/p>\n

Daarom worden archiefplatformen steeds belangrijker. Een DMS of archiefapplicatie zoals ArQiver kan wel de opdracht geven tot vernietiging, maar uiteindelijk moeten diep in het datacenter alle bestanden\u2014van master tot uitwijk en back-up\u2014daadwerkelijk worden verwijderd. Deze platformen moeten zelfstandig, los van een DMS of archiefapplicatie, de in de metadata verankerde lifecycle van de gearchiveerde documenten beheren en zonodig zelfstandig tot vernietiging kunnen overgaan. Immers zowel DMS-en als applicaties hebben nu eenmaal niet het eeuwige leven.\u00a0<\/span><\/span><\/p>\n

Het archiefplatform moet zorgdragen dat de gearchiveerde documenten, vanuit business continuity-oogpunt, veilig zijn opgeslagen op meerdere locaties, die zonodig verspreid zijn over verschillende energiegebieden. Daarnaast moet het platform ervoor zorgen dat bestanden digitaal leesbaar blijven zolang de verplichte archiveringsperiode loopt en regelmatig hierop controles uitvoeren. En last but not least, moet het uiteindelijk – aantoonbaar! – alle bestanden fysiek kunnen vernietigen.<\/span><\/p>\n

Op archivering gerichte storageplatformen<\/b><\/span><\/p>\n

De afgelopen twintig jaar kregen steeds meer storageplatformen specifieke ingebouwde archieffuncties. De door EMC in 2002 gelanceerde Centera was een van de eerste versies die online te archiveren bestanden, inclusief hash en timestamp, veilig en gedistribueerd kon opslaan. Vooral in de wereld van grote bestanden, zoals MRI-scans, bleek deze vorm van dataopslag zeer effectief. Voor de echt lange termijn blijft zelfs tape nog steeds een energiezuinige en effici\u00ebnte vorm van opslag. Daarnaast bieden steeds meer cloudaanbieders diverse vormen van archiefopslag aan, wat een interessante optie is mits ze daar de noodzakelijke archief- en opslagplatformen voor hebben.\u00a0<\/span><\/span><\/p>\n

Zodra archieven een restrictievere vorm van bescherming, opslag, beschikbaarheid en geografische locatie vereisen, worden soevereine oplossingen interessant. Hierbij moet binnen landsgrenzen voldoende uitwijk en decentralisatie mogelijk zijn voor continu\u00efteit, beschikbaarheid en veiligheid. Een recent ge-update platform<\/a> dat aan deze eisen voldoet, is het Hitachi Content Platform (HCP). Dit platform biedt een solide fysieke basis voor digitale archieven die conform e-depotnormen wettelijk bewaard moeten worden. Daarboven zorgen SaaS-oplossingen zoals ArQiver<\/a> ervoor dat alle relevante documenten uit verschillende contentplatformen en kantoorsystemen, voorzien van de noodzakelijke metadata, via hubs op deze fysieke opslagplatformen kunnen worden opgeslagen.<\/span><\/p>\n

In een tijd waarin data exponentieel groeit, wordt een goed doordachte en geautomatiseerde archiveringsstrategie steeds belangrijker. Het is tijd om grip te krijgen op het data-vliegwiel.<\/span><\/p>\n

Photo by cottonbro studio<\/a><\/p>\n

—————— \u00a0 \u00a0Translated by ChatGPT —————<\/p>\n

Can We Slow Down the Data Flywheel?<\/b><\/span><\/p>\n

Digital data is created almost effortlessly. Surveillance cameras, IoT sensors, chats, social media, and reminders continuously pump out a stream of information\u2014most of which is never even looked at. Data lakes for analysis, digital archives to ensure nothing is forgotten, AI databases to detect trends\u2014the flywheel spins faster and faster. The result? An explosion of \u2018dark data\u2019\u2014information with no clear origin or content, never to be analyzed, yet often retained out of sheer uncertainty, sometimes even in violation of (privacy) regulations.<\/span><\/p>\n

An Insatiable World<\/b><\/span><\/p>\n

By 2028, we are expected to generate over 400 zettabytes of data\u2014that\u2019s 400 million petabytes. One petabyte alone equals a million gigabytes. We are creating far more data than we can physically store. While data production grows by 24% annually, storage capacity increases by only 17%. This leads to two major consequences: data storage costs will rise, and businesses must become more strategic in deciding what data they keep and how they manage and store it.<\/span><\/p>\n

Efficiently classifying and tagging corporate data with metadata in archives and AI-driven data lakes is becoming a growing challenge for many organizations. The backlog in archiving digital information increases each year, sometimes leading to what we call \u2018digital dementia\u2019\u2014a loss of oversight over one\u2019s own data. Forgetting the past. Being unable to find or even remember information. Data-driven decision-making is a great strategy, but if you can\u2019t even locate your own data, you\u2019re doing something wrong!<\/span><\/p>\n

A Timeless Problem<\/b><\/span><\/p>\n

One of my earliest blogs in 2010 already addressed this issue\u2014check out Clean Up Your Data<\/i>. IT departments struggle with the massive volumes of data their organizations generate, all of which must be stored somewhere. Yet, business departments still provide too few guidelines on the value, lifespan, security, and sustainability of the data being created. I have long argued that if you don\u2019t define an expected or planned lifecycle at the source, data can unintentionally linger in obscurity indefinitely.<\/span><\/p>\n

Think of an invoice from 1995 that should have been destroyed long ago. A job application from 2002 still floating around from a candidate who was never hired. A performance review of an employee who left years ago, buried in an old manager\u2019s files. Or personal copies of corporate records kept by an employee. Alongside the obligation to retain data, there is also a duty to destroy it. Executives can be held accountable if documents are not deleted in time. This obligation is primarily established by law to protect personal data, as outlined in the General Data Protection Regulation (GDPR)<\/b>.<\/span><\/p>\n

Emergency Destruction<\/b><\/span><\/p>\n

In some cases, documents may be destroyed even earlier than required\u2014this is called \u2018emergency destruction\u2019 (see Archives Act, Article 9, Section 2<\/b>). This is typically permitted during wartime or when classified documents risk falling into the wrong hands. Think of exceptional situations like a foreign invasion or the storming of an embassy.<\/span><\/p>\n

A historical account from the Dutch East India Company (VOC) era illustrates this practice. In 1672, Martinus Bruno, serving as a junior clerk on a VOC ship, witnessed an emergency destruction procedure firsthand. The ship ran aground during a storm and was later seized by the English. Records indicate that the captain took immediate action to prevent the ship\u2019s archives from falling into enemy hands. His method was simple: he retrieved a bundle of documents from his cabin, weighed them down with lead, and threw them overboard. A straightforward yet highly effective approach, common in military history.<\/span><\/p>\n

As EMC, we even supplied the military with storage boxes equipped with emergency wipe procedures and built-in explosives. If needed, all drives could be securely erased\u2014or if time was short, physically destroyed at the push of a button.<\/span><\/p>\n

Automating Archiving and Destruction<\/b><\/span><\/p>\n

A highly effective way to prevent backlogs in both archiving and destruction is to formally archive a digital document\u2014whether a letter, file, chat, or email\u2014at the moment of release. By embedding the right metadata, the document can later be automatically retrieved and destroyed at the correct time. After all, it\u2019s not just about restricting access; all digital versions must be provably erased.<\/span><\/p>\n

This is why archive platforms are becoming increasingly important. A Document Management System (DMS)<\/b> or archive application like ArQiver<\/b> can issue destruction commands, but deep within the data center, all associated files\u2014from master copies to backups\u2014must actually be eliminated. These platforms must function independently from DMS or archive applications, managing the metadata-driven lifecycle of archived documents and initiating destruction when required.<\/span><\/p>\n

The archive platform must ensure that archived documents are securely stored at multiple locations for business continuity<\/b>, ideally spread across different energy grids to prevent disruptions. It must also guarantee that files remain digitally readable throughout the legally mandated retention period, with regular compliance checks. And, last but not least, it must be able to provably<\/b> destroy all files at the end of their lifecycle.<\/span><\/p>\n

Storage Platforms Designed for Archiving<\/b><\/span><\/p>\n

Over the past two decades, storage platforms have increasingly incorporated built-in archiving capabilities. EMC\u2019s Centera<\/b>, launched in 2002, was one of the first to securely and distributively store online archive files, complete with hash and timestamp protection. This approach proved particularly effective for managing large file systems, such as MRI scans. For long-term storage, tape<\/b> remains one of the most energy-efficient and cost-effective solutions. Additionally, cloud providers are offering more archiving options, provided they have the necessary storage and compliance capabilities.<\/span><\/p>\n

However, when archives require stricter security, storage control, availability, and geographic sovereignty<\/b>, sovereign solutions become more appealing. These ensure that data remains within national borders while maintaining sufficient redundancy for continuity, availability, and security. A newly updated platform that meets these stringent requirements is the Hitachi Content Platform (HCP)<\/b><\/a>. This platform provides a robust, physically anchored<\/b> solution for legally mandated digital archives. Above this infrastructure, SaaS solutions like ArQiver<\/b><\/a> ensure that all relevant documents from various content platforms and office systems\u2014complete with metadata\u2014are efficiently stored within this secure, sovereign storage<\/b>.<\/span><\/p>\n

In an era of exponential data growth<\/b>, a well-thought-out and automated archiving strategy<\/b> is no longer optional\u2014it\u2019s essential. It\u2019s time to regain control<\/b> over the data flywheel.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Can We Slow Down the Data Flywheel?<\/p>\n

Digital data is created almost effortlessly. Surveillance cameras, IoT sensors, chats, social media, and reminders continuously pump out a stream of information\u2014most of which is never even looked at. Data lakes for analysis, digital archives to ensure nothing is forgotten, AI databases to detect trends\u2014the flywheel spins faster and faster. The result? An explosion of \u2018dark data\u2019\u2014information with no clear origin or content, never to be analyzed, yet often retained out of sheer uncertainty, sometimes even in violation of (privacy) regulations.<\/p>\n","protected":false},"author":3,"featured_media":85352,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[340,380,71,75,80,138],"tags":[387,443,470,124,386],"class_list":["post-85349","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-master-data-management","category-archiving","category-digital-economy","category-innovation","category-trusted-it","category-strategie","tag-archiveren","tag-digicorplabs","tag-lifecyclemanagement","tag-storage","tag-arqiver"],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/hanstimmerman.me\/wp-content\/uploads\/2025\/02\/pexels-cottonbro-8466227-scaled-e1740241153714.jpg?fit=2550%2C1182&ssl=1","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/85349","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/comments?post=85349"}],"version-history":[{"count":8,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/85349\/revisions"}],"predecessor-version":[{"id":85363,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/posts\/85349\/revisions\/85363"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/media\/85352"}],"wp:attachment":[{"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/media?parent=85349"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/categories?post=85349"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/hanstimmerman.me\/nl_nl\/wp-json\/wp\/v2\/tags?post=85349"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}