Het bedenken, ontwerpen, bouwen en onderhouden van producten en processen vraagt de kunst om elegante, schaalbare en lichtvoetige ontwerpen te ‘kunnen bedenken’. Ik zeg met opzet kunnen bedenken, omdat dit een complex proces van creativiteit, bruikbaarheid, maakbaarheid  en instandhouding is. Vaardigheden die vakmatig aanwezig zijn bij ervaren ontwerpers, architecten en ingenieurs. De aanwezigheid van die combinatie ’vooraf’ maakt dat initiële ideeën en ontwerpen werkelijk geniaal kunnen worden. ‘Good design’ is een concept dat industrieel ontwerper Dieter Rams definieerde als: ‘het maakt een product of proces bruikbaar en begrijpelijk, is innovatief, esthetisch, onopvallend, eerlijk, duurzaam, grondig tot in de puntjes, milieuvriendelijk en omvat zo min mogelijk design. Maar de belangrijkste regel is en blijft: houd het zo simpel mogelijk. 

Architectuur en techniek

In een eerder artikel ‘Een pleidooi voor verantwoord digitaliseren’, dat ik samen met Daan Rijsenbrij schreef, spraken we over de yin en yang relatie tussen de architect (bruikbaarheid) en ingenieur (maakbaarheid). Je kunt iets zeer bruikbaars ontwerpen, als het technisch niet of lastig te maken en te onderhouden is, heb je er uiteindelijk weinig aan. De kunst van goed ontwerpen is een ingewikkeld spel tussen bruikbaarheid en technische uitvoerbaarheid, waarbij de uiteindelijke oplossing zo simpel mogelijk moet zijn en blijven. De beste toevoeging aan een ontwerp is minimaliseren. Of bij software: negatieve code schrijven, het actief blijven verminderen van het aantal regels code. 

Simpelheid eist dat bij elke digitale oplossing de motor c.q. de onderliggende software zo robuust en procesgericht gekozen moet zijn, opdat het door die ingebouwde efficiency en minimale overhead, ook gigantisch schaalbaar wordt en blijft. Immers als de ‘motor’ vrijwel oneindig kan worden opgevoerd met met behoud van voorspelbaarheid en herhaalbaarheid, ben je redelijk toekomstvast wat betreft het gebruik van die oplossing. Wat de hardware betreft helpt AI ons al met de groei van formule 1-achtige processoren als NIVIDEA en kwantum computing komt ook steeds dichterbij. Realtime informatieprocessen vragen niet alleen hardware performance maar vooral ook software met interne eenvoud en efficiency om – indien gewenst of noodzakelijk – met die hardware mee te kunnen blijven schalen. 

Data en informatie bewaren wordt steeds uitdagender

Een uitdaging momenteel is dat de groeiende digitalisering onze data- en informatiestromen laat ‘ontploffen’. Niet alleen in informatiedichtheid maar ook in het aantal parallelle stromen. We waren al decennia niet meer in staat om alles wat digitaal wordt gecreëerd, op te slaan. De data-opslag daarvoor was zowel fysiek niet beschikbaar als economisch niet te betalen. Veel informatie werd daardoor al ‘vluchtig’ en eenmalig, en dat percentage wordt steeds groter. Als we ons, wetend dat die vluchtigheid alleen maar erger wordt, buigen over het – gewenst óf verplicht – archiveren van informatie die tóch moet worden bewaard, weten we ook dat we alle creativiteit nodig hebben om in zo’n oplossing schaalbaarheid ‘by design’ in te bouwen. 

In het verleden konden we informatieproducten zoals transacties, documenten en dossiers, aan het einde van hun gebruiksperiode – mits relevant of verplicht – netjes archiveren. Immers informatie (inhoud) en informatiedrager (papier) waren hetzelfde en konden daarom fysiek langdurig worden opgeslagen. Zelfs simpele digitalisatie via scans bleef mogelijk. Maar in een 100% digitaal proces is informatie, content en context niet meer gekoppeld aan hun informatiedragers. Die dragers of media kunnen zelfs meermalen in de tijd veranderen, waardoor oorspronkelijke informatie technisch niet eens meer bruikbaar is. Als digitale informatie niet direct bij de bron geborgd en duurzaam kan worden opgeslagen, wordt het gevaar van vluchtigheid, vergeetachtigheid en zelfs digitale dementie steeds groter. 

De groei van Dark Data

Dark data is een verschijnsel dat we bij veel organisaties tegenkomen. Gartner definieert dark data als de informatie-assets die organisaties verzamelen, verwerken en opslaan tijdens reguliere bedrijfsactiviteiten, maar die ze over het algemeen niet (meer) gebruiken voor andere doeleinden, zoals analyses of voor AI-toepassingen. Net als dark matter in de natuurkunde, omvat dark data vaak het universum van informatie-assets van de meeste organisaties. Organisaties bewaren dark data daarom vaak alleen voor nalevingsdoeleinden zoals compliance, governance en wettelijke verplichtingen. Het gemetadateerd en inhoudelijke opslaan en beveiligen van die onbekende data brengt doorgaans meer kosten en soms een groter risico met zich mee dan de verwachte toekomstige waarde.

Om dark data te voorkomen, is digitale bronarchivering met directe metadatering een interessante optie. Archiveren zodra informatie inhoudelijk compleet en formeel is gemaakt en wordt ‘vrijgegeven’. Gelukkig zijn er veel digitale documenten en berichten die eenmalig zijn en dus direct gearchiveerd kunnen worden. Een transactie is onveranderlijk, een brief of email verandert nooit meer, er komen vervolgbrieven of emails, die op dezelfde wijze direct gearchiveerd kunnen worden. Maar nu komt de uitdaging: moeten we echt álles archiveren of alleen datgene dat relevant en/of wettelijk noodzakelijk is? Dat moet een realtime keuze zijn, gegeven de enorme stromen aan informatie die tegenwoordig naar en door organisaties stromen.

Content en context 

Een eerdere blog ‘Content zonder context heeft weinig waarde’ beschreef dat voor toekomstig gebruik, content vaak in de context van gebeurtenissen, tijd en betrokken moet kunnen worden geplaatst. Bij de afgelopen parlementaire enquetes of tribunalen was het ‘kunnen’ reconstrueren van historische situaties op basis van digitale informatie lastig zo niet onmogelijk, vaak ook door het ontbreken van context. Waarom nam betrokkene op dat moment die beslissing en welke andere gebeurtenissen vonden toen plaats? Als je in een archiveer-proces ook parallelle context wil meenemen, kun je niet anders dan te bronarchiveren, waarbij direct alle relevante context nog kan worden ‘geduid’. 

Ik gebruik het woord ‘geduid’ hier met opzet, omdat het onmogelijk is alle contextuele informatie ook nog eens apart op te slaan. Het duiden betekent hier het met links aangegeven welke andere – mogelijk reeds gearchiveerde – informatie een relatie heeft of had met het te archiveren informatieproduct. Bronarchivering moet deze contextuele aanvulling realtime kunnen meenemen bij het metadateren van het te archiveren bericht of document. Een belangrijke functionele eis voor een schaalbaar en toekomstvast digitaal archiveringsproces.

ArQiver: the art of archiving

In een eerdere blog ‘Archiveren: een hoogwaardige sexy sport?’ beschreef ik dat het moderne archiveren, naast de noodzaak en aanwezigheid van architectuur en hoogwaardige techniek, een artistieke component heeft. Dit vraagt hoogwaardige menselijke intelligentie, ook de inzet van kunstmatige intelligentie om zowel te voldoen aan de basis archiefeisen en alle overlappende privacy en andere wettelijke vereisten. Maar ook authenticatie en identificaties wie wat mag en mocht archiveren alsmede de gegarandeerde onveranderlijkheid van eenmaal gearchiveerde digitale informatieproducten. Onze oplossing ArQiver is mede met bovenstaande overwegingen afgelopen jaar ontwikkeld en nu gereed om te worden gebruikt. Een unieke digitale bron-archiveringsoplossing, die zowel wat betreft architectuur als onderliggende techniek, toekomstvast is voor alle groei van document-, dossier- en chat-archivering die nog op ons afkomt. 

Photo by Clark Tibbs on Unsplash

—————————-  translated by ChatGPT ———————————-

The Art of Good Design

The conception, design, construction, and maintenance of products and processes require the art of creating elegant, scalable, and lightweight designs. I emphasize creating because this is a complex process of creativity, usability, manufacturability, and maintenance. These skills are inherent in experienced designers, architects, and engineers. When this combination of expertise is present in advance, initial ideas and designs can become truly brilliant. Industrial designer Dieter Rams defined “good design” as making a product or process useful and understandable, innovative, aesthetic, unobtrusive, honest, durable, thorough, environmentally friendly, and as minimalistic as possible. But the most important rule remains: keep it as simple as possible.

Architecture and Engineering
In a previous article, A Plea for Responsible Digitalization, which I co-authored with Daan Rijsenbrij, we spoke about the yin and yang relationship between the architect (usability) and the engineer (manufacturability). You can design something very usable, but if it is technically difficult or impossible to make and maintain, it’s ultimately of little use. The art of good design is a delicate balance between usability and technical feasibility, with the final solution needing to be as simple as possible. The best addition to any design is minimization. In software, this translates to “negative coding,” or actively reducing the number of lines of code.

Simplicity requires that for every digital solution, the engine, i.e., the underlying software, must be chosen to be robust and process-oriented. This ensures that, due to built-in efficiency and minimal overhead, it remains highly scalable. If the “engine” can scale almost infinitely while maintaining predictability and repeatability, you’re relatively future-proof in terms of its usage. As for hardware, AI helps us with the growth of high-performance processors like NVIDIA’s, and quantum computing is also coming closer. Real-time information processes require not only hardware performance but also software with internal simplicity and efficiency to scale alongside the hardware when needed.

Data and Information Preservation Becoming Increasingly Challenging
A current challenge is that growing digitalization is causing our data and information flows to explode. Not only in density but also in the number of parallel streams. We’ve been unable for decades to store everything that is digitally created. The data storage wasn’t physically available or economically feasible. As a result, much information became “fleeting” and one-time-use, and this percentage continues to grow. Knowing that this fleetingness will only worsen, we must apply all our creativity to design scalable archiving solutions.

In the past, we could archive information products like transactions, documents, and files at the end of their usage periods, provided they were relevant or required. Information (content) and its medium (paper) were the same, making it possible to physically store them for a long time. Even simple digitalization through scanning remained possible. But in a 100% digital process, information, content, and context are no longer tied to their information carriers. These carriers (formats) or media (IoT and chats) can change over time, making the original information technically unusable. If digital information cannot be securely stored at the source and preserved sustainably, the risks of fleetingness, forgetfulness, and even digital dementia grow larger.

The Growth of Dark Data
Dark data is a phenomenon encountered in many organizations. Gartner defines dark data as the information assets that organizations collect, process, and store during regular business activities but generally do not use for other purposes, such as analysis or AI applications. Like dark matter in physics, dark data often represents a large portion of an organization’s information assets. Organizations typically store dark data only for compliance, governance, or legal obligations. The cost and risk of storing and securing this unknown data, with its metadata, often outweighs its expected future value.

To avoid dark data, digital source archiving with immediate metadata tagging is an interesting option. Archiving should occur as soon as information is complete and formally released. Fortunately, many digital documents and messages are one-time-use and can be archived immediately. A transaction is immutable, and a letter or email never changes once sent. Follow-up letters or emails can be archived the same way. But the challenge remains: should we really archive everything, or only what is relevant or legally required? This real-time decision is critical, given the enormous streams of information that flow into and through organizations today.

Content and Context
In an earlier blog, Content Without Context Has Little Value, I explained that for future use, content often needs to be placed in the context of events, time, and the people involved. Recent parliamentary inquiries or tribunals have shown that reconstructing historical situations based on digital information is difficult, if not impossible, often due to the lack of context. Why did the person involved make that decision at the time, and what other events were happening simultaneously? If you want to include parallel context in an archiving process, the only option is source archiving, where all relevant context can still be “interpreted” in real-time during the metadata tagging of the archived message or document.

I use the word “interpreted” deliberately here because it’s impossible to store all contextual information separately. Interpretation here means indicating with links which other—possibly already archived—information has or had a relationship with the archived product. Source archiving captures this contextual addition in real-time during the metadata tagging process. This is a critical functional requirement for a scalable and future-proof digital archiving process.

ArQiver: The Art of Archiving
In the blog ‘Archiving: A High-End, Sexy Sport?’ I described that modern archiving, in addition to the necessity and presence of architecture and high-quality technology, has gained an artistic component. This requires high-level human intelligence and the use of artificial intelligence to meet not only basic archiving requirements but also overlapping privacy and other legal demands. Additionally, authentication and identification of who may and can archive, as well as the guaranteed immutability of once-archived digital information products, are crucial. Our solution, ArQiver, was developed over the past year with these considerations in mind and is now ready for use. It’s a unique digital source-archiving solution that, in terms of both architecture and underlying technology, is future-proof for the growth of document, file, and chat archiving that lies ahead.