English version: scroll down

Toen ik als productie-technisch ingenieur in de vliegtuigbouw werkte, werd er nauwelijks gesproken over kwaliteit. Natuurlijk was kwaliteit het doel. Maar het was niet waarop we stuurden. Wij stuurden op non-kwaliteit, op non-conformance.

Dat klinkt paradoxaal. Net zoals in de elektrotechniek geleiding en weerstand twee kanten van dezelfde medaille zijn, geldt dat ook voor kwaliteit. Wanneer een proces slechts 70 of 80 procent goed presteert, heeft het zin om kwaliteit te meten. Maar wanneer processen richting 99,9 procent of hoger bewegen, wordt kwaliteit een vrijwel betekenisloze maatstaf. Dan wil je weten waar het fout gaat. Je wilt de afwijking van perfectie zichtbaar maken. Dat noemen we non-kwaliteit.

Een vliegtuig kent geen vluchtstrook

In de vliegtuigbouw is kwaliteit geen administratieve exercitie maar een veiligheidsvoorwaarde. Een verkeersvliegtuig kan niet onderweg even stoppen wanneer een cruciaal onderdeel niet functioneert. Er bestaat geen vluchtstrook op tien kilometer hoogte. De passagiers hebben ook geen schietstoel. Daarom wordt het productieproces niet ingericht om achteraf fouten te ontdekken. Het wordt ontworpen om fouten te voorkomen. En registreert een Flight Recorder – de zwarte doos – alle logs tijdens elke vlucht ook daar elke afwijking te kunnen terugzoeken.

Elke stap in het ontwerp-, productie- en assemblageproces wordt beheerst, gevalideerd en gedocumenteerd. Het proces is zodanig ingericht dat het in principe slechts twee uitkomsten kent: het resultaat voldoet volledig aan de specificaties of het resultaat wordt al binnen het proces afgekeurd. Tussenvarianten bestaan niet. Bij afwijkingen ontstaan non-conformance reports (NCR’s). Hoe minder NCR’s, hoe beter het proces en hoe betrouwbaarder het product.

Dat vereist een enorme mate van procesbeheersing: kwaliteitsgerichte procesbeheersing. Elke bewerking moet voorspelbaar zijn. Elke afwijking moet zichtbaar worden. Elke wijziging moet herleidbaar zijn. Niet alleen het product wordt gecertificeerd, maar feitelijk het gehele proces dat tot dat product heeft geleid. Niet kwaliteit wordt beheerst, maar het proces waarin kwaliteit ontstaat.

Onbekende onbekenden

Ik herinner me een concreet voorbeeld uit die praktijk: bij het NC-buigen van roestvrijstalen leidingen werd gewerkt met correcties voor terugbuiging van het materiaal. Op basis van jaren ervaring waren per type buis nauwkeurige doorbuigtabellen in de machinebesturing opgenomen.

Totdat identieke buizen zich ineens anders gingen gedragen. Zelfde specificaties, zelfde leverancier, zelfde materiaal, maar toch een afwijkend resultaat. Na veel zoeken bleek uiteindelijk een minimale verontreiniging in één van de grondstoffen de oorzaak te zijn — een variabele die nooit eerder was gemeten of relevant geacht. Zodra die factor zichtbaar werd, kon het proces verder worden verfijnd. Precies daar zie je wat non-kwaliteit doet: het kan onbekende variabelen zichtbaar maken in een ogenschijnlijk stabiel proces.

Pas wanneer die keten sluitend is, kan uiteindelijk een luchtwaardigheidscertificaat worden afgegeven. Het product voldoet dan aantoonbaar aan alle eisen die de autoriteiten stellen aan vliegveiligheid.

Het meten van afwijkingen

De essentie van kwaliteitsmanagement is niet het tellen van successen. Een assemblagelijn die duizend correcte producten oplevert, vertelt weinig. Interessant wordt het pas wanneer één product afwijkt. De vraag is dan niet alleen wat er fout ging, maar vooral waarom het systeem die afwijking überhaupt kon produceren. Daarom moet een organisatie leren denken in non-conformances. Elke afwijking van het voorgeschreven proces of het beoogde resultaat levert een signaal op. Die afwijkingen vormen de werkelijke stuurinformatie. Niet de duizenden dingen die goed gaan, maar die ene afwijking die eigenlijk niet had mogen ontstaan.

Opvallend genoeg zie ik in de administratieve en bestuurlijke wereld vaak het omgekeerde gebeuren. Organisaties spreken graag over datagedreven werken, informatiegestuurd werken en digitale transformatie. Er worden dashboards gebouwd, KPI’s opgesteld en rapportages geproduceerd. Maar zelden wordt werkelijk gestuurd op non-kwaliteit. Waar en hoe ging het mis?

Men registreert hoeveel dossiers zijn verwerkt, hoeveel transacties zijn uitgevoerd of hoeveel datasets beschikbaar zijn. Men meet productie. Maar men meet vaak niet: hoeveel gegevens onjuist zijn; hoeveel tegenstrijdigheden tussen gegevens bestaan en hoeveel mutaties niet herleidbaar zijn. Of hoeveel besluiten zijn gebaseerd op verouderde informatie en hoeveel datasets verschillende waarheden bevatten. En juist daar bevindt zich vaak de non-kwaliteit van informatie.

Informatie heeft ook een levenscyclus

In de vliegtuigbouw wordt elk onderdeel gevolgd vanaf het eerste ontwerp tot buitengebruikstelling. Een vliegtuig wordt gemiddeld vijf tot zeven keer gebouwd: de eerste keer in de fabriek, de volgende keren tijdens onderhoud, reparatie en overhaul. De volledige levenscyclus is bekend, elk gewisseld onderdeel geregistreerd en bij elke verandering moet het toestel opnieuw luchtwaardig worden verklaard.

Bij informatie zou dat niet anders moeten zijn. Noem het hier ‘gebruikswaardig’: gecertificeerd om veilig te kunnen gebruiken en erop te kunnen vertrouwen. Dat wordt steeds belangrijker in een tijd waarin we steeds meer informatie gebruiken waarvan de herkomst en betrouwbaarheid niet vanzelfsprekend zijn. Waar komt een gegeven vandaan? Wie heeft het gewijzigd en wanneer is het gevalideerd? Welke processen gebruiken het en welke besluiten zijn erop gebaseerd? Wanneer vervalt de betrouwbaarheid ervan?

Veel organisaties kunnen deze vragen niet beantwoorden. Toch baseren zij hun dienstverlening, handhaving en beleidsvorming op diezelfde gegevens. Gegevens zonder een formeel geboortebewijs. In mijn eerdere blog over de NFD, het digitale geboortebewijs, beschreef ik dit probleem al. Daarin verwees ik ook naar het sprookje “Het koninkrijk zonder geboorteregister”: een rijk dat steeds meer gegevens verzamelde, maar uiteindelijk niet meer wist waar fouten ontstonden en hoe die zich door het systeem verspreidden.

Dat is vergelijkbaar met een vliegtuig bouwen zonder precies te weten waar bepaalde onderdelen vandaan komen, wie ze heeft gemonteerd of welke wijzigingen erop zijn uitgevoerd. Geen enkele luchtvaartautoriteit zou dat accepteren. Diezelfde discipline mogen we ook van digitale processen verwachten.

De kunst van het vinden van fouten

Volwassen kwaliteitsmanagement draait uiteindelijk niet om het aantonen dat alles goed gaat. Het draait om het vermogen om elke afwijking te vinden. Sterker nog: een organisatie die geen afwijkingen registreert, is meestal niet perfect georganiseerd. Vaak betekent het simpelweg dat zij onvoldoende kijkt. De afwezigheid van geregistreerde fouten is niet hetzelfde als de afwezigheid van fouten. Daarom is non-kwaliteit misschien wel een betere managementindicator dan kwaliteit zelf. Niet omdat fouten wenselijk zijn, maar omdat elke gevonden afwijking een kans biedt om het proces verder te verbeteren.

Slot: van kwaliteit naar systeemintelligentie

Dat is uiteindelijk de kern van wat ik in de vliegtuigbouw heb geleerd. Niet het eindproduct bepaalt de betrouwbaarheid van een systeem, maar de mate waarin het proces zichzelf kan controleren. Elk volwassen systeem verschuift daarmee van kwaliteitsdenken naar afwijkingsdenken. Niet de vraag wat goed gaat staat centraal, maar de vraag waar het mis kán gaan — en waarom dat überhaupt mogelijk is. Non-kwaliteit is daarmee geen bijproduct, maar de belangrijkste informatiebron van een proces. Het zijn de afwijkingen die laten zien hoe het systeem werkelijk functioneert, niet de successen.

Zoals Elon Musk het terecht verwoordde: het belangrijkste product is niet het product zelf, maar de machine die het product maakt. De fabriek is de eigenlijke machine die de machine bouwt. In die zin is digitalisering geen automatisering van bestaande werkwijzen, maar het bouwen van een systeem dat zijn eigen afwijkingen kan zien, begrijpen en terugvoeren in verbetering. 

Of, in moderne industriële taal: het product is belangrijk, maar het systeem dat het product maakt is doorslaggevend. De echte machine is de machine die de machine bouwt. Elk systeem dat volwassen genoeg is, verschuift uiteindelijk die aandacht. Van output naar oorzaak. Van resultaat naar proces. Van kwaliteit naar non-kwaliteit. Want alleen daar, in de afwijking, wordt zichtbaar hoe goed een systeem werkelijk is.

Photo by Jacob Moseholt

————– Translated with ChatGPT —————-

Non-Quality: Why You Shouldn’t Measure What Goes Right

When I worked as a production engineer in the aerospace industry, people rarely talked about quality. Of course, quality was the objective. But it was not what we managed. We managed non-quality, or more precisely, non-conformance.

That may sound paradoxical. Yet, just as conductivity and resistance are two sides of the same coin in electrical engineering, the same applies to quality. When a process performs at only 70 or 80 percent, measuring quality makes sense. But once processes approach 99.9 percent or higher, quality itself becomes an almost meaningless metric. What matters then is understanding where things go wrong. You want deviations from perfection to become visible. That is what we call non-quality.

An Aircraft Has No Hard Shoulder

In aerospace manufacturing, quality is not an administrative exercise; it is a safety requirement. A commercial aircraft cannot simply pull over when a critical component fails. There is no hard shoulder at ten kilometers altitude, and passengers do not have ejection seats. For that reason, production processes are not designed to discover errors after the fact. They are designed to prevent errors from occurring in the first place. Even during flight operations, the Flight Recorder—the so-called black box—continuously records system data so that every anomaly can be traced and analyzed afterward.

Every step in the design, manufacturing, and assembly process is controlled, validated, and documented. The process is designed around only two possible outcomes: either the result fully complies with specification, or it is rejected within the process itself. There is no middle ground. Whenever deviations occur, Non-Conformance Reports (NCRs) are created. The fewer NCRs, the better the process and the more reliable the product. This requires an extraordinary level of process control. Every operation must be predictable. Every deviation must become visible. Every change must be traceable. In practice, it is not only the product that is certified, but the entire process that produced it. 

Quality itself is not controlled. The process in which quality emerges is.

Unknown Unknowns

I remember a specific example from that environment. During the NC bending of stainless-steel tubing, compensation factors were used to account for material spring-back. Based on years of experience, precise correction tables had been incorporated into the machine controls for each type of tube.

Then, suddenly, identical tubes started behaving differently. The specifications were identical. The supplier was identical. The material certification was identical. Yet the resulting bends consistently deviated from expectations. After extensive investigation, the cause turned out to be a minute contamination in one of the raw materials—a variable that had never before been measured because nobody considered it relevant.

Once that factor became visible, the process could be refined further. This is exactly what non-quality reveals. It exposes unknown variables hidden within what appears to be a stable and predictable process. Only when the entire chain is demonstrably under control can an airworthiness certificate be issued. At that point, the product can be proven to comply with every safety requirement imposed by aviation authorities.

Measuring Deviations

The essence of quality management is not counting successes. An assembly line that produces one thousand correct products tells us very little. Things only become interesting when one product deviates from specification. The real question is not merely what went wrong. The real question is why the system was capable of producing that deviation in the first place. That is why organizations should learn to think in terms of non-conformances. Every deviation from a prescribed process or intended outcome provides a signal. Those deviations constitute the true management information. Not the thousands of things that went right, but the one thing that should never have gone wrong.

Curiously, I often see the opposite approach in administrative and governmental environments. Organizations enthusiastically talk about data-driven operations, information-led decision making, and digital transformation. Dashboards are built, KPIs are defined, and reports are generated. Yet very few organizations genuinely manage non-quality. Where did things go wrong? How did they go wrong? Why did they go wrong? Most organizations measure how many cases were processed, how many transactions were completed, or how many datasets are available.

They measure production. But they rarely measure how many records are incorrect, how many contradictions exist between datasets, how many changes are no longer traceable, how many decisions were based on outdated information, or how many systems contain conflicting versions of the truth. And that is precisely where information non-quality resides.

Information Has a Lifecycle Too

In aerospace manufacturing, every component is tracked from initial design to final retirement. An aircraft is effectively built five to seven times during its operational life: first in the factory, and subsequently through maintenance, repair, and overhaul cycles. The entire lifecycle is documented. Every replaced component is recorded. Every modification is traceable. After significant changes, the aircraft must once again be declared airworthy. Information should be treated no differently.

Perhaps we should call it fit for use: certified as reliable enough to be used safely and confidently. This becomes increasingly important in a world where we rely on ever-growing volumes of information whose origin and trustworthiness are often unclear. Where did a piece of data originate? Who modified it? When was it last validated? Which processes depend on it? Which decisions have been based upon it? And when does its reliability expire?

Many organizations cannot answer these questions. Yet they base their services, enforcement activities, and policymaking on exactly that information.

In an earlier blog, I described this challenge through the concept of the NFD—the digital birth certificate. There I also referred to the fairy tale The Kingdom Without a Birth Registry: a kingdom that collected increasing amounts of information but eventually lost the ability to determine where errors originated and how they propagated through the system. The situation is comparable to building an aircraft without knowing where certain components came from, who installed them, or which modifications had been performed on them. No aviation authority would ever accept such a situation. We should expect the same level of discipline from our digital processes.

The Art of Finding Errors

Ultimately, mature quality management is not about proving that everything works. It is about being able to find every deviation. In fact, an organization that reports no deviations at all is rarely a perfect organization. More often, it simply means that it is not looking closely enough. The absence of recorded errors is not the same as the absence of errors. That is why non-quality may be a better management indicator than quality itself.

Not because errors are desirable, but because every identified deviation creates an opportunity to improve the process. Each deviation reveals something about how the system truly operates. Each deviation helps eliminate uncertainty. Each deviation contributes to making the process stronger, more predictable, and ultimately more trustworthy.

From Quality to System Intelligence

This is perhaps the most important lesson I learned from aerospace manufacturing. The reliability of a system is not determined by its final product. It is determined by the extent to which the underlying process can monitor, understand, and correct itself. Every mature system eventually shifts from quality thinking to deviation thinking.

The central question is no longer what is going right. The central question becomes where things could go wrong—and why that remains possible. Non-quality is therefore not a by-product of a process. It is its most valuable source of information. It is the deviations that reveal how a system actually functions, not the successes.

As Elon Musk once aptly observed, the most important product is not the product itself, but the machine that builds the product. The factory is the real machine—the machine that creates all the other machines. The same principle applies to digital transformation. Digitalization is not simply the automation of existing processes. It is the creation of systems capable of detecting, understanding, and feeding their own deviations back into continuous improvement.

Or, in modern industrial terms: the product matters, but the system that produces the product matters more. The real machine is the machine that builds the machine. Every sufficiently mature system ultimately shifts its focus in that direction. From output to cause. From results to process. From quality to non-quality. Because only within the deviation does the true quality of a system become visible.