Een onderzoek van wetenschapper David Soergel naar het falen van wetenschappelijke software toont aan dat er ongeveer 15 tot 50 fouten in zitten per 1000 regels code. Let wel: code die geschreven is door professionals. In de (universitaire) wetenschap is het ook nog eens normaal dat studenten tijdens hun studie zelf aan de slag gaan met eigen geprogrammeerde software, die nog onbetrouwbaarder is.

Ook wetenschappelijk onderzoek dat gebruikt maak van meer analoge instrumenten moet rekening houden met afwijkingen, maar die zijn voorspelbaar en beter meetbaar. Met het gebruik van software weet je dat er afwijkingen zijn, alleen weet je niet waar die afwijkingen zich voordoen en hoe groot ze zijn.

Bugs maken onderzoek onbetrouwbaar

Soergel zegt dat door de fouten in software wetenschappelijke resultaten eigenlijk waardeloos worden. "Als je weet dat een of twee bugs in de code de output al voor 100 procent verminken, is elke wetenschappelijke conclusie aan de hand van de output bij voorbaat al waardeloos."

Hij wijst erop dat elk wetenschappelijk onderzoek door allerlei gangbare oorzaken al een hoog risico loopt op foute output en zeker foute conclusies. Als dat ook nog onzichtbaar wordt verminkt door bugs in de software, heeft de wetenschap een groot probleem.

Soergel doet het voorstel meer onderzoek te doen naar dit probleem. De bekende journalist Glyn Moody adviseert hem daarbij maar geen software te gebruiken.