Het selecteren van content werd een paar jaar geleden grotendeels geautomatiseerd. Bol.com doet suggesties op basis van klanten die hetzelfde boek kochten, Netflix stelt nieuwe titels voor op basis van je kijkgedrag en Google houdt rekening met je locatie en interesses. Als het op selectie uit grote sets aankomt, is een computer nou eenmaal efficiënter dan een mens.

Het is daarom interessant om te zien dat grote techbedrijven juist weer mensen inzetten om persoonlijke suggesties te doen. Algoritmes maken selecties op basis van vastgestelde criteria, maar ze missen de menselijke touch, dat stukje intuïtie dat (nog) niet te vatten is in complexe technologie. Apple Music zet mensen in om muziek te cureren, Twitter doet hetzelfde om interessante tweets te lokaliseren en YouTube gebruikt mensen om nieuwsverhalen te selecteren.

Nog een probleem dat je (minder) hebt met mensen: de verkeerde keuzes bij selectie uit datasets. Vaak is dat het gevolg van programmeerfouten of omdat ontwikkelaars bepaalde sociale gevolgen over het hoofd zien. Vandaar 'racistische' zoekmachines en 'verkwistende' handelsoftware. 6 voorbeelden van verkeerd benutte automatisering.

1. Alle mensen lijken op elkaar

Een gezichtsherkennend algoritme in de VS zorgde ervoor dat de verkeerde persoon bijna zijn rijbewijs kwijtraakte. De schuldige software keek, ironisch genoeg, door een database van gezichten om te bepalen of mensen er valse identiteiten op nahielden. Dat programma merkte John Gass uit Massachusetts op die verdacht veel leek op iemand uit dezelfde regio die een serie onbetaalde boetes had openstaan.

Voor de verkeersdienst RMV was de zaak klip en klaar: de onus ligt op de beklaagde om zijn naam te zuiveren als er een verkeerde beoordeling is. Het duurde een aantal telefoontjes en een officiële hoorzitting voor Gass te horen kreeg dat het probleem was ontstaan in een proces waar geen mens aan te pas kwam. Het algoritme ontdekte dubbele identiteiten en een automatisch gegenereerde brief dreigde het rijbewijs in te trekken.

2. Racistisch zoekalgoritme

Advertentieboeren gebruiken algoritmes om te bepalen wie hun target is en hoe ze daar 'relevante content' op kunnen afvoeren. Voornamen blijken binnen die algoritmes een aardige indicator van ras en je voelt de bui al hangen wat die waarde in het systeem veroorzaakt. Een professor van Harvard, Latanya Sweeney, was verbaasd dat als ze haar naam googelde, de eerste betaalde link begon met "Have you been arrested?"

Uit Sweeneys onderzoek blijkt dat dergelijke reclames - geen positieve associatie als een toekomstige werkgever je googelt - veel minder worden gericht op namen van blanke mensen. Ze voerde duizenden namen in en noteerde duidelijke verschillen in advertenties bij namen als Trevon, Lakisha en Darnell en die bij namen als Laurie, Brendan en Katie.

De eerste groep kreeg veel meer te maken met gerichte advertenties met het woord 'arrestatie' dan de tweede. Sweeney oppert drie mogelijkheden waar dit vandaan komt. 1: De advertentie-inkoper, in dit geval een aanbieder van een antecedentenonderzoek, mikt zijn ads op mensen met een donkere huidskleur. 2: Google maakt dat onderscheid op basis van de namen en deze 'feature' maakt AdSense racistisch.

3: Het klikgedrag van mensen leidt tot deze situatie: menselijk racisme komt zo tot uiting in gecomputeriseerde systemen. Hetzelfde zie je bijvoorbeeld ook in de functie Auto-aanvullen van Google. Die feature wordt ook soms beticht van racisme, maar ook deze baseert zijn suggesties op wat mensen het meest zoeken.

3. Het boek van 24 miljoen

Twee Amazon-aanbieders gingen met elkaar in de clinch om een boek over vliegen en genetica. De ene onderbood de prijs van de andere, door 0.9983 van diens prijs te hanteren. Algoritmes concurreren zo de prijzen omlaag - als alles goedgaat. Maar een algoritme reageerde anders en pakte de prijs en vermenigvuldigde die met 1.270589, zo merkte Michael Eisen van UC Berkeley op een dag op.

Waarom dat gebeurde, is niet helemaal duidelijk. Het kan zijn dat de bieder zijn aanbod exclusiever wilde laten lijken om zo andere klanten te trekken. Maar een andere mogelijkheid is dat de tweede aanbieder het boek niet zelf in de inventaris had en wilde zorgen dat het het boek nooit voor een te hoog bedrag zou moeten aanschaffen. Wat de reden ook was, de twee algoritmes dreven met elkaar de prijs op.

Want die werd vastgesteld op 127 procent van de goedkopere concurrent, waarna het andere algoritme 99,8 procent van de nieuw vastgestelde prijs bepaalde en het boek nét iets goedkoper aanbood. Door die prijsverandering, werd het algoritme van de ander weer geactiveerd, zodat de nieuw vastgestelde prijs weer maal 1,27 ging. Enzovoorts enzovoorts in een ongedefinieerde loop.

Zo ging de prijs aanvankelijk kleine stukjes omhoog, maar hoe hoger de prijs werd, hoe groter de impact was van het verhogen. De prijs van het boek nam zo bij beide aanbieders astronomische vormen aan. Die steeg naar 24 miljoen dollar (en vier dollar verzendkosten), totdat de aanbieder de fout ontdekte en de prijs handmatig instelde op 106 dollar.

4. Algoritmes crashen beurshandel

Wat gebeurt er als twee handelalgoritmes tegen elkaar opbieden? High Frequency Trading (HFT) verhandelt grote bergen effecten in een kwestie van miliseconden en tegen de tijd dat je ziet dat het misgaat, kan de beurs al gecrasht zijn. Dit is ongeveer wat er in 2010 gebeurde op de NYSE. Een algoritme dook te snel op een serie pakketten, waardoor andere HFT-algoritmes die het ongewone patroon opmerkten dat voorbeeld volgden.

Dat gebeurde op een dag dat de beurzen laag stonden, onder meer door een dreigende eurocrisis vanwege financiële problemen in Griekenland vijf jaar geleden. De concurrerende HFT-algoritmes sleurden de koers omlaag, waarna andere koersen volgden. In enkele minuten daalde de waarde van de NYSE met 1000 punten. De automatische handel werd stopgezet en een half uur later was de beurs weer hersteld.

Dit is een verre van unieke situatie (let op: we ontdekken een thema over lering trekken). Beurshandel wordt tegenwoordig voor het overgrote deel gedaan door algoritmes in plaats van menselijke handelaren en een fout in het ontwerp van software van een beleggingskantoor zorgde ervoor dat er in een mum van tijd honderden miljoenen verloren gingen. Het programma hield geen rekening met de potentiële marge van een aandeel, waardoor het 15 cent per verhandeld aandeel in een specifiek pakket verloor. Duizenden malen per seconde.

5. Nare foto-taggers

Google was deze week niet zo positief in het nieuws omdat Google Photos zwarte mensen een tag 'Gorilla' meegaf. Google had kunnen weten dat zulk auto-taggen problematisch kan zijn, omdat Flickr eerder dit jaar op dezelfde manier in het nieuws kwam. Dat algoritme hing vrolijk tags als 'speeltuin' en 'sport' aan foto's van concentratiekampen. En mensen, ongeacht hun ras, werden als aap herkend.

Goed, de algoritmes zelf zijn onschuldig, want ze doen alleen maar waar ze voor zijn ontworpen - zonder zelf te oordelen. Geen boosaardige software dus, maar het laat eerder zien dat je sommige dingen nog even beter niet volledig aan algoritmes kunt overlaten tot ze zijn getweakt. Je zou zeggen dat dat zo gepiept is, maar het feit dat Flickr daar al jaren mee bezig is, stemt niet echt hoopvol.

6. Gefeliciteerd met je rotjaar!

Ook een probleem dat je mijlenver had kunnen zien aankomen: als Facebook een selectie maakt van belangrijke evenementen in je timeline, betekent dat niet altijd vrolijke vakantiefoto's. Het sociale netwerk hielp mensen met de Year in Review-feature ook herinneren aan hun vreemdgaande partners, afgebrande woningen, gestorven familieleden, inmiddels overleden huisdieren en ander leed. Facebook bood zijn verontschuldigingen aan voor het naar boven halen van de pijnlijke herinneringen.