Amerikaanse waakhond GAO bekeek het gezichtsherkenningssysteem en uit in zijn rapport (PDF) enkele zorgen over het beperkte testen. De overheidsdienst keek vooral naar de testperiode van de FBI en vindt dat deze verre van nauwkeurig was. De tests keken namelijk niet naar hoe verschillende grootttes van datasets en mat niet of deze onnauwkeurige resultaten opleverde, maar ging enkel uit van de positieve resultaten.

False positives niet relevant

Volgens de FBI-documentatie levert het systeem in 20 procent van de gevallen een false positive op, maar de resultaten onderbouwen dit niet en de praktijkonderzoeken negeren het zelfs volledig. De FBI ging voorbij aan de false positives in zijn tests en vertrouwde blind op resultaten die volgens het systeem leads waren voor verder onderzoek. Omdat het aanknooppunten waren voor verder onderzoek maar geen officiële identificaties, achtte de FBI de false positive-ratio als niet relevant.

Een senator die zich zorgen maakt over de privacyimplicaties van de database, Al Franken, vroeg om dat onderzoek en stelt dat het gebruik van de database door de FBI veel groter is dan werd aangenomen. "Dit baart zorgen omdat de FBI niet genoeg heeft gedaan om een audit uit te voeren op zijn eigen gezichtsherkenningstechnologie", aldus de senator.

Omgekeerde bewijslast

De GAO haalt verder burgerrechtenorganisatie EFF aan die vindt dat false positives het juridische concept van onschuldig tot het tegendeel is bewezen op zijn kop zet, omdat de bewijslast op een verdachte komt te liggen om te stellen dat hij/zij niet de persoon is die geïdentificeerd is door het systeem. Anderzijds stelt de waakhond dat de FBI ook belangrijke leads kan missen als de nauwkeurigheid van het systeem onbekend is.