De methode van Secunia zet vooral kwaad bloed omdat deze gericht functies in de suite zou omzeilen. Zonder uitzondering scoorden de pakketten belabberd in de door de Deense securityfirma opgezette test.

Symantec Norton Internet Security 2009 deed het relatief goed met een detectiegraad van 21 procent, terwijl zelfs de directe achtervolgers niet boven de 3 procent kwamen. Conclusie van Secunia: antiviruspakketten lopen altijd achter de feiten aan, en zouden niet zozeer op de 'payload' moeten scannen, maar op lekken in de softwarestack zelf.

Te beperkt

Vanuit de industrie wordt zeer kritisch gereageerd op de test, zelfs door de uiteindelijke 'winnaar'. Een woordvoerster van Symantec laat weten dat de test in hun ogen veels te beperkt is. "De test lijkt vooral gericht op de traditionele manier van bescherming", schrijft de zegsvrouw. "Deze verdedigingslinie vormt een belangrijk deel van de Norton systemen, maar het is pas een laatste laag in de verdediging, en om die reden is het niet mogelijk om een pakket als geheel nauwkeurig te overzien", aldus Symantec. "Het is te vergelijken met hoe de auto-industrie kijkt naar crash-tests. Daar worden ook grootse beweringen geuit over de veiligheid van een wagen, terwijl alleen een rem-test is uitgevoerd en geen rekening is gehouden met de airbags, gordel, kreukelzones enzovoorts."

Panda Security, die in de test een detectiescore van 1,59 procent boekte, haalt in dat opzicht nog harder uit naar de test van Secunia. "Bij het testen van exploits is het juist een belangrijk gegeven dat deze producten juist NIET alleen gebruikmaken van traditionele signature detector," zo laat Pedro Bustamente, senior research advisor van Panda, weten in een gemailde verklaring naar Techworld. "Toch beperkt Secunia's 'testmethodologie' zich slechts tot het handmatig scannen van 144 verschillende inactieve exploit files." Als voorbeeld van een techniek die bij de test wordt overgeslagen noemt Bustamente de Kernel Rule Engine-functie in Internet Security 2009.

Misleidend

Net als Symantec trekt ook Bustamente een parallel met het testen van de veiligheid van auto's. "Dit is vergelijkbaar met het testen van de ABS-remsystemen van een auto, door hem van een afgrond te storten. Of zijn zachtst gezegd misleidend dus", zo schetst Bustamente. Met de eerder genoemde Kernel-engine, zo beweert hij, zou de detectiegraad omhoog schieten naar 56 procent. "En dat is alleen met deze ene techniek. Panda combineert dit dan ook nog eens met TruPrevent's Behavioral Analysis, URL Filters en de Vulnerability Detection module, zodat de score nog eens een stuk hoger uitkomt. Bij fatsoenlijk testen had Secunia dat ongetwijfeld ook zelf kunnen uitvinden."

"Als je maar één onderdeel van een producttest tegen exploits, terwijl dat ook nog eens het onderdeel van het product is dat NIET ontworpen is om om te gaan met exploits, en het deel van het product dat daar wél voor ontworpen is, gewoon buiten beschouwing laat, dan is er een gerede kans dat de resultaten misleidend zijn. Meneer Kristensen, als Chief Technology Officer, zou dit moeten weten en kent de gevolgen van foutieve testmethodes. Wij snappen niet goed hoe hij dat heeft kunnen negeren."

Bron: Techworld.nl