De twee bedrijven hebben een knallende ruzie gekregen over de wijze waarop Sun Microsystems gebruik heeft gemaakt van CaffeineMark, een benchmark-programma om de snelheid van Java-compilers te testen. Pendragon Software beschuldigt Sun ervan delen van het programma te hebben verwerkt in zijn Java-compiler voor de laatste versie van Solaris. Daardoor krijgt deze Unix-variant (versie 2.6) een veel betere score in CaffeineMark bij het afspelen van Java-applets dan andere besturingssystemen. In een persverklaring bij de lancering van Solaris 2.6 zei Sun dat zijn besturingssysteem 50 procent sneller Java draait dan Windows NT. Bij nadere bestudering viel het Pendragon op dat Solaris bij de Logic Test in CaffeineMark 50 keer hoger scoorde dan Java-compilers van andere besturingssystemen. Volgens Pendragon zijn daarvoor drie verklaringen: òf Sun heeft zijn compiler enorm verbeterd, òf er zit een bug in de compiler òf er zit een bug in de benchmark-software. Door CaffeineMark licht aan te passen werd de score van Solaris opeens 300 keer lager, terwijl de wijzigingen geen enkel effect hadden op de prestaties van de andere compilers. Toen Pendragon daarop de Solaris-compiler ontleedde trof het naar eigen zeggen 600 bytes aan broncode aan die zo lijken gekopieerd uit zijn testprogramma. Sun noemt het een volstrekt normale gang van zaken dat ontwikkelaars hun software verbeteren aan de hand van een benchmarktest. Overigens is de omstreden Java-compiler niet meer te downloaden van de website van Sun Microsystems. Het Amerikaanse bedrijf zegt dat dit niets te maken heeft met de kritiek van Pendragon. De volledige Java Development Kit 1.1.4 voor Solaris is eind vorige maand verwijderd, omdat de bèta-periode voor deze versie is verlopen.