Microsoft bedenkt antwoord op Google MapReduce
Gepubliceerd: Woensdag 22 december 2010
Auteur: Uhro van der Pluijm
Microsoft heeft een betaversie van zijn distributed rekenplatform Dryad uitgebracht. Het platform kan grote hoeveelheden data op meerdere servers beheren en analyseren.
Microsoft heeft een previewversie van Dryad uitgebracht. Met dat platform kunnen gebruikers grote hoeveelheden data die verspreid staan over in theorie honderden servers beheren en analyseren. Dryad is een antwoord op Googles technologie MapReduce (die niet voor anderen beschikbaar is) en het open-source platform Hadoop.
Volledig voor Windows
Dat meldt het bedrijf op zijn weblog. Naast Dryad introduceert Microsoft ook DryadLINQ. Dat is een programmeertaal die bedoeld is om applicaties voor het platform te schrijven. Net als het besloten Google MapReduce en Hadoop is Dryad bedoeld om te rekenen met enorme hoeveelheden gegevens die verspreid staan over een groot aantal servers.
Dryad wijkt van die platformen af omdat het volledig gemaakt is voor clusters die Microsofts Windows HPC Server draaien. Programmeertaal DryadLINQ is bovendien gebaseerd op de taal .NET LINQ.
Microsoft zit ook in open-source concurrent
Het is opvallend dat Microsoft een eigen rekenplatform voor serverclusters uitbrengt. Een deel van het bedrijf werkt namelijk al met open-source tegenhanger Hadoop. Die software is ontworpen met papers over Googles MapReduce als handleiding. Het platform wordt gebruikt door onder andere Yahoo!, Facebook en Microsofts zoekmachine Bing.
Alhoewel Yahoo! miljoenen in Hadoop pompte is het project nog steeds open-source. Nadat Microsoft het bedrijf Powerset overnam werkt de softwarereus uit Redmond zelfs mee aan het open-source project. Powerset is ook de grondlegger van HBase, een zusje van Hadoop dat Googles databasesysteem BigTable nabootst.
Nog geen partij voor Google en Hadoop
Dat lijkt te verklaren omdat Microsoft al sinds 2007 werkt aan Dryad en DryadLINQ. Dat was voor het bedrijf Powerset kocht. In de zomer van 2009 werd een gratis versie van het platform verstrekt aan universiteiten. Dit jaar verplaatste Microsoft het programma pas van zijn onderzoeksafdeling naar de afdeling 'Technical Computing' die er een echt product van moet maken.
Microsoft geeft aan dat de preview nog echt een betaversie is. Het kan niet omgaan met meer dan 2028 schijfpartities en is getest op slechts 128 verschillende machines. MapReduce, waar Dryad uiteindelijk op gebaseerd is, is net als Hadoop al veel verder dan Dryad. Die platformen kunnen data verdeeld over duizenden servers aan. Hadoop geeft zelfs geen theoretische serverlimiet op.
