DARPA investeert miljoenen in het bedrijf Continuum Analytics dat bekendstaat om zijn open source-expertise. Het bedrijf moet een datavisualisatietool ontwerpen die is gebaseerd op Python. De ontwikkeling moet de dataverwerkingsmogelijkheden van Python uitbreiden waar huidige libraries als NumPy en SciPy niet voldoen.

Communicatiedata verwerken

DARPA is op zoek naar een manier om Big Data-oplossingen schaalbaar te maken via een programmeertaal die betrekkelijk eenvoudig is te leren en kwam hierdoor bij de open source-programmeertaal uit.

De investering is onderdeel van een DARPA-programma om tools te ontwikkelen voor het Amerikaanse defensieapparaat om grote gegevensverzamelingen te verwerken. Het leger moet zo efficiënter telemetrie uit het veld kunnen interpreteren van bijvoorbeeld communicatiemiddelen en sensoren. Zulke informatie uit het veld neemt alleen maar toe en de systemen die daar nu voor worden gebruikt zijn niet geschikt om Big Data te verwerken.

Open source bij Defensie

Continuum Analytics ontwikkelt met de investering door aan NumPy-implementatie Blaze, compiler Numba en visualisatie-library Bokeh. “We zijn verheugd om ons steentje bij te kunnen dragen om open source-tools naar het defensieapparaat te brengen", aldus ceo Peter Wang in een persbericht over de investeringsslag.

Python is uitermate geschikt voor Big Data-tools, vanwege diens hechte integratie met relationele databases. De programmeertaal wordt dan ook vaak ingezet voor webapplicaties, net als PHP en Perl. Een van de grote producten van Continuum Analytics is dan ook een schaalbare databeheertool die gebruik maakt van DDFS, het op Python geschreven MapReduce-alternatief.