IBM versterkt Apache Spark met 3.500 medewerkers

IBM gaat vol inzetten op Apache’s open-source cluster computing framework Spark. Spark wordt de basis onder alle analytics en business platforms van IBM, evenals de Watson Health Cloud en wordt daarnaast aangeboden als dienst op IBM’s Bluemix cloud.

IBM delegeert ruim 3.500 onderzoekers en ontwikkelaars naar Spark-gerelateerde projecten en is van plan om een Spark Technology Center op te richten in San Francisco, waar datawetenschappers en ontwikkelaars kunen samenwerken met IBM ontwerpers en architecten. Ook heeft IBM toegezegd om de SystemML machine-learning bibliotheken vrij te geven onder open source gebruiksvoorwaarden.

Spark is in 2009 uitgevonden door onderzoekers van de University of California in Berkeley onder leiding van Matei Zaharia en is twee jaar geleden aan Apache gedoneerd. Spark is geschreven in Java, Scala en Python en is een in-memory systeem voor de verwerking van grote datasets, en kan schalen tot meer dan 8.000 productie nodes.