Zet de turbo op dataverwerking

Gepubliceerd: Dinsdag 1 december 2009

Nieuwe technologieën beloven forse verbeteringen in de snelheden waarmee data wordt afgehandeld. Drie springen eruit: MapReduce, VectorWise en XML databases.

Toon volledig artikel

BeterWeter op Dinsdag 1 December 2009 16:57

Deze technologie past de Wet van Moore toe op zakelijke applicaties en versnelt verwerking flink.
De wet van Moore is een observatie, niet iets dat je toe kunt passen, en het gaat over vooruitgang in hardware, niet software.

0 / 0

Caesar Tjalbo op Dinsdag 1 December 2009 23:30

Curieus iets inderdaad, tenzij we nu al moeten gaan denken aan een verdubbeling van het aantal transistoren per applicatie elke 2 jaar.

Het artikel wijst op vector processing maar dat is volgens mij meer parallel verwerken, eigenlijk hetzelfde als het daarvoor genoemde 'mapreduce'.

De website van Vectorwise levert zo weinig informatie dat er niets zinnigs uit te halen valt behoudens iets als 'de database optimaliseren op de hardware'. Zoiets als slimmere algoritmes gebruiken om zo de cache beter te benutten.

0 / 0

Skinkie op Maandag 11 Januari 2010 03:47

Je moet denken in de richting van SIMD instructies en compressie. Eventueel kun je het proefschrift van Marcin Zukowski er eens op naslaan.

0 / 0

Anonymous Coward op Dinsdag 1 December 2009 17:32

Beetje warrig en vooral wollig verhaal dit.. Linux op hardware?? Euhh.. waar wil je Linux anders inzetten? En een filesystem is ook een database, maar volgens een ander ordeningsprincipe dan een relationele database.

0 / 0

mocean op Dinsdag 1 December 2009 21:58

Behoorlijk wollig verhaal inderdaad en een hoop onzin. XML gebaseerde databases zijn er volgens mij nauwelijks. XML is een format voor datauitwisseling. Voor permanente storage van databases lijkt het mij vrij zinloos.

"Een XML-database heeft de structuur daarvan direct door"
Verder zit het hele artikel vol met dit soort stellingen en beweringen zonder enige onderbouwing.

1 / 1

anonymous_108749 op Woensdag 2 December 2009 08:28

Eens!

Een XML-database lijkt me een op veel kleine losse bestanden gebaseerde structuur. Dit betekent dat je de conventionele harde schijven daarvoor niet moet gebruiken in verband met de trage zoektijden en moet kiezen voor een OS dat een goede indexering gebruikt. Je bent dan al haast verplicht SSD te gebruiken, wat een investering uiterst kostbaar maakt. Om over de duurzaamheid nog maar te zwijgen.

Ik heb grote bedenkingen bij dit soort databases, maar weet wel dat er een aantal grote bedrijven in Nederland actief zijn die deze structuur aanbieden. Als je de offertes van deze mensen bekijkt schieten je de tranen over de rug...

Ik ben heel benieuwd naar de verschillen tussen conventionele en XML databases en de benchmarks ervan. Wat is sneller, efficiënter en beter?

Overtuigen doe je niet met commerciële praatjes, maar met harde cijfers!!

Helaas laten veel bedrijven zich overhalen op basis van mooie verhalen over luchtkastelen en roze wolkjes, maar komen er na of tijdens zo'n project al snel achter dat ze in de hel terecht zijn gekomen. Onze overheid is daar een goed voorbeeld van, waar veel ICT-projecten mislukken.

1 / 1

Caesar Tjalbo op Woensdag 2 December 2009 13:18

Waarom heb je een mening over XML-databases maar heb je geen idee wat dat is?Ik ben heel benieuwd naar de verschillen tussen conventionele en XML databases en de benchmarks ervan. Wat is sneller, efficiënter en beter?

0 / 0

anonymous_108749 op Woensdag 2 December 2009 14:56

Omdat ik op basis van het verhaal, technische feiten en de beweringen die worden gedaan zeer zeker een gefundeerde mening kan vormen.

Daarbij haal je een vraag naar voren, waarmee mijn mening ter discussie stel. Dus als je goede argumenten hebt om mijn mening onderuit te halen, dan houd ik me aanbevolen.

0 / 0

Caesar Tjalbo op Woensdag 2 December 2009 15:40

Daarbij haal je een vraag naar voren, waarmee mijn mening ter discussie stel. Dus als je goede argumenten hebt om mijn mening onderuit te halen, dan houd ik me aanbevolen.Niet per se, je roept eerst dat je het eens bent, dan geef je wat inhoud en vervolgens geef je aan niet te weten wat een XML database is. Wat is de mening dan waard en waarom zou ik met argumenten moeten komen die je toch niet kan toetsen?

Ik heb ook niet zo'n behoefte om jouw mening "onderuit te halen", ik wil wel wat van mijn gedachten geven over jouw comments:
Een XML database hoeft niet uit kleine losse bestanden te bestaan en hoeft zelfs niet in tekst vorm te worden opgeslagen. Of harde schijven zo traag zijn valt te bezien, dat ligt ook aan zaken als RAID en sectorgrootte. Zelfs in het geval van een bestandssyteem als database (voor kleine losse bestanden) kan je nog spelen door een ander FS te gebruiken, bijvoorbeeld ZFS.
SSDs zijn snel maar dit merk je vooral bij lezen, zodra je veel en vaak kleine hoeveelheden schrijft zal de performance van de drive achteruitgaan.

Wat doet XML? Je neemt structuur, betekenis en inhoud tezamen. In dat opzicht heeft het wat weg van een object database. Is er een reden om je relationele of netwerkdatabase meteen het raam uit te kieperen? Natuurlijk niet maar als je invoer uit XML bestaat en als je uitvoer uit XML bestaat, wellicht dat je dan kan gaan kijken of een directe opslag als XML zinvol is.

Harde cijfers over snelheid en efficientie zijn alleen relevant als dat voor de gebruiker van de database (het meest) belangrijk is; er zijn andere aspecten van XML die het een waardevol formaat maken zoals het kunnen toepassen van XSLT.

0 / 0

Skinkie op Maandag 11 Januari 2010 03:52

Typisch is een XML database een database waar je direct XQuery of XPath expressies op kan toepassen. En waar de structuur van de data zo is geoptimaliseerd dat je niet het document iedere keer opnieuw hoeft te parsen, maar je een parseerboom opslaat.

De database bestaat zelf wel uit een aantal losse hoopjes met XML data, waar dus op een andere manier door heen gegaan kan worden als met een SQL query. XQuery is best aardig voor een aantal dingen... maar je moet er geen wonderen van verwachten als de data die je aan het querien bent eigenlijk niets meer is dan een relationele database met XML opmaak.

0 / 0

cymric op Dinsdag 1 December 2009 23:53

Ik zal maar denken dat Webwereld met de opbrengst van dit artikel weer een weekje bandbreedte en misschien een bescheiden salarisje kan betalen. Alle beetjes helpen, nietwaar?