of 59080 LinkedIn

Small data, BIG challenge

AfbeeldingIedereen weet intussen wel wat we met Big Data bedoelen: het beschikbaar hebben van grote hoeveelheden data waaruit met analyse-gereedschappen (nog) onbekende informatie kan worden verzameld. In feite gaat het om het resultaat – de kennis en intelligence die we uit al die data weten te destilleren – slim te gebruiken om processen beter te kunnen begrijpen en aan te sturen.

Als we in staat zijn alle relevante data te verzamelen en op een centrale plaats bij elkaar te brengen in een data lake, dan is het uitvoeren van de analyses door data scientists niet zo moeilijk meer. Dat is een prima te organiseren proces, omdat het hele traject goed kan worden beschreven en ingericht.

Maar we hebben ook Small Data. Hele kleine setjes data die bijvoorbeeld door sensoren worden gecreëerd. Of draagbare devices die met grote regelmaat, of soms zelfs continu, een stroom meetgegevens aanmaken. Al deze kleine datapakketjes zijn de kern van het nieuwe Internet of Things. Hiermee weten we hoe apparatuur zich gedraagt, kunnen we stuursignalen geven, kunnen we devices volgen etc.

 

Een enorme stroom van Small Data is overal ter wereld aan het ontstaan. Deze data ontvangen, verzamelen en goed gebruiken is een groeiende uitdaging aan het worden. Want allereerst zal je moeten weten of je het juiste datasetje hebt gekregen; dus zal identificatie van die datapakketjes een uitdaging worden.

 

Dataregulatie
Daarnaast is het de vraag wie allemaal toegang tot die enorme stromen data kan en mag krijgen. Kleine datasetjes versleutelen en identificeren is zeker mogelijk, maar blijft een intensief proces en het stelt flinke eisen aan de onderliggende infrastructuur. Denk alleen maar eens aan de miljoenen bestuurdersloze auto’s die over 10 jaar op onze wegen zullen rijden. Dan wordt het probleem van het betrouwbaar kunnen blijven uitwisselen van al die datasets in volle grootte zichtbaar.

 

We moeten deze datastromen dus wel adequaat gaan reguleren, want alles aan de markt overlaten, zal tot een chaos leiden. Denk aan hoe precies de luchtvaartautoriteiten de communicatie in de luchtvaart hebben moeten regelen. Aparte kanalen voor allerhande soorten communicatie van en naar de grond en tussen vliegtuigen onderling. Communicatie-afspraken, protocollen en prioriteit bij noodsituaties. Dit zullen we ook voor ons wegverkeer moeten ontwikkelen, grensoverschrijdend.

 

Het is dus niet een Big Data probleem dat we voor het IoT moeten regelen, maar de tsunami van Small Data. De stroom van miljarden en miljarden kleine digitale berichtjes, die heen en weer worden gestuurd. Het opslaan, veilig versturen en managen van die datastromen is een belangrijk aandachtspunt waar ook mijn bedrijf al druk mee bezig is om oplossingen te benoemen en te ontwikkelen.

 

Maar dit moet samen met de overheden worden georganiseerd, anders ontstaat een nachtmerrie, als al die verwachte 5 miljard IoT devices in 2020 met elkaar gaan communiceren. En geloof me, dit probleem is vele malen groter dan hoe we momenteel Big Data kunnen verzamelen en analyseren. Of zoals men wel zegt: ‘Small data is the new Big.’

 

Smart Grids
Een rapport van Gartner geeft aan dat deze nieuwe datastromen ook andersoortige datacenters nodig zullen hebben. Veel data dient immers, zodra het ontvangen is, real-time te worden verwerkt en naar de juiste organisatie, eigenaar of beheerder te worden gestuurd. Dit stelt heel andere eisen aan deze datacenters, die vaker in kleinere vorm gedistribueerd in slimme netwerken zijn opgenomen. Kleine geautomatiseerde nodes die in fijnmazige netwerken dataverkeer zelfstandig kunnen afhandelen. Waarmee het internet steeds meer onzichtbaar op de achtergrond zijn steeds grotere rol zal spelen.

 

Gartner voorspelt voor de in 2020 verwachte 26 miljard IoT-devices, een potentiële markt van 300 miljard dollar. En de noodzakelijke real-time verwerking stelt hoge eisen aan adequaat inzicht van locatie en herkomst van de ontvangen data. Dit soort effectieve real-time werkende datacenters zijn vooralsnog nog onbetaalbaar voor de schaal waarop ze nodig zijn. Maar nieuwe software defined oplossingen dienen zich aan, hoewel de komende jaren nog veel innovatie nodig is om de komst van het IoT mogelijk te maken.

 

De belangrijkste aandachtspunten zijn in de eerste plaats security en authenticatie van de te verzenden datapakketjes. Dan is er het privacy-aspect: wie mag welke data ontvangen, lezen en gebruiken? Welke wetgeving dient hiervoor te worden ontwikkeld? Hoe kunnen we voorkomen dat anderen jouw auto kunnen starten of anderszins beïnvloeden? De gegenereerde data is enerzijds dus persoonlijke data (consument gedreven) en big data (bedrijfsgedreven informatie en trend analyse).

 

De impact van het IoT op storage management is een vraagstuk waarvan we nog niet precies weten hoe dat op die schaalgrootte op te lossen. Het is immers de real-time verwerking enerzijds en anderzijds het verzamelen van al die data om trends, performance en gevaren te signaleren. Groot en snel gaat lastig samen. Tenslotte ligt er voor het netwerk nog een uitdaging om de bandbreedte eisen van deze snel veranderende hoeveelheid kleine datasets, die ook in ‘bursts’ kunnen voorkomen, te transporteren.

 

Nog vele uitdagingen
Kortom, het Internet of Things komt geleidelijk onze maatschappij binnen. Maar de daarvoor noodzakelijke technische infrastructuur is nog lang niet gereed voor deze ontwikkeling. Vergelijkbaar toen de eerste draadloze telefoons kwamen en het nog vele jaren duurde voor er een dekkende infrastructuur over ons land van ontvangers en zenders lag. Maar dat zal ons niet tegenhouden steeds meer (draadloze) devices te installeren om slimme functies te realiseren in en om ons huis, voor als we onderweg zijn of ons te ondersteunen in andere dagelijkse activiteiten.

 

Dit artikel verscheen origineel op www.datacentered.nl

Verstuur dit artikel naar Google+

Reageer op dit artikel
















Even geduld a.u.b.

AfbeeldingDell EMC Computer Systems (Benelux)

Edisonbaan 14 B

3439 MN Nieuwegein

www.netherlands.emc.com

www.datacentered.nl / www.emcblog.nl

netherlands@emc.com 

Afbeelding Afbeelding Afbeelding 

Meer nieuws

Afbeelding

 

 

Equalit: Samenwerkingsverband meerdere gemeenten

Bloggers