Big Data : agosto 2016

2016-08-31

Que es big data o macrodatos?

Cualquier explicación sobre que es el big data o los macrodatos merece una reflexión previa: "los datos nunca duermen". Es la consigna de la conocida infografía de Josh James, fundador de Domo, que en su versión más reciente nos dice que cada minuto del día se publican más de 216.000 fotos en Facebook, se suben 400 horas de vídeo a Youtube o que Google traduce más de 69 millones de palabras por minuto.

Dicho de otra forma, si te dedicaras a tomar una foto cada segundo de los 86.400 segundos de tu día, solo alcanzarías a tomar dos quintas partes de todas las fotos que se suben a Facebook en un minuto. De aquí que cada minuto se transmitan de forma inalámbrica más de 18 terabytes de datos. Si este valor ya te comienza a parecer muy grande, ten presente que estos datos son solo en los Estados Unidos y que mientras estoy escribiendo este artículo se han vendido solo el día de hoy 4.363.586 celulares en el mundo (datos gracias a Gartner big data analytics) y que en este momento hay más de 3400 millones de usuarios conectados a Internet, todos ellos generando, transmitiendo, almacenando y procesando datos de manera individual que en conjunto forman un inmenso océano de datos.



bigdata

Continuando con el ejemplo, y solo para favorecer el símil y la explicación, vamos a suponer que podrías asumir la demandante tarea de tomar fotos durante los 86.400 segundos de tu día, el primero de los retos al que te enfrentarías sería como recolectarlas, es decir, que la capacidad de cómputo del dispositivo permita procesar la imagen. Luego te enfrentarías a la capacidad y velocidad de almacenamiento, las cuales en un dispositivo promedio son de unos 8-32 gigabytes y una tasa de escritura entre los 2-4 megabytes por segundo. Con lo cual difícilmente alcanzarías a guardar las fotos porque tienes aproximadamente 100 gigabytes de datos en forma de fotografías y porque la eficiencia de almacenamiento disminuye a medida que el dispositivo se calienta por el ingreso de los datos.

Si logras salir de los retos anteriores habrás terminado con un gran cansancio, ahora imagina cuanto tiempo te tomaría solo visualizar esas fotografías, supongamos que quieres encontrar la foto que tomaste al medio día mientras almorzabas, solo buscar esa foto para verla tomaría mucho tiempo y sería un reto para la cámara, el celular y/o el computador promedio, porque tendría un uso de recursos muy alto de memoria por el uso de gráficos y vídeo. Pero es mucho más lo que se pueden hacer con esas fotos, por ejemplo, las podrías comparar para saber cuales son las mejores, analizar en detalle cuales "te gustan" más para luego transmitirlas a tus redes sociales.

Sin lugar a dudas llevar a cabo esta tarea sería algo largo, tedioso y difícil. En los años de producción digital que tengo, creo que a lo sumo poseo 20.000 fotografías y tan solo encontrar una de ellas resulta en muchos casos, al menos, un proceso demandante de tiempo.

Hasta este punto se estarán preguntando pero bueno y al fin ¿qué es big data?, ¿qué son los macrodatos?. Este símil era necesario para que cualquier persona tuviese una idea de la dimensión y cantidad de datos que se maneja en Big Data, con algo que le resultara familiar como lo es tomar una foto y subirla a sus redes sociales.

Somos más de 7.400 millones de habitantes en el planeta Tierra, que a diario queramos o no, generamos datos que están siendo recopilados, almacenados, procesados, analizados y visualizados por cientos de empresas, entidades del estado y personas. Esto no se limita a fotos o vídeos, se almacenan y procesan literalmente todos los datos imaginables desde los más conocidos como: tus búsquedas en Internet, la música que te gusta o tus restaurantes favoritos; o los menos conocidos que son almacenados así tu no te des cuenta como: el lugar donde duermes, los datos biométricos de tu rostro, tus preferencias de pareja (reveladas o no), tu perfil psicológico, número de tus tarjetas de crédito y un largo etcétera que desborda las intenciones de este artículo y de Big Data Web porque incluso las organizaciones generan amplios volúmenes de datos. En una próxima entrada trataré este tema desde la perspectiva del derecho a la privacidad y el big data.



Bigdata

De forma tal que, si solo manejar el caso hipotético del ejemplo representa todo un reto, entonces:

¿Como gestionar estos grandes (big) volúmenes de datos (data) que se están generando segundo a segundo por toda la humanidad?


Es aquí donde entra el concepto de big data (macrodatos o datos masivos) un conjunto de metodologías y procedimientos apoyado en tecnologías emergentes que buscan la recolección-almacenamiento de datos a gran escala para su búsqueda-acceso, análisis y visualización (creación de reportes) con el fin de determinar tendencias o patrones, es decir, permite convertir datos en conocimiento. Los cuales apoyan el desarrollo de la economía, la tecnología, las comunicaciones y en general todos los aspectos que nos rigen como sociedad, es de este hecho que se prevea una explosión de su aplicación en áreas como el comercio, la cyberseguridad, la agricultura avanzada, el medio ambiente, la producción de energía, la atención de desastres entre muchos otros que en Big Data Web estaremos abordando.

Me despido dejando un saludo, si os ha gustado compartir y comentar. 
Un abrazo a todos y hasta el próximo artículo.