Definición rápida de big data para tareas

Big Data, macrodatos o datos masivos es algo diferente a lo que estamos acostumbrados y a la cantidad de datos que hemos aprendido a manejar. De forma natural aprendimos a producir, almacenar y procesar y pequeñas cantidades de datos que para su momento fueron una "gran cantidad de datos".

En un principio un disquete de 5 1/4 tenía la capacidad de almacenar tan solo 79,6 Kb, es decir 15 veces menos capacidad de almacenamiento que el tamaño promedio de una fotografía tomada con un celular de hoy en día.

Conforme como creció la capacidad de almacenamiento fueron creciendo la complejidad de los dispositivos y su capacidad de computo, al grado que el teléfono inteligente más modesto tiene cientos y miles de veces más capacidad de computo que el Apollo Guiding Computer (AGC), el computador que llevó al Apollo 11 a la luna.

Sin embargo a pesar de las increíbles capacidad de computo de los dispositivos existentes y sus superiores capacidades de almacenamiento, estos datos son inmanejables para manejar todos los datos que en el planeta tierra se producen a diario. Es aquí donde el termino big data aparece, haciendo referencia a la captura, procesamiento, almacenamiento, procesamiento y visualización en una cantidad de tiempo aceptable.

El sector de las tecnologías de la información y la comunicación, TIC, es la rama del conocimiento que se encarga de los datos masivos se enmarca y en general esta disciplina se encarga de manipular o administrar grandes conjuntos de datos con el fin de extraer información inteligible para los humanos.

Es incalculable el impacto que tendrá el análisis de datos masivos en todas las áreas del conocimiento humanos, pero es innegable que será de grandes proporciones para todos las actividades de la raza humana como la medicina, la genómica, el análisis de negocio,   marketing digital predictivo, la publicidad, dinámica de enfermedades infecciosas y emergentes, el seguimiento de capitales, los flujos de materias primas y divisas, la seguridad urbana, la lucha contra el crimen, el espionaje etc.

Para aprender más sobre big data visita:

Que es big data o macrodatos?

Que es big data o macrodatos?

Cualquier explicación sobre que es el big data o los macrodatos merece una reflexión previa: "los datos nunca duermen". Es la consigna de la conocida infografía de Josh James, fundador de Domo, que en su versión más reciente nos dice que cada minuto del día se publican más de 216.000 fotos en Facebook, se suben 400 horas de vídeo a Youtube o que Google traduce más de 69 millones de palabras por minuto.

Dicho de otra forma, si te dedicaras a tomar una foto cada segundo de los 86.400 segundos de tu día, solo alcanzarías a tomar dos quintas partes de todas las fotos que se suben a Facebook en un minuto. De aquí que cada minuto se transmitan de forma inalámbrica más de 18 terabytes de datos. Si este valor ya te comienza a parecer muy grande, ten presente que estos datos son solo en los Estados Unidos y que mientras estoy escribiendo este artículo se han vendido solo el día de hoy 4.363.586 celulares en el mundo (datos gracias a Gartner big data analytics) y que en este momento hay más de 3400 millones de usuarios conectados a Internet, todos ellos generando, transmitiendo, almacenando y procesando datos de manera individual que en conjunto forman un inmenso océano de datos.

Continuando con el ejemplo, y solo para favorecer el símil y la explicación, vamos a suponer que podrías asumir la demandante tarea de tomar fotos durante los 86.400 segundos de tu día, el primero de los retos al que te enfrentarías sería como recolectarlas, es decir, que la capacidad de cómputo del dispositivo permita procesar la imagen. Luego te enfrentarías a la capacidad y velocidad de almacenamiento, las cuales en un dispositivo promedio son de unos 8-32 gigabytes y una tasa de escritura entre los 2-4 megabytes por segundo. Con lo cual difícilmente alcanzarías a guardar las fotos porque tienes aproximadamente 100 gigabytes de datos en forma de fotografías y porque la eficiencia de almacenamiento disminuye a medida que el dispositivo se calienta por el ingreso de los datos.

Si logras salir de los retos anteriores habrás terminado con un gran cansancio, ahora imagina cuanto tiempo te tomaría solo visualizar esas fotografías, supongamos que quieres encontrar la foto que tomaste al medio día mientras almorzabas, solo buscar esa foto para verla tomaría mucho tiempo y sería un reto para la cámara, el celular y/o el computador promedio, porque tendría un uso de recursos muy alto de memoria por el uso de gráficos y vídeo. Pero es mucho más lo que se pueden hacer con esas fotos, por ejemplo, las podrías comparar para saber cuales son las mejores, analizar en detalle cuales "te gustan" más para luego transmitirlas a tus redes sociales.

Sin lugar a dudas llevar a cabo esta tarea sería algo largo, tedioso y difícil. En los años de producción digital que tengo, creo que a lo sumo poseo 20.000 fotografías y tan solo encontrar una de ellas resulta en muchos casos, al menos, un proceso demandante de tiempo.

Hasta este punto se estarán preguntando pero bueno y al fin ¿qué es big data?, ¿qué son los macrodatos?. Este símil era necesario para que cualquier persona tuviese una idea de la dimensión y cantidad de datos que se maneja en Big Data, con algo que le resultara familiar como lo es tomar una foto y subirla a sus redes sociales.

Somos más de 7.400 millones de habitantes en el planeta Tierra, que a diario queramos o no, generamos datos que están siendo recopilados, almacenados, procesados, analizados y visualizados por cientos de empresas, entidades del estado y personas. Esto no se limita a fotos o vídeos, se almacenan y procesan literalmente todos los datos imaginables desde los más conocidos como: tus búsquedas en Internet, la música que te gusta o tus restaurantes favoritos; o los menos conocidos que son almacenados así tu no te des cuenta como: el lugar donde duermes, los datos biométricos de tu rostro, tus preferencias de pareja (reveladas o no), tu perfil psicológico, número de tus tarjetas de crédito y un largo etcétera que desborda las intenciones de este artículo y de Big Data Web porque incluso las organizaciones generan amplios volúmenes de datos. En una próxima entrada trataré este tema desde la perspectiva del derecho a la privacidad y el big data.

De forma tal que, si solo manejar el caso hipotético del ejemplo representa todo un reto, entonces:

¿Como gestionar estos grandes (big) volúmenes de datos (data) que se están generando segundo a segundo por toda la humanidad?

Es aquí donde entra el concepto de big data (macrodatos o datos masivos) un conjunto de metodologías y procedimientos apoyado en tecnologías emergentes que buscan la recolección-almacenamiento de datos a gran escala para su búsqueda-acceso, análisis y visualización (creación de reportes) con el fin de determinar tendencias o patrones, es decir, permite convertir datos en conocimiento. Los cuales apoyan el desarrollo de la economía, la tecnología, las comunicaciones y en general todos los aspectos que nos rigen como sociedad, es de este hecho que se prevea una explosión de su aplicación en áreas como el comercio, la cyberseguridad, la agricultura avanzada, el medio ambiente, la producción de energía, la atención de desastres entre muchos otros que en Big Data Web estaremos abordando.

Me despido dejando un saludo, si os ha gustado compartir y comentar. Un abrazo a todos y hasta el próximo artículo.