Big Data

2017-02-10

El oscurantismo de los datos masivos


Quiero escribir estas palabras con el fin de decirles que una de las competencias para el ser humano y de las más importantes para el futuro como civilización es aprender a reconocer y discernir entre una información falsa y una información verdadera.

oscurantismo de los datos masivos
Algunos Jugos de manzana, jugo de uva, rodajas de durazno, peras analizados
por la FDA en 2010 tenían  niveles de plomo que rondan los 15 ppm o menos


Los riesgos de nuestros días en la era de la información son de una trascendencia que no alcanzamos a calcular y mucho menos predecir, como el caso de Edgar Welch que con fusil de asalto en mano entró en una pizzería de Washington y arremetió a tiros, porque supuestamente era la sede de una red de prostitución infantil liderada por Hillary Clinton y él quería detener a los supuestos pedófilos. La mentira inició en un mensaje de twitter y fue propagada citando como fuente una publicación de un perfil de Facebook. Para fortuna de los desprevenidos visitantes de la pizzería no falleció nadie, muy a pesar que Edgar Welch en una firmeza de intenciones llevaba además del fusil de asalto, una pistola, una escopeta y un cuchillo.

Respecto al mensaje de la supuesta presencia de plomo en los labiales es muy fácil encontrar que es una distorsión de datos reales, en pocas palabras una mentira y es realmente fácil encontrar quienes son los que más usan esa información, justamente la competencia de las mencionadas empresas con supuesta presencia de plomo. Desconozco el motivo y el origen de ese texto pero en realidad si puedo anticipar las intenciones y no son justamente informar de manera gratuita y desprevenida, busca como todas las redes de noticias falsas y mentiras desinformar, crear pánico y miedo con la intención de influir en la toma de decisiones de las personas, una forma de manipulación que nos deja en el riesgo de caer en un moderno-oscurantismo peor que el que se dio en las etapas más cruentas de la edad media; el oscurantismo de los datos masivos.


Nota técnica aclaratoria:

1. La FDA, Administración de Alimentos y Fármacos de los Estados Unidos, limita la presencia de plomo en lotes de colorantes para labiales a solo 10-20 ppm (partes por millón), estos colorantes como se usa en bajas condiciones representa un poco probable riesgo para la salud.

2. La FDA en diciembre de 2016 publicó el documento de "Limitación del plomo en el lápiz labial y otros cosméticos". Evaluó 400 cosméticos y los 400 contenían contaminación con plomo, no se salvó ninguno. Sin embargo todos tenían contaminación con plomo por debajo de lo permitido por la FDA.

3. Curiosamente en el mensaje que acusa a algunas marcas de tener plomo no se mencionan a las marcas Maybelline (L'Oréal USA), L'Oréal (L'Oréal USA), Revlon (Revlon), Cover Girl Queen Collection (Procter & Gamble), Stargazer (Stargazer) que fueron las marcas que tuvieron la concentración de plomo más alta en el estudio de la FDA.

4. En el caso de la marcas no mencionadas en el mensaje viral, Maybelline (L'Oréal USA) y (L'Oréal USA) la concentración fue por encima de 7,0 ppm, casi alcanzando los limites de la FDA.

Todos los dato presentados aquí se obtuvieron en una búsqueda rápida de menos de cinco minutos, con el uso de palabras clave y buscando fuentes de reputada credibilidad como la FDA.


2017-02-02

Definición rápida de big data para tareas

Big Data, macrodatos o datos masivos es algo diferente a lo que estamos acostumbrados y a la cantidad de datos que hemos aprendido a manejar. De forma natural aprendimos a producir, almacenar y procesar y pequeñas cantidades de datos que para su momento fueron una "gran cantidad de datos".

En un principio un disquete de 5 1/4 tenía la capacidad de almacenar tan solo 79,6 Kb, es decir 15 veces menos capacidad de almacenamiento que el tamaño promedio de una fotografía tomada con un celular de hoy en día.


big data


Conforme como creció la capacidad de almacenamiento fueron creciendo la complejidad de los dispositivos y su capacidad de computo, al grado que el teléfono inteligente más modesto tiene cientos y miles de veces más capacidad de computo que el Apollo Guiding Computer (AGC), el computador que llevó al Apollo 11 a la luna.

Sin embargo a pesar de las increíbles capacidad de computo de los dispositivos existentes y sus superiores capacidades de almacenamiento, estos datos son inmanejables para manejar todos los datos que en el planeta tierra se producen a diario. Es aquí donde el termino big data aparece, haciendo referencia a la captura, procesamiento, almacenamiento, procesamiento y visualización en una cantidad de tiempo aceptable.

El sector de las tecnologías de la información y la comunicación, TIC, es la rama del conocimiento que se encarga de los datos masivos se enmarca y en general esta disciplina se encarga de manipular o administrar grandes conjuntos de datos con el fin de extraer información inteligible para los humanos.


big data


Es incalculable el impacto que tendrá el análisis de datos masivos en todas las áreas del conocimiento humanos, pero es innegable que será de grandes proporciones para todos las actividades de la raza humana como la medicina, la genómica, el análisis de negocio,   marketing digital predictivo, la publicidad, dinámica de enfermedades infecciosas y emergentes, el seguimiento de capitales, los flujos de materias primas y divisas, la seguridad urbana, la lucha contra el crimen, el espionaje etc.

Para aprender más sobre big data visita:

Que es big data o macrodatos?

2016-08-31

Que es big data o macrodatos?

Cualquier explicación sobre que es el big data o los macrodatos merece una reflexión previa: "los datos nunca duermen". Es la consigna de la conocida infografía de Josh James, fundador de Domo, que en su versión más reciente nos dice que cada minuto del día se publican más de 216.000 fotos en Facebook, se suben 400 horas de vídeo a Youtube o que Google traduce más de 69 millones de palabras por minuto.

Dicho de otra forma, si te dedicaras a tomar una foto cada segundo de los 86.400 segundos de tu día, solo alcanzarías a tomar dos quintas partes de todas las fotos que se suben a Facebook en un minuto. De aquí que cada minuto se transmitan de forma inalámbrica más de 18 terabytes de datos. Si este valor ya te comienza a parecer muy grande, ten presente que estos datos son solo en los Estados Unidos y que mientras estoy escribiendo este artículo se han vendido solo el día de hoy 4.363.586 celulares en el mundo (datos gracias a Gartner big data analytics) y que en este momento hay más de 3400 millones de usuarios conectados a Internet, todos ellos generando, transmitiendo, almacenando y procesando datos de manera individual que en conjunto forman un inmenso océano de datos.



bigdata

Continuando con el ejemplo, y solo para favorecer el símil y la explicación, vamos a suponer que podrías asumir la demandante tarea de tomar fotos durante los 86.400 segundos de tu día, el primero de los retos al que te enfrentarías sería como recolectarlas, es decir, que la capacidad de cómputo del dispositivo permita procesar la imagen. Luego te enfrentarías a la capacidad y velocidad de almacenamiento, las cuales en un dispositivo promedio son de unos 8-32 gigabytes y una tasa de escritura entre los 2-4 megabytes por segundo. Con lo cual difícilmente alcanzarías a guardar las fotos porque tienes aproximadamente 100 gigabytes de datos en forma de fotografías y porque la eficiencia de almacenamiento disminuye a medida que el dispositivo se calienta por el ingreso de los datos.

Si logras salir de los retos anteriores habrás terminado con un gran cansancio, ahora imagina cuanto tiempo te tomaría solo visualizar esas fotografías, supongamos que quieres encontrar la foto que tomaste al medio día mientras almorzabas, solo buscar esa foto para verla tomaría mucho tiempo y sería un reto para la cámara, el celular y/o el computador promedio, porque tendría un uso de recursos muy alto de memoria por el uso de gráficos y vídeo. Pero es mucho más lo que se pueden hacer con esas fotos, por ejemplo, las podrías comparar para saber cuales son las mejores, analizar en detalle cuales "te gustan" más para luego transmitirlas a tus redes sociales.

Sin lugar a dudas llevar a cabo esta tarea sería algo largo, tedioso y difícil. En los años de producción digital que tengo, creo que a lo sumo poseo 20.000 fotografías y tan solo encontrar una de ellas resulta en muchos casos, al menos, un proceso demandante de tiempo.

Hasta este punto se estarán preguntando pero bueno y al fin ¿qué es big data?, ¿qué son los macrodatos?. Este símil era necesario para que cualquier persona tuviese una idea de la dimensión y cantidad de datos que se maneja en Big Data, con algo que le resultara familiar como lo es tomar una foto y subirla a sus redes sociales.

Somos más de 7.400 millones de habitantes en el planeta Tierra, que a diario queramos o no, generamos datos que están siendo recopilados, almacenados, procesados, analizados y visualizados por cientos de empresas, entidades del estado y personas. Esto no se limita a fotos o vídeos, se almacenan y procesan literalmente todos los datos imaginables desde los más conocidos como: tus búsquedas en Internet, la música que te gusta o tus restaurantes favoritos; o los menos conocidos que son almacenados así tu no te des cuenta como: el lugar donde duermes, los datos biométricos de tu rostro, tus preferencias de pareja (reveladas o no), tu perfil psicológico, número de tus tarjetas de crédito y un largo etcétera que desborda las intenciones de este artículo y de Big Data Web porque incluso las organizaciones generan amplios volúmenes de datos. En una próxima entrada trataré este tema desde la perspectiva del derecho a la privacidad y el big data.



Bigdata

De forma tal que, si solo manejar el caso hipotético del ejemplo representa todo un reto, entonces:

¿Como gestionar estos grandes (big) volúmenes de datos (data) que se están generando segundo a segundo por toda la humanidad?


Es aquí donde entra el concepto de big data (macrodatos o datos masivos) un conjunto de metodologías y procedimientos apoyado en tecnologías emergentes que buscan la recolección-almacenamiento de datos a gran escala para su búsqueda-acceso, análisis y visualización (creación de reportes) con el fin de determinar tendencias o patrones, es decir, permite convertir datos en conocimiento. Los cuales apoyan el desarrollo de la economía, la tecnología, las comunicaciones y en general todos los aspectos que nos rigen como sociedad, es de este hecho que se prevea una explosión de su aplicación en áreas como el comercio, la cyberseguridad, la agricultura avanzada, el medio ambiente, la producción de energía, la atención de desastres entre muchos otros que en Big Data Web estaremos abordando.

Me despido dejando un saludo, si os ha gustado compartir y comentar. 
Un abrazo a todos y hasta el próximo artículo.