El nombre acuñado de manera mercadológica, el término Big Data, se refiere a al sector de tecnologías de la información y la comunicación con respecto a los sistemas que manipulan grandes conjuntos de datos. Los retos más habituales en estos casos se centran en la captura, almacenamiento, búsqueda, análisis, y visualización de los datos.
Diferentes personas definen Big Data de diferentes maneras, pero se suele describir en términos de la tres Vs:
- Volumen de la información;
- Variedad de información, y
- Velocidad de la información (que es la velocidad a la que los datos están disponibles y pueden ser analizadas).
Lo que hace a Big Data distinto al trabajo de minería de datos común es la capacidad de relacionar bases de datos muy grandes; por ejemplo, ventas al menudeo de un producto con cambios meteorológicos. Ejemplos de la aplicación de Big Data tienen que ver con patrones de consumo, crimen y efectos climáticos. Al final, de forma sobre simplificada, el Big Data es la herramienta de software y hardware que permite el análisis de estas grandes series de datos.
En palabras de Bob Gourley, CTO de la DIA (Defence Intelligence Agency): “Cuando se habla de Big Data, usualmente implica una nueva forma de hacer análisis para dar sentido a los datos”. Por lo tanto, no solo involucra el concentrar toda la posible información en un solo sitio, también es habilitar los mecanismos que permitan su procesamiento, correlación y fusión enfocados en producir resultados “accionables”, esto es, toma de decisiones.
Estos tres factores son comúnmente incompatibles con las soluciones de inteligencia (BI) e infraestructura actuales de las organizaciones, por lo que requieren hacer nuevas y, en algunos casos, cuantiosas inversiones en ambos rubros. Una encuesta realizada en Agosto de 2012 por el GIG (Goverment Information Group) destacó que el 63% de las dependencias estuvieron de acuerdo que “a menos que implementarán y usaran el Big Data, sería más difícil cumplir con su misión”. Estas organizaciones están conscientes de la complejidad de cumplir su misión (por entornos más cerrados, competitivos, cambiantes, mayores desafíos, entre otros) y de la necesidad de obtener información de un conjunto más diverso de fuentes - video, audio, redes sociales, prensa, datos transaccionales, entre otros - para crear conocimiento y poder tomar decisiones críticas y estratégicas.
Entre los beneficios identificados por la encuesta, se tiene:
- Mejora la calidad y velocidad de la toma de decisiones.
- Mejor planeación.
- Mejorar la eficiencia de los procesos internos.
- Mejor servicio al cliente.
- Reducir los costos operacionales.
- Mejorar la habilidad de predecir tendencias.
- Detección de riesgos más rápido.
- Detección de fraudes más eficiente.
- Habilitar la decisión automática de los procesos.
En resumen: mayor precisión, velocidad, eficiencia en la toma de decisiones.
Fuentes de datos no tradicionales impactando el Big Data
- Datos en tiempo real de sensores.
- Datos geoespaciales.
- Video
- Audio
- Llamadas telefónicas
- SMS
- Post en redes sociales
- RFID
- Páginas Web
- Clicks
Riesgos en la implementación de soluciones para Big Data
- Baja calidad e inconsistencia de los datos (57%)
- Limitaciones de la infraestructura actual (57%)
- Tiempo de implementación (55%)
- Dificultad para obtener o analizar los datos en tiempo real (48%)
- Dificultad para definir la arquitectura de la solución (48%)
- Dificultad para integrar las iniciativas de Big Data en la infraestructura actual (47%)
- Dificultad para identificar los datos que generen “resultados accionables”. (47%)
La falta de definición de una estrategía adecuada para la explotación del Big Data y la falta de capacidad técnica para diseñar la solución adecuada en base a la situación actual y futura de la organización son los grandes retos que se deben superar si se desea que la iniciativa sea exitosa.
