BIG DATA

EN QUE CONSISTE EL BIG DATA

Big Data es uno de los conceptos de moda en el mundo informático. En la actualidad contamos con una gran cantidad de artículos, e información, y en todas las encuestas a los CIOS aparece entre los primeros lugares la necesidad de implantar un sistema de BIG DATA.

Denominamos Big Data a la gestión y análisis de enormes volúmenes de datos que no pueden ser tratados de manera convencional, ya que superan los límites y capacidades de las herramientas de software habitualmente utilizadas para la captura, gestión y procesamiento de datos.

DEFINICIONES DE BIG DATA

1. Definición original

La mayoría de las definiciones se refieren a Big Data como un término aplicado a conjuntos de grandes datos caracterizados por las famosas 3V del analista Doug Lane, de la consultora Gartner: volumen, velocidad y variedad, que superan la capacidad del software habitual para ser capturados, gestionados y procesados. Desde que Laney la acuñó hace más de una década, otras V han ido añadiéndose, como la validez, la veracidad, el valor y la visibilidad. Todo un desafío para la gestión de datos.

2. Big Data como tecnología

Como tecnología de la información y de la comunicación, Big Data es un ecosistema que no deja de crecer. En particular, los software de código abierto como Hadoop y NoSQL han supuesto un hito tecnológico en almacenamiento y gestión de datos que se engloba en el término general de Big Data, en ocasiones de forma errónea al incluirse todo tipo de tecnología o herramienta de reciente aparición.

3. Big Data como señales

Entender Big Data como una gran oportunidad de negocio que hay que coger al vuelo, con una gestión empresarial que realiza las transacciones adelantándose a los acontecimientos. Extraer valor de los datos significa utilizarlos como señales para anticiparse a lo que va a pasar y sacar partido de esa información. De igual modo, esa información puede utilizarse más allá de la empresa, constituyendo un instrumento clave en otros muchos ámbitos, desde la sanidad (prevenir una epidemia) hasta la administración pública, fomentando la sostenibilidad o, por ejemplo, la planificación urbana.

4. Big Data como cultura

La parte tecnológica del Big Data -la gestión de datos Hadoop vs los sistemas tradicionales de almacenamiento- se desarrolla en un determinado contexto, en una sociedad en la que se desarrollan sus procesos y viven personas. Básicamente, se trata de una dimensión cultural que afecta a aspectos muy distintos de nuestro alrededor, afectando a lo más cotidiano, a los estilos de vida y al pensamiento mismo. Si por un lado se ve como un movimiento positivo, por otro se teme una erosión de las libertades fundamentales.

5. Big Data como revolución del conocimiento

Si la información es poder, entonces Big Data entenderse como una gran linterna que ilumina aquellos datos que estaban escondidos, facilitando análisis de datos antes limitaba la tecnología. Matta Aslett, de 451 Research, define Big Data en este mismo sentido, oponiendo su luz a aquellos otros “ datos oscuros”. En palabras de Rick Smolan, autor de El Rostro Humano de Big Data,"una extraordinaria revolución del conocimiento opera casi invisible , a través de los negocios , la academia, el gobierno, la salud y la vida cotidiana". Si antes los investigadores se servían de los datos para apoyar o rechazar teorías, ahora recurren a ellos para inspirarlas.

6. Big Data como metáfora

En el mismo libro, Rick Smolan dice que los grandes datos son “ayudan al planeta a que tenga un sistema nervioso, en el que los seres humanos sólo somos otro tipo de sensor”. Una metáfora poética que encierra un profundo significado y podría acabar siendo premonitoria o, en todo caso, claramente alusiva al Internet de las cosas (IoT). Recordemos que Rijmenam declaró que "el 90% de todos los datos que se han creado, fue creado en los últimos dos años. A partir de ahora, la cantidad de datos en el mundo se duplicará cada dos años."

7. Big Data como negocio

Por último, Big data es una palabra comodín que ha prosperado en el mundo de los negocios, pudiendo describir cualquier oportunidad de negocio relacionada con los datos, estén o no relacionadas con las nuevas tecnologías. Quizás sea por ignorancia, o simplemente para subirse al carro del flamante Big Data.

PORQUE ES IMPORTANTE EL BIG DATA EN EL MEDIO

1.Reducir el riesgo en los negocios. Un informe reciente de PWC sugiere que las amenazas de ciberseguridad están creciendo a un ritmo sin precedentes. En 2015, el número de estos incidentes subió un 38%. El Big Data juega un papel muy importante en la contención de esta preocupante tendencia. Pero el Big Data no solo puede ayudar en el ámbito cibernético sino que también puede hacerlo frente a otro tipo de amenazas para el negocio al que las empresas se enfrentan a diario y que se pueden mitigar gracias al correcto análisis y uso de datos.

2. Aprovechar la información del cliente. Aunque es muy importante estudiar al cliente para ofrecerles la mejor experiencia en los servicios y productos que tienen las empresas, es momento de atender a un elemento hasta ahora desaparecido: el contexto. No solo por las personas que están en él, sino por lo que están haciendo en él en un momento determinado. Conocer el contexto en el que se encuentra el cliente nos da las claves sobre su comportamiento.

3. Mejorar la eficiencia de los servicios y productos. Quizás una de las áreas más interesantes de analizar en esta época es la de la industria del automóvil o la logística. Impulsados por el Internet de las cosas (IoT), sus productos y servicios se están ofreciendo como nunca antes. En este momento, las compañías disponen de más datos que nunca y pueden ver su negocio desde perspectivas distintas. El resultado de todo esto es que las organizaciones hacen más eficientes los procesos de desarrollo de productos, mejoran la calidad de los mismos y reducen los costes generales.

4. Modernizar la arquitectura de datos. La mayoría de los problemas a los que hacen frente las organizaciones hoy en día no son nuevos. De hecho, los primeros tres puntos mencionados en esta lista, son temas que preocupan a las empresas desde hace mucho tiempo; lo que ha cambiado es el cómo nos enfrentamos hoy a estos retos. Las arquitecturas de datos modernas permiten a las empresas aprovechar todos los datos, estructurados o no, para solucionar estos problemas con métodos nuevos y transformadores.

5. Hacer relevante lo irrelevante. Esta es una tendencia actual muy interesante en el mundo empresarial. Gracias a una estrategia orientada a los datos, las empresas se están reinventando a sí mismas. Un hecho que supone un giro fundamental sobre las nuevas perspectivas de empleo y está permitiendo que las generaciones más jóvenes pueden encontrar un trabajo fresco y dinámico, sin tener que trabajar en Google, Facebook o Apple, gracias al Big Data.

6. Poner patas arriba muchas industrias. La industria está en un estado de transición. Ejemplos como Uber o Lynch así lo demuestran. Empresas de un sector tradicional que están obligando al resto de actores de su área a transformarse, y si no dispones de datos en medio de este proceso tienes un problema grave. Incluso la industria tecnológica se encuentra en este estado de transformación en el que los datos juegan un papel decisivo.

7. Fomentar el desarrollo de nuevas habilidades. Gracias al Big Data, contamos con nuevas herramientas tecnológicas que deberían emocionarnos. Trabajando con Hadoop, por ejemplo, hay un sinfín de cosas que se pueden aprender, dependiendo de lo que estés intentado hacer. Pero no sólo las empresas están abriéndose paso en este nuevo territorio, las universidades también están integrando en sus planes de trabajo el desarrollo del Big Data como una fuerza de trabajo del futuro.

8. Open source, un movimiento que está a punto de llegar. El Open source no es nada nuevo; pero hasta ahora, éste estaba marginado al ahorro de costes. En la era del Big Data, open source  ya no es sólo un factor para ahorrar, también se tiene en cuenta en el fomento de la colaboración e innovación. Una gran parte del Big Data es transformándose a open source como una manera de hacer negocios, Open source está de moda, es tendencia y finalmente está llamando la atención de aquellos proveedores que aún no participaban.

9. Todo el mundo es analista. Si le das a una persona algunos datos, sus compañeros empiezan a interesarse y hacen sus propios análisis. Cada área del negocio, desde las finanzas a la comercialización del producto, utiliza los datos en su actividad diaria. Y no solo las personas que tienen el título de analista lo hacen, prácticamente todo el mundo está trabajando con los datos. Afortunadamente, existen muchas herramientas de análisis de datos disponibles diseñadas para resolver una amplia variedad de habilidades técnicas, para que todas las partes de la organización puedan entrar en el juego.

10. Cualquier cosa es posible. Más allá del matiz tecnológico, lo más importante del Big Data es el impacto que está teniendo en el mundo tal y como lo conocemos. Si miramos a nuestro alrededor podremos ver la gran cantidad de cosas que están cambiando y que son posibles gracias al uso de los datos. Vemos ciudades más inteligentes, mejoras en el cuidado y la prevención del paciente, reducción del fraude y las amenazas se combaten más rápido que nunca.

EJEMPLO DE BIG DATA EN BBV

BBVA también ha realizado diversas pruebas de ‘Big Data’, en las que además, se ha dado importancia a su visualización para permitir que sean más comprensibles a ojos de un espectador neófito. En Barcelona en 2012,  Para ello, se extrajeron datos de las transacciones realizadas con tarjetas de crédito, tanto la semana antes como la semana en que tuvo lugar el evento.

Otro útil uso de esta información fue el llevado a cabo en el proyectourban discovery, una herramienta interactiva y abierta a todos los usuarios donde se han analizado las ciudades de Madrid, Barcelona y Ciudad de México, bajo el prisma de su actividad comercial. La herramienta permite así hacer comparaciones entre ciudades y descubrir las peculiaridades de cada urbe.

Otro ejemplo de estudio sería el lanzamiento por BBVA de su herramienta Commerce360,  que permite conocer datos que hasta ahora solo eran accesibles a la gran distribución, y que les proporciona una ventaja competitiva a la hora de diseñar sus estrategias comerciales y de marketing.

DESAFIOS DE CALIDAD DE DATOS DE BIG DATA EN EL MEDIO

La calidad de los datos es más que una percepción. No existen estandarizaciones, ni una talla única en lo que se refiere a data quality. Mantener la exactitud y la integridad de todos los tipos de datos en toda la organización es trabajar por su aptitud para cumplir con su propósito en un contexto dado, implica garantizar que cada dato reúne todos los atributos necesarios:

Exactitud

integridad

actualización

relevancia

coherencia

confiabilidad

presentación apropiada

accesibilidad

Dentro de una organización, la calidad de los datos es esencial para la consistencia del reporting, la confianza de los usuarios y para la eficacia de los procesos operativos y transaccionales. La inteligencia empresarial necesita basarse en datos de alta calidad y, para asegurar que éstos se hallan al nivel deseado, hay que cuidar que cada interacción con los datos lo propicia, desde la forma en que se introducen, a cómo se almacenan y gestionan.

El aseguramiento de la calidad de los datos es el proceso de verificación de la fiabilidad y efectividad de los datos, que debe realizarse periódicamente, y que incluye acciones como:

actualización

normalizacion

De-duplicación

Toda organización debe buscar el obtener una visión única de la verdad, independientemente de que para alcanzar su conocimiento necesite apoyarse en datos de distintos tipos, que éstos se almacenen en múltiples sistemas dispares o provengan de fuentes heterogéneas.

CUANDO UNA EMPRESA NECESITA UN GOVERMANCE

1. Definición del Data Governance

Una definición breve de Data governance  puede ser esta: “Data governance es el ejercicio de toma decisiones y autoridad para asuntos relacionados con los datos”

Si ampliamos un poco más esta definición podríamos obtener de esta otra: “ Data governance en su sistema de decisiones y responsabilidades para procesos relacionados con la información, ejecutados de acuerdo con unos modelos acordados, que describen quién puede tomar qué acciones, con qué datos y cuándo, en qué situaciones, y utilizando qué métodos”

El Data governance concierne a cualquier individuo o grupo que tenga algún tipo de interés en cómo se crean los datos, cómo se recogen, procesan, manipulan, almacenan y se ponen a disposición para su uso. A menudo estas personas interesadas en los datos delegan en los equipos de IT y de gestión de datos, las decisiones acerca de cómo realizar las tareas enumeradas anteriormente. Pero algunas veces, estas actividades requieren decisiones que realmente deberían ser tomadas por grupos de interés, de acuerdo a procesos acordados para tomar esas decisiones. En ese momento es cuando el data governance entra en juego. Esa toma de decisiones es facilitada y coordinada por recursos centralizados.

Debes tener en cuenta que cuando se hace referencia a data governance, dependiendo del contexto, podría estar refiriéndose a 5 temas diferentes:

Organismos

Reglas (políticas, normas, directrices, reglas de negocios

Derechos de decisión (  la forma en que “decidimos cómo decidir”)

Responsabilidad

Métodos de ejecución para personas y sistemas de información que realizan procesos relacionados con la información.

Los programas de Data governance pueden variar significativamente dependiendo de su enfoque (en cuanto a cumplimiento, integración de datos, Master Data Management, etc.) pero todo programa de Data governance tendrá esencialmente la misma misión que se puede resumir en estos tres puntos:

1. Crear reunir y alinear las reglas
2. Resolver problemas
3. Monitorizar y hacer cumplir las reglas mientras se proporciona un apoyo constante a los interesados en los datos.

2. Cuándo y dónde una organización necesita data governance

Una organización necesita cambiar de una gestión informal de datos a un data governance cuando se da alguna de estas situaciones:

1. La organización se ha hecho grande y la gestión tradicional no es capaz de hacer frente a actividades multifuncionales relacionadas con los datos.
2. Los sistemas de datos de la organización se han vuelto tan complicados que con la gestión tradicional no es posible hacer frente a actividades multifuncionales relacionadas con los datos.
3. Los arquitectos de datos de la organización u otros grupos necesitan el apoyo de un programa multifuncional que tenga la visión acerca de las preocupaciones y preferencias de datos de toda la empresa.
4. Las regulaciones, normas, cumplimientos o requerimientos contractuales exigen un data governance más formal.

La ubicación o localización del data governance en una empresa puede variar. Podría estar dentro operaciones, o de IT, en estructuras organizativas de gestion de datos, etc. Lo importante es que sea el grupo que sea, éste reciba los niveles apropiados de apoyo de los líderes de la organización, junto con unos niveles adecuados de participación de todos los grupos de personas interesadas en los datos.

Sin embargo es importante evaluar la preparación de la empresa para la implantación de un data governance. Es posible que haya una razón válida para que el modelo informal de gestión de datos actual se siga utilizando. De la misma forma, podría haber una buena razón para que el cambio fuera perjudicial para la empresa, para un proyecto particular o incluso para la carrera de alguna persona. Hay algunas señales de advertencia a las que debes estar atento por si es contraproducente un data governance en tu organización:

La negativa de un grupo de  personas de negocios a involucrarse.

La negativa de la dirección a patrocinar o esponsorizar un esfuerzo en data governance.

La decisión de que se debe implementar un programa de abajo hacia arriba cuando las decisiones y las reglas siempre deben ser implementadas claramente viniendo desde la cima del organización hacia abajo.

La decisión de dar poder a un grupo, ya sea proveedor externo, partner o un equipo interno, para tomar decisiones relacionadas con los datos y dónde:

No se tiene en cuenta una visión empresarial.

No se involucra a todos los actores de datos

No se corrigen problemas con los datos.

No sé reconocen problemas con los datos

EL  Data Quality Management

La gestión de la calidad de los datos (Data Quality Management) es una forma de administración que abarca desde la definición y designación de roles hasta el despliegue de funciones, de la definición de políticas y responsabilidades al establecimiento de procedimientos para la adquisición, mantenimiento, disposición y distribución de datos.

Un enfoque eficaz de la gestion de la calidad de los datos comprende tanto elementos reactivos, que  incluyen la gestión de problemas en los datos situados en bases de datos existentes; como elementos proactivos, que son los que tiene que ver con:

Establecimiento de la gobernanza.

Identificación de las funciones y responsabilidades.

Creación de las expectativas de calidad, así como de las estrategias empresariales de apoyo.

Implementación de una plataforma técnica que facilite estas prácticas empresariales.

Por eso, para que una iniciativa de gestión de la calidad de los datos tenga éxito, debe garantizarse la cooperación entre las áreas de IT y negocio. Esta asociación es importante porque, si bien los perfiles técnicos se encargarán de la construcción y el control del entorno, los usuarios de negocio serán los propietarios de los datos y, a partir de la aceptación ese rol, asumirán una responsabilidad con la organización y sus activos informacionales.

Así, desde IT se llevarán a cabo todas las acciones necesarias para adquirir, mantener, difundir y poner a disposición de quien corresponda los activos de datos electrónicos de una organización, trabajando para ello en:

Arquitectura

Sistemas

Establecimientos técnicos

BASES DE DATOS

En cualquier proyecto de data quality, o al considerar una plataforma de inteligencia de negocios, hay que tener en cuenta los diferentes roles asociados con la gestión de la calidad de los datos:

Responsable de proyecto y gerente de programa: es la persona que se encargará de la supervisión de las iniciativas de calidad específicas o del programa de inteligencia de negocios. Entre sus funciones, está también el gestionar el presupuesto, el alcance y las limitaciones del proyecto.

Agente de cambio en la organización: se trata de una posición clave puesto que su misión consiste en ayudar a todos los integrantes de la compañía a reconocer el impacto y el valor del entorno de inteligencia de negocios, prestando su colaboración para hacer frente a los posibles retos que se planteen.

Analista de negocio: con este rol se designa al perfil encargado de comunicar las necesidades del negocio para traducirlas en necesidades de calidad de datos.

Analista de datos: una vez conocidas las demandas del área de negocio, traduce esas necesidades en el modelo de datos y los prerrequisitos para los procedimientos de adquisición y entrega de datos; teniendo siempre presentes las necesidades específicas de calidad, y asegurándose de que queda constancia de ellas en el diseño.

Administrador de datos: así se denomina a quien se ocupa de gestionar los datos como un activo corporativo.