Hace décadas que la extracción de conocimiento estratégico para la toma de decisiones es un proceso de reconocida importancia para las organizaciones. Todos sabemos que la mayoría de las empresas tienen departamentos o expertos en Inteligencia de Negocio (Business Intelligence) o Minería de Datos. Sin embargo, en los últimos años ha surgido con mucha fuerza un nuevo paradigma, que literalmente está dejando anticuadas a todas las técnicas existentes de inteligencia de negocio. ¿En qué se diferencian el Big Data y las nuevas técnicas de Análisis de Datos? ¿Por qué están suponiendo una revolución?
Básicamente, el nuevo paradigma de los grandes conjuntos de datos permite obtener mucho más conocimiento, mucho más rápido, de volúmenes mucho más grandes, combinando más fuentes y a partir de datos desestructurados y variados. El paradigma del Big Data ha nacido de la mano de las nuevas compañías que operan en Internet. Han sido empresas como Google, Amazon y Facebook las primeras que se han enfrentado cara a cara con la necesidad de procesar grandes volúmenes de datos desestructurados en tiempo real. Todos los tecnólogos interesados en el tema recuerdan el caso de Twitter, que en pocos meses vio cómo las tecnologías existentes no eran capaces de manejar su crecimiento exponencial en la necesidad de procesamiento y almacenamiento de datos.
Sin excepción, todas estas compañías decidieron crear nuevas herramientas y nuevas tecnologías: esto es lo que ahora se conoce como el ecosistema Big Data, un conjunto dinámico de tecnologías relacionadas que dan solución a los retos que impone el proceso ágil de billones de datos. En los departamentos de IT y de Marketing es cada vez más común hablar de disciplinas como Big Data Analytics o Data Science (ciencia de datos). Grandes compañías de todos los sectores recurren a los científicos de datos (data scientists) para que les ayuden a sacar partido de sus grandes conjuntos de datos. Kaggle es un ejemplo paradigmático, ya que se ha convertido en una de las plataformas de referencia en la que empresas como Facebook, General Electric, Mastercard, Merk o la NASA ponen sus datos a disposición de científicos de datos de todo el mundo para que éstos extraigan el valor que se encuentra oculto en ellos.
En este entorno, la mayoría de las organizaciones ya se han dado cuenta de que necesitan contar con profesionales del Big Data entre sus recursos propios si quieren ser competitivas. Las figuras de Big Data Architect y Data Scientist son cada vez más demandadas y valoradas. Los antiguos profesionales del Business Intelligence se pierden en la nueva marea de tecnologías que vienen de mano del Big Data y de las start-ups de Internet.
Nombres como Map/Reduce, Hadoop, Pig y Hive, R, Cassandra, MongoDB, Neo4j, Flume, Hbase, Pentaho, etc. se han convertido ya en el día a día de los departamentos encargados de extraer valor de los datos. Hoy en día, si una organización no cuenta con infraestructura y conocimientos para extraer valor de los grandes conjuntos de datos está en clara desventaja con respecto a la competencia. En un entorno cada vez más dinámico y competitivo, contar con la información clave en tiempo real es vital. Los clientes ya no están dispuestos a esperar.
La revolución digital ha hecho que la inmediatez se haya convertido no sólo en un modo de obtener los productos y los servicios, sino que también ha impuesto a las empresas la necesidad de ser ágiles para sobrevivir. Las técnicas clásicas de inteligencia de negocio que se basaban en la explotación offline de los datos del datawarehouse ya no están a la altura de las expectativas de la dirección estratégica. El aquí y el ahora manda y el ecosistema Big Data permite a una compañía moverse en este entorno tan exigente. Vivimos en un mundo en el que una estrategia de marketing ha de tener en cuenta nuevos factores y nuevos parámetros.
Hoy en día es un error fatal no tener en cuenta el valor del conocimiento que se puede extraer en tiempo real al combinar las bases de datos de la organización con datos de redes sociales, dispositivos móviles geolocalizados, redes de sensores, open data, etc. Las nuevas posibilidades que se abren gracias al empleo de las nuevas tecnologías de Big Data son extraordinarias. No obstante, se requiere de unos conocimientos y unas capacidades que también son extraordinarias. Un ejemplo de esto es el reto del procesamiento del lenguaje natural. Una fuente de datos de gran valor son las opiniones que los usuarios de redes sociales expresan constantemente, sin embargo, el procesamiento automático de esta información para obtener conocimiento acerca de reputación de marca u opiniones acerca de productos requiere complejos algoritmos. Son los expertos en minería de opiniones y sentiment analysis los nuevos profesionales capaces de aceptar este reto.
En definitiva, la combinación de nuevas arquitecturas de Big Data con la inteligencia de nuevos algoritmos de aprendizaje automático está haciendo posibles la aparición de nuevas aplicaciones antes impensables, como por ejemplo que podamos prever la intención de voto y las opiniones de los ciudadanos a través de las redes sociales.
Raúl Arrabales Moreno es responsable del Área de Ingeniería de U-tad (Centro Universitario de Tecnología y Arte Digital)