BI: Uma Introdução ao Big Data Analytics

Antes de adentrarmos no universo de Big Data Analytics, a condição sine qua non é que entendamos alguns conceitos básicos. Inicialmente, serão os abordados aqui: Business Intelligence (a.k.a BI), Data Warehouse (DW) e Big Data (BD). A ideia é trazer uma introdução dos principais conceitos que serão abordados quando formos nos aprofundando no tema pois, embora os conceitos possam parecer simples, eles costumam ser confundidos.

Então, vamos iniciar com Data Warehouse (Armazém de Dados, em português) que consiste em um sistema computacional utilizado para armazenar informações - advindas de diversas fontes - referentes a uma organização específica em bancos de dados de forma organizada e estruturada, possibilitando a criação de relatórios e análises. Um DW busca melhores análises de eventos passados para auxiliar nas presentes e futuras tomadas de decisões e, hoje, por sua capacidade de condensar e analisar os grandes volumes de dados, é a base dos principais sistemas de BI do mercado.

Imgem 1 (Solver) 

A imagem acima, embora seja de um DW especifico ilustra bem a ideia geral. No nível mais baixo se encontram as fontes de dados, os sistemas CRM e ERP (sistemas de gestão) e outras fontes que, após os dados passarem por um processo ETL (Extract, Transform and Load) - extração, transformação e carregamento de dados de diferentes fontes de forma que alimentem o DW de forma homogênea e concisa -, são apresentados no nível mais acima já como informações.

Agora, vamos para o conceito de BI (Inteligência de Negócios, em português) que é, basicamente, o conjunto de processos de coleta, organização, análise, compartilhamento e monitoramento de informações que facilitam a tomada de decisão pela gestão. Ou seja, BI é uma forma de agrupar e explorar informações para descobrir vantagens para determinado negócio, auxiliando na análise de dados e informações, para identificar oportunidades ou riscos.

Imagem 2 (Siteware)

Assim, para alcançar esses objetivos utiliza-se de ferramentas que acessam os conjuntos de dados coletados, os transforma, valida (um analista de BI) e apresentam as informações nas formas de gráficos, resumos, relatórios e etc.

E, por fim, temos Big Data (Mega Dados, em uma tradução livre) que, embora tenha um conceito bem mais amplo, caracteriza-se pelo imenso volume de dados. Embora haja discordâncias a respeito do número de v's, o conceito que será apresentado aqui será o de 3, conceito este que se baseia em:

• Volume
  Já passamos a muito dos terabytes, petabytes e outros volumes gigantescos de dados são gerados diariamente. Plataformas como o Hadoop já trabalham em escala petabyte.
• Velocidade
  Aqui, diferente dos DW onde a maior parte dos projetos tem um delay de um dia (latência D-1) no carregamento dos dados, há a necessidade de ser o mais próximo do tempo real possível, a depender do negócio, quando o foco é medicina, aviação ou outras áreas sensíveis velocidade é imprescindível.
• Variedade
  Novamente diferindo dos DW, os dados possuem muita variação podendo haver dados estruturados, semi ou não estruturados, enquanto os DW apenas dados estruturados.

Imagem 3 (ResearchGate)

Os outros 2 v's são de veracidade e valor, respectivamente. Entretanto, há discussões sobre o mérito da veracidade e do valor para a definição do que seria Big Data, a IBM (International Business Machines) por exemplo, considera 4 como mostra a imagem abaixo.

Imagem 4 (IBM)

Referências:

https://www.cetax.com.br/blog/diferenca-bi-dw-data-science-big-data
https://www.cetax.com.br/blog/dw-data-warehousing
https://guiaempreendedor.com/qual-diferenca-entre-erp-e-crm
https://www.devmedia.com.br/extract-transformation-and-load-etl-ferramentas-bi/24408
https://br.udacity.com/blog/post/o-que-e-bi
https://www.siteware.com.br/gestao-estrategica/o-que-e-bi-business-intelligence/
https://www.cetax.com.br/blog/big-data