terça-feira, 20 de novembro de 2018

Agora que já vimos alguns dos principais conceitos que cercam Business Intelligence (BI) e Big Data Analytics (BDA), vamos falar mais sobre este último. Se ainda não viu a postagem anterior, sugiro que a veja antes desta (aqui).

Não é de hoje que grandes organizações utilizam BI com o intuito de tomar decisões mais precisas e se destacar no mercado. Contudo, nos últimos anos, com os diferenciais de eficiência e eficácia com relação as técnicas anteriormente utilizadas, BDA vem conquistando cada vez mais espaço. Tanto que, no começo de 2012 a busca pelo termo "Big Data" nos EUA ultrapassou a busca por "Business Intelligence", e no fim desse mesmo ano, no mundo.
Imagem 1 (Google Trends)

Mas, do que se trata BDA?

Então, vamos lá! BDA busca melhorar o desempenho interno e externo das organizações oferecendo insights das tendências de mercado, comportamento dos consumidores e suas expectativas, visando a eficiência e eficácia no atendimento ao cliente.

Consiste no processo de análise inteligente de grandes volumes de dados (estruturados ou não como já vimos antes). Objetiva encontrar padrões, correlações e insights através do cruzamento de dados internos e externos. Auxiliando diretamente na tomada de decisão. Uma ideia já praticada a tempos em BI, porém com altíssimo desempenho, podendo obter respostas em tempo muito reduzido.

E compreende no trabalho conjunto de diversas tecnologias como gestão e mineração de dados, estruturas de armazenamento de dados que possam armazenar e processar big data, analises preditivas, inteligência analítica e mineração de texto.
  • Os dados, antes de serem analisados, precisam ter alta qualidade e confiabilidade. Esse é um dos principais motivos que justificam a necessidade de que hajam processos de gestão de dados;
  • Através da mineração de dados, grande volumes de dados podem ser examinados com objetivo de descobrir padrões que possam trazer respostas importantes;
  • Estruturas de armazenamento como o Hadoop, plataforma de software código aberto de computação distribuída voltada para armazenamento e processamento de grandes volumes de dados;
  • Tecnologias de análises preditivas utilizam algoritmos estatísticos e técnicas de machine learning aplicadas aos dados para prever cenários e identificar tendências a partir de dados históricos;
  • A mineração de texto através da aplicação de algoritmos de análise em coleções de texto, busca a obtenção de informações de valor para o negócio;
  • Inteligência analítica, através da tecnologia in-memory - que consiste no armazenamento de dados na memória principal dos servidores -, garante a agilidade necessária na consulta dessas informações em alta escala e em tempo real.

Introdução a postagens futuras

BDA pode, através de análises regionais profundas de público, buscar entender o perfil do consumidor de uma determinada área, quais os produtos/serviços mais procurados/desejados. Assim, facilitando o direcionamento de vendas/serviços, a criação de novos produtos/serviços, o melhor controle de estoques e/ou o atendimento personalizado para determinado lugar - de acordo com os gostos e costumes da região.
Imagem 2 (SNP Technologies)

Essas foram só algumas ideias e conceitos gerais, mas nas próximas postagens traremos conteúdos como ferramentas e aplicações.

Referências

http://www.bigdatabusiness.com.br/voce-sabe-o-que-e-big-data-analytics/
https://www.sas.com/pt_br/insights/analytics/big-data-analytics.html#dmtechnical
https://www.devmedia.com.br/mineracao-de-texto-conceitos-e-aplicacoes-praticas-revista-sql-magazine-105/26328
https://hadoop.apache.org/
https://news.sap.com/brazil/2015/08/tecnologia-in-memory-o-sexto-sentido-das-empresas/

quinta-feira, 8 de novembro de 2018

Antes de adentrarmos no universo de Big Data Analytics, a condição sine qua non é que entendamos alguns conceitos básicos. Inicialmente, serão os abordados aqui: Business Intelligence (a.k.a BI), Data Warehouse (DW) e Big Data (BD). A ideia é trazer uma introdução dos principais conceitos que serão abordados quando formos nos aprofundando no tema pois, embora os conceitos possam parecer simples, eles costumam ser confundidos.

Então, vamos iniciar com Data Warehouse (Armazém de Dados, em português) que consiste em um sistema computacional utilizado para armazenar informações - advindas de diversas fontes - referentes a uma organização específica em bancos de dados de forma organizada e estruturada, possibilitando a criação de relatórios e análises. Um DW busca melhores análises de eventos passados para auxiliar nas presentes e futuras tomadas de decisões e, hoje, por sua capacidade de condensar e analisar os grandes volumes de dados, é a base dos principais sistemas de BI do mercado.

Imgem 1 (Solver) 
A imagem acima, embora seja de um DW especifico ilustra bem a ideia geral. No nível mais baixo se encontram as fontes de dados, os sistemas CRM e ERP (sistemas de gestão) e outras fontes que, após os dados passarem por um processo ETL (Extract, Transform and Load) - extração, transformação e carregamento de dados de diferentes fontes de forma que alimentem o DW de forma homogênea e concisa -, são apresentados no nível mais acima já como informações.

Agora, vamos para o conceito de BI (Inteligência de Negócios, em português) que é, basicamente, o conjunto de processos de coleta, organização, análise, compartilhamento e monitoramento de informações que facilitam a tomada de decisão pela gestão. Ou seja, BI é uma forma de agrupar e explorar informações para descobrir vantagens para determinado negócio, auxiliando na análise de dados e informações, para identificar oportunidades ou riscos.
Imagem 2 (Siteware)

Assim, para alcançar esses objetivos utiliza-se de ferramentas que acessam os conjuntos de dados coletados, os transforma, valida (um analista de BI) e apresentam as informações nas formas de gráficos, resumos, relatórios e etc.

E, por fim, temos Big Data (Mega Dados, em uma tradução livre) que, embora tenha um conceito bem mais amplo, caracteriza-se pelo imenso volume de dados. Embora haja discordâncias a respeito do número de v's, o conceito que será apresentado aqui será o de 3, conceito este que se baseia em:
  • Volume
    Já passamos a muito dos terabytes, petabytes e outros volumes gigantescos de dados são gerados diariamente. Plataformas como o Hadoop já trabalham em escala petabyte.
  • Velocidade
    Aqui, diferente dos DW onde a maior parte dos projetos tem um delay de um dia (latência D-1) no carregamento dos dados, há a necessidade de ser o mais próximo do tempo real possível, a depender do negócio, quando o foco é medicina, aviação ou outras áreas sensíveis velocidade é imprescindível.
  • Variedade
    Novamente diferindo dos DW, os dados possuem muita variação podendo haver dados estruturados, semi ou não estruturados, enquanto os DW apenas dados estruturados.
Imagem 3 (ResearchGate)

Os outros 2 v's são de veracidade e valor, respectivamente. Entretanto, há discussões sobre o mérito da veracidade e do valor para a definição do que seria Big Data, a IBM (International Business Machines) por exemplo, considera 4 como mostra a imagem abaixo.
Imagem 4 (IBM)

Referências:
https://www.cetax.com.br/blog/diferenca-bi-dw-data-science-big-data
https://www.cetax.com.br/blog/dw-data-warehousing
https://guiaempreendedor.com/qual-diferenca-entre-erp-e-crm
https://www.devmedia.com.br/extract-transformation-and-load-etl-ferramentas-bi/24408
https://br.udacity.com/blog/post/o-que-e-bi
https://www.siteware.com.br/gestao-estrategica/o-que-e-bi-business-intelligence/
https://www.cetax.com.br/blog/big-data

quinta-feira, 1 de novembro de 2018

Olá, como vão? Sejam bem vindos! Nós somos uma galera legal que apresentará ao longo de um período "UFSsiano" publicações a cerca de Planejamento Inteligente para Visualização de Dados (em inglês Big Data Analytics)!



Calma, nós iremos aprender juntos nessa jornada. Vamos aprender os conceitos e ferramentas, discutir problemas e soluções, encontrar oportunidades de trabalho e ver como o assunto já está bem presente em nosso cotidiano!



E aew? Preparado? Contudo, não posso terminar essa primeira publicação sem apresentar o nosso lindo nome: "Condição Sine Qua Non".  Bem, ela é uma expressão que vem do latim e pode ser traduzida como uma "condição indispensável e essencial".

Fonte: Wikipédia
Ao longo de nossas postagens vamos entender e aprofundar o conhecimento a cerca dessa condição em nosso mundo contemporâneo. (Spoiler Alert: tem a ver com dados!).

Então é isso pessoal, até as próximas postagens!