A palavra cientista diz muito sobre o trabalho: "É preciso criar uma hipótese, desenhar um experimento e rodá-lo para validar ou refutar", diz Carlos Souza, diretor-geral da escola virtual Udacity.


"Há uma demanda grande, e o sistema educacional não consegue formar o número necessário de pessoas. Tem muitas vagas", diz Vicente., cientista de dados da Serasa Experian


Essa situação levou André Luiz da Costa, formado em economia, a mudar da área comercial para a de inteligência de negócios no Gympass depois de fazer um ano de cursos na Udacity. "É uma área nascente no Brasil, com muito potencial."


Outros países têm cursos de graduação na área, aponta Vicente. "Aqui estamos um pouco lentos."


A capacidade de resumir bilhões de registros de dados em um único gráfico e ajudar os tomadores de decisão é quase uma arte!

Você deve dominar uma ferramenta de análise estatística. Linguagens R e Python são soluções gratuitas e amplamente utilizadas por Cientistas de Dados em todo o mundo. Soluções proprietárias como SAS, Stata e SPSS são também boas opções. É preciso dominar técnicas de análise de dados, Data Munging, Pré-processamento e algoritmos de Machine Learning. Conhecimento sobre soluções de armazenamento e processamento de Big Data como Hadoop, Spark e bancos de dados NoSQL ajudam durante o processo de análise. E claro, este profissional deve ser capaz de se comunicar verbalmente e visualmente para contar a história que os dados querem dizer.

Big Data assim como todas as áreas de computação possui um terreno muito vasto. O primeiro passo que deve ser feito antes de começar a mapear o que é preciso estudar para se tornar um bom profissional, é descobrir qual profissional você quer se tornar. No post de hoje vamos tentar clarear um pouco mais quais são algumas das possíveis áreas de atuação dentro do ramo do Big Data.




1. Engenheiro de Dados

Eles desenvolvem, constroem, testam e mantêm arquiteturas, tais como bancos de dados e sistemas de processamento de dados em grande escala.


2. Engenheiro de Big Data

Esta carreira é uma extensão da carreira de Engenheiro de Dados, mas, com foco em Big Data. Montar uma infraestrutura para armazenamento e processamento de grandes conjuntos de dados não é tarefa fácil.


3. Arquiteto de Soluções de Big Data

Arquitetos de dados criam projetos para sistemas de gestão de dados. Depois de avaliar potenciais fontes de dados da empresa (interna e externa), os arquitetos projetam um plano para integrar, centralizar, proteger e manter esses dados.

Isso permite que os funcionários acessem informações críticas no lugar certo e na hora certa. A arquitetura da solução de Big Data projetada por este profissional, será implementada pelo Engenheiro de Dados ou Engenheiro de Big Data.



4. Cientista de Machine Learning

Este profissional trabalha com pesquisa e desenvolvimento de algoritmos que são usados para criar sistemas inteligentes.


5. Engenheiro de Machine Learning

Enquanto o Cientista de Machine Learning tem como objetivo pesquisar e desenvolver novos algoritmos, o Engenheiro de Machine Learning tem como objetivo aplicar esses algoritmos e criar soluções.


6. Especialista em Business Analytics (Analista de Negócios)

O principal objetivo do analista de negócios é ajudar as empresas a implementar soluções de tecnologia de uma forma eficaz em termos de custo, e assim, determinar os requisitos de um projeto ou programa e comunicá-los claramente aos interessados, facilitadores e parceiros.


7. Desenvolvedor de Visualização de Dados

A habilidade de converter em um único gráfico ou Dashboard o que Petabytes de dados estão dizendo é quase uma arte e são muitas as técnicas e ferramentas disponíveis para este fim.


8. Gerente de Analytics

O Gerente de Analytics é o responsável pela equipe de análise de dados. Ele coordena o design, a configuração e a implementação de soluções de análise de dados, desde a infraestrutura, até a definição de ferramentas e processos de análise de dados. Fazer a gestão de projetos de Big Data não é tarefa simples e o gestor precisa ter habilidades de liderança e conhecimento técnico para compreender os desafios inerentes ao Big Data.


9. Estatístico

A função deste profissional é aplicar técnicas estatísticas para a compreensão dos dados e ajudar as empresas a identificar tendências, fazer previsões e tomar decisões baseadas em dados.


10. Cientista de Dados

Cientistas de dados são os grandes mineradores de dados. Eles recebem uma enorme massa de dados desorganizados (estruturados, semi-estruturados ou não-estruturados) e usam suas habilidades em matemática, estatística e programação para limpar, tratar, transformar e organizar esses dados. Em seguida, eles aplicam suas capacidades analíticas – conhecimento de negócio, compreensão contextual, ceticismo de suposições existentes e algoritmos de Machine Learning – para descobrir soluções para os problemas de negócios e contribuir na tomada de decisões e estratégias empresariais. Essa profissão é relativamente nova e pelo quarto ano seguido é a profissão em maior demanda nos EUA, com a remuneração anual superior a 100 mil dólares. Cientistas de Dados são profissionais que sabem muito sobre muitas coisas e sua experiência é fundamental para a construção de aplicações inteligentes e análise de Big Data.

Apresentação de slides com algumas informações arrecadas a partir de pesquisas e estudos sobre a temática de Big Data.

Olá pessoal, como vão?

O dia-a-dia dos profissionais que trabalham com Big Data é extremamente desafiador. Pois além de conhecimentos técnicos para aplicar sobre dados, a maior parte do trabalho está na mineração dos mesmos. Então aplicar boas técnicas se torna necessário para realização do trabalho. Neste post vamos conhecer a mais usada: a CRISP-DM.


O seu nome por extenso é o Cross Industry Standard Process for Data Mining em português algo como Processo Padrão Inter-Indústrias para Mineração de Dados e surgiu em 1996. Esse processo apresenta 6 etapas sugeridas, não obrigatórias e não encadeadas, que ajudam os profissionais na realização de suas atividades. Os seus apoiadores iniciais foram: a Integral Solutions Ltd (ISL), Teradata, Daimler AG, NCR Corporation e OHRA.

Passos da CRISP-DM. Fonte:  LEMOS, Jorge Luiz Cavalcante.

As suas etapas preconizam sempre a compreensão inicial do problema de negócios e incentiva a revisar sempre as atividades antes da entrega do passo final. Vamos ver suas etapas:

1. Business Understanding

Na primeira fase da CRISP-DM, deve ser identificado o problema negocial que quer resolver. São definidos então a situação atual do problema e como o projeto vai ser direcionado para soluciona-lo; O objetivo geral e as métricas de sucesso.

2. Data Understanding

Nesta tarefa, o profissional deve ter bastante cuidado, pois coletar e tratar o dado é uma tarefa responsável por mais de 70% do tempo gasto em um projeto e é exatamente sobre isso que essa fase e a próxima dizem respeito. Aqui, é coletado, descrito— usando estatísticas — , explorado e verificado a qualidade do dado.

3. Data Preparation

Nessa faseo profissional prepara os dados para a modelagem. São realizados a seleção dos dados, a limpeza e padronização, criação de dados auxiliares para complementar o entendimento e a integração de dados, quando estes estão em bases distintas.


4. Modeling

Neste quarto momento, são selecionadas e aplicadas as técnicas de mineração de dados mais apropriadas, dependendo dos objetivos identificados na primeira fase. Como o uso de análise preditiva ou prescritiva.

5. Evaluation

Hora de avaliar os resultados do modelo. É um passo que deve ser feito constantemente para validar o modelo com os objetivos definidos antes de passar para o ultimo passo.

6. Deployment

Nesta fase final é hora de colocar o modelo em produção, para que possa ser usado. É importante salientar que uma vez entregue o modelo deve ser monitorado para que ele possa continuar útil e evoluir-lo quando necessário.



Fontes: 
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conhe%C3%A7a-as-melhores-t%C3%A9cnicas-para-explora%C3%A7%C3%A3o-de-dados-560d294547d2.

https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining.

http://www.bigdatabusiness.com.br/se-voce-se-interessa-por-big-data-precisa-entender-o-crisp-dm