Analista de Data Warehouse - curso gratuito da Otus, treinamento 5 meses, data 30 de novembro de 2023.
Miscelânea / / December 04, 2023
As aplicações analíticas hoje são construídas na interseção de práticas de engenharia (engenharia de software/dados), compreensão das especificidades dos produtos e negócios (Análise de Dados/Negócios), entrega de serviços rápida e de alta qualidade (DevOps).
O curso tem como objetivo ensinar aos alunos como montar soluções analíticas completas de ponta a ponta usando as ferramentas mais relevantes e procuradas.
O material será estudado tanto em profundidade (por exemplo, os princípios de funcionamento de SGBDs analíticos) quanto em amplitude (comparação de ferramentas, análise dos pontos fortes e fracos das soluções).
Que coisas novas posso aprender?
Para as funções Cientista de Dados, Analista de Dados, Analista de Produto:
– Princípios operacionais de SGBD analíticos e construção de pipelines ELT
– Usando as melhores práticas para modelar data warehouses e marts
– Aplicação dos padrões arquitetônicos corretos na construção de soluções
Para as funções Engenheiro de Dados, Desenvolvedor Backend, DBA, Administrador de Sistema:
– Práticas de construção de soluções analíticas ponta a ponta
– Habilidades aplicadas em visualização, dashboards, BI
– Foco na criação de valor comercial
O curso abordará:
– Habilidades na construção de pipelines ELT: Airflow, Nifi, Stitch
– Princípios de funcionamento de SGBD analíticos: Redshift, Greenplum, Clickhouse
– Melhores práticas de modelagem de dados: dbt, Data Vault
– Visualização e BI: Metabase, Superset, DataLens
– Análises avançadas: KPI, Funis, Atribuição de Marketing, Coorte, RFM
– Práticas DevOps: Integração Contínua, Ações Github
6
cursosEngenheiro de dados na Wildberries, palestrante do curso DE Junior. Mais de 7 anos em TI
Graduado com honras pela Voronezh State University. Atualmente aluno do programa de mestrado HSE "Engenharia de Sistemas e Software". Experiência profissional - 2 anos de atuação como Analista de Dados e Engenheiro de Dados. Agora ele trabalha com 5 bancos de dados populares, desenvolve em Python e está desenvolvendo rapidamente suas habilidades. Pronto para compartilhar minha experiência.
1
bemMais de 6 anos de experiência no desenvolvimento de data warehouses, pipelines ELT, análise e visualização de dados. Experiência na área de segurança do Estado, criação e implantação da KHD LLC "Grupo de Empresas "SBSV-Klyuchavto", atualmente...
Mais de 6 anos de experiência no desenvolvimento de data warehouses, pipelines ELT, análise e visualização de dados. Experiência na área de segurança do Estado, criação e implantação do QCD LLC "Grupo de Empresas "SBSV-Klyuchavto", atualmente desenvolvendo QCD para o grupo de empresas Delo, estou confiante de que os dados são o segundo petróleo, um tipo de propriedade que você precisa para ser capaz de gerenciar e descartar. A presença de dados organizados, seu adequado armazenamento, utilização, venda, anonimato indicam um alto nível de maturidade digital. Professor
3
cursoAlexandra trabalha na área de análise e BI desde 2019. Nessa época, ela recebeu o diploma de bacharel em Engenharia de Software pela Universidade Estadual de Administração de Aviação de São Petersburgo e, em seguida, o título de mestre. Primeiros passos em...
Alexandra trabalha na área de análise e BI desde 2019. Nessa época, ela recebeu o diploma de bacharel em Engenharia de Software pela Universidade Estadual de Administração de Aviação de São Petersburgo e, em seguida, o título de mestre. Os primeiros passos de sua carreira foram dados na empresa americana Intermedia Cloud Communications como analista de dados júnior, e em 2021 conseguiu se tornar o chefe da equipe de análise. Todo este ano foi dedicado a um novo projeto entre equipes para gestão financeira internacional na pilha Microsoft (MS SQL Servidor, SSRS, SSIS, Power BI) Desde março de 2022, trabalha no grupo de empresas Tinkoff Bank como analista de warehouse dados. Fornece suporte à alta gestão do departamento financeiro na construção de protótipos de processos ETL utilizando Greenplum, análises ad-hoc em Python, relatórios e visualização em Tableau. Em 2020, ela recebeu formação adicional na direção de Gerente de Gerenciamento de Projetos em TI. Ele é um defensor ferrenho de metodologias de desenvolvimento flexíveis. Acredita que os investimentos mais rentáveis são os investimentos no próprio desenvolvimento. Pilha: SQL, SAS DIS, SSIS, Tableau, Power BI, Python
ELT: Estrutura e tipos de fontes de dados
-Tópico 1. Fontes de dados: classificação e características
-Tópico 2.Ferramentas para download de dados – 1
-Tópico 3.Ferramentas para download de dados – 2
Noções básicas de DWH
-Tópico 4. Mecanismos analíticos (SGBD) para trabalhar com dados
-Tópico 5.Princípios de construção de DWH
-Análise do tópico 6.DZ – Carregando dados do contador da web
-Tópico 7.Introdução à ferramenta de criação de dados
-Tópico 8.DBT: Engenharia Analítica
DWH intermediário
-Tópico 9.Orquestração de scripts e tarefas – 1
-Tópico 10. Orquestração de scripts e tarefas – 2
-Análise do tópico 11.DZ – Configurando e lançando o projeto dbt
-Tópico 12.Qualidade dos dados
-Tópico 13. Problemas de otimização de desempenho
-Tópico 14.Cofre de dados – 1
-Tópico 15.Cofre de dados – 2
-Análise do tópico 16.DZ – Preparando e configurando um cronograma DAG para download de dados de fontes
Inteligência Empresarial
-Tópico 17.BI: Visão Geral
-Tópico 18.BI: Implantação
-Tópico 19.BI: Modelagem e Entrega
-Análise do tópico 20.DZ – Organização de uma camada DWH detalhada usando a metodologia Data Vault
-Tópico 21.Analytics: vitrines analíticas básicas
-Tópico 22.BI: Perguntas aprofundadas
-Tópico 23. DZ Razor – Configuração e implantação de uma solução de BI
-Tópico 24.Analytics: Demonstrações de análises avançadas
Tópicos avançados de DWH
-Tópico 25.DWH: Tópicos avançados
-Tópico 26.DBT: Estendendo com módulos
-Tópico 27.DWH: Monitoramento + Gerenciamento de carga de trabalho
-Análise do tópico 28.DZ – Visualização e dashboards para vitrines analíticas
-Tópico 29.DWH: Dados externos + semiestruturados
-Tópico 30.DWH: ETL reverso
-Tópico 31.DWH: Capacidades de aprendizado de máquina
Recapitular
-Tópico 32. Análise de caso: solução ponta a ponta
-Análise do tópico 33.DZ – DWH avançado: Configurando CI, módulos dbt, tabelas externas
-Tópico 34. Desenvolvimento adicional de habilidades
Projeto de trabalho
-Tópico 35. Seleção do tema e organização do trabalho do projeto
-Tópico 36.Proteção do trabalho de design