Curso "Engenheiro de Dados" - curso 95.000 rublos. do Yandex Workshop, treinamento de 6,5 meses, Data: 11 de dezembro de 2023.

Atualizando o modelo de dados

1 módulo 2 semanas

A empresa continua mergulhando você em seus processos. Os dados com os quais você estava trabalhando foram atualizados, então você precisa alterar o modelo de dados.

Neste curso você:
- entender como a empresa constrói um banco de dados;
- atualizar a estrutura da base de dados atual de acordo com os novos requisitos de negócio;

- preparar novas vitrines e métricas para analistas e gestores.

Tecnologias e ferramentas:

• PostgreSQL

+1 projeto no portfólio
Crie um data mart com carregamento incremental para análise do público da loja online.

DWH: revisão do modelo de dados

Módulo 2 3 semanas

A empresa está crescendo, a arquitetura de dados está se tornando mais complexa. Você recebe uma tarefa - otimizar processos com dados.

Neste curso você:
- pensar no processo de transição do antigo esquema de banco de dados para o novo, minimizando ao mesmo tempo as perdas de negócios (implantação com tempo de inatividade zero);
- preparar a migração de dados;
- levar em consideração possíveis problemas e projetar uma opção para reverter as alterações;
- implementar uma nova estrutura de banco de dados e adaptá-la aos processos existentes em torno dos dados.

Tecnologias e ferramentas:

• PosgreSQL
• Pitão

+1 projeto no portfólio
Você colocará o modelo de dados em ordem e migrará os dados dentro do armazenamento atual da loja online.

ETL: automação de preparação de dados

Módulo 3 3 semanas

Agora você sabe quase tudo sobre o data warehouse da empresa. É hora de repensar os processos de ETL.

Neste curso você:
- automatizar o pipeline de dados;
- configurar o download automático de dados das fontes;
- aprender a carregar dados de forma regular e incremental no banco de dados.

Tecnologias e ferramentas:

• Pitão
• Fluxo de ar
• PostgreSQL

+1 projeto no portfólio
Crie um pipeline para recebimento, processamento e carregamento automatizado de dados das fontes até a vitrine para um projeto de comércio eletrônico.

Verificação da qualidade dos dados

Módulo 4 1 semana

Você quer ter certeza de que seus primeiros pipelines estão funcionando bem. A qualidade dos dados deve ser verificada e as falhas devem ser rastreadas em tempo hábil.

Neste curso você:
- compreender como utilizar metainformação e documentação;
- avaliar a qualidade dos dados.

DWH para múltiplas fontes

Módulo 5 2 semanas

Você continua pesquisando o DWH porque o desenvolvimento da empresa e, portanto, o aumento do volume de dados não pode ser interrompido.

Neste curso você:
- construir DWH do zero em um SGBD relacional;
- familiarizar-se com o MongoDB como fonte de dados.

Tecnologias e ferramentas:

• PostgreSQL
• MongoDB

+1 projeto no portfólio
Você projetará e implementará DWH para uma startup interna.

Bancos de dados analíticos

Módulo 6 2 semanas

Há cada vez mais dados não estruturados específicos que também precisam ser armazenados e processados. Portanto, apresentaremos o conceito de bancos de dados analíticos usando o Vertica DBMS como exemplo.

Neste curso você:
- estudar organização de armazenamento em Vertica;
- aprender a fazer operações básicas com dados no Vertica;
- construir um data warehouse simples no Vertica.

Tecnologias e ferramentas:

• vertical
• PostgreSQL
• Fluxo de ar
• S3

+1 projeto no portfólio
Construa um DWH para um sistema de dados de mensagens de alta carga e baixa estrutura usando Vertica.

Organização do Lago de Dados

Módulo 7 4 semanas

As soluções clássicas não ajudam a lidar com o volume de dados. Para lidar com os novos desafios de negócios, você criará e preencherá um Data Lake.

Neste curso você:
- considere a arquitetura do Data Lake (trad. "lago de dados");
- aprender a processar dados no sistema MPP;
- preencher o Data Lake com dados das fontes;
- praticar o processamento de dados usando PySpark e Airflow.

Tecnologias e ferramentas:

• Hadoop
• MapaReduzir
• HDFS
• Apache Spark (PySpark)

+1 projeto no portfólio
Crie um Data Lake e automatize o carregamento e o processamento de dados nele.

Processamento de fluxo

Módulo 8 3 semanas

Você superou as dificuldades com uma grande quantidade de dados, mas surgiu uma nova tarefa - você precisa ajudar a empresa a tomar decisões com mais rapidez. Aqui você precisará de conhecimento em processamento de dados de fluxo. transmissão).

Neste curso você:
- considerar as características do processamento de dados de fluxo;
- construa seu próprio sistema de streaming;
- construir uma vitrine usando dados em tempo real.

Tecnologias e ferramentas:

• Kafka
• Streaming de faísca

+1 projeto no portfólio
Você desenvolverá um sistema de processamento de dados em tempo real.

Tecnologias em nuvem

Módulo 9 3 semanas

Agora você pode trabalhar com grandes volumes de dados e fluxos. Resta automatizar o escalonamento de sistemas usando serviços em nuvem.

Neste curso você aprenderá como implementar soluções já estudadas, mas na nuvem (usando Yandex Cloud como exemplo).

Tecnologias e ferramentas:

• Yandex. Nuvem
• Kubernetes
• kubectl
• Redis
• PostgreSQL

+1 projeto no portfólio
Você desenvolverá infraestrutura para armazenamento e processamento de dados na nuvem.

Projeto de graduação

Módulo 10 3 semanas

Confirme que você aprendeu novas habilidades.

Aqui você precisará selecionar e implementar soluções de forma independente para um problema de negócios. Isso o ajudará mais uma vez a reforçar o uso das ferramentas que aprendeu, bem como a sua independência.