Engenheiro de dados - curso 89.000 rublos. da Otus, treinamento 4 meses, data 30 de novembro de 2023.
Miscelânea / / December 03, 2023
O que este curso vai te proporcionar?
- Compreender as principais formas de integrar, processar e armazenar big data
- Capacidade de trabalhar com componentes do ecossistema Hadoop, armazenamento distribuído e soluções em nuvem
- Habilidades práticas no desenvolvimento de serviços de dados, vitrines e aplicativos
- Conhecimento dos princípios de organização de monitoramento, orquestração e testes
O curso é abordado desenvolvedores, administradores de SGBD e todos que buscam aprimorar seu nível profissional, dominar novas ferramentas e realizar tarefas interessantes na área de trabalho com dados.
Depois de estudar Engenharia de Dados, você se tornará um especialista procurado que:
- implanta, ajusta e otimiza ferramentas de processamento de dados
- adapta conjuntos de dados para trabalhos e análises adicionais
- cria serviços que utilizam os resultados do processamento de grandes quantidades de dados
- responsável pela arquitetura de dados da empresa
Estudos de Casos Reais: exemplos de implementações, uso de ferramentas, otimização de desempenho, problemas, erros e resultados aplicados
Orientação altamente prática:
Durante o curso criaremos gradativamente um produto funcional, resolvendo problemas aplicados
Uma imagem holística dos desafios e tarefas dos negócios modernos e do papel do Engenheiro de Dados na sua resolução
Demanda entre empregadores
40 empregadores já estão prontos para convocar egressos do curso para entrevista
6
cursosEngenheiro de dados na Wildberries, palestrante do curso DE Junior. Mais de 7 anos em TI
Graduado com honras pela Voronezh State University. Atualmente aluno do programa de mestrado HSE "Engenharia de Sistemas e Software". Experiência profissional - 2 anos de atuação como Analista de Dados e Engenheiro de Dados. Agora ele trabalha com 5 bancos de dados populares, desenvolve em Python e está desenvolvendo rapidamente suas habilidades. Pronto para compartilhar minha experiência.
1
bemEle desenvolve análises na empresa há mais de 10 anos. Entre as conquistas: - Construção de sistema próprio de web analytics end-to-end; - Construção de armazém analítico baseado em MPP Vertica; - Organização do processamento de dados baseado em Spark, Kafka, HDFS; -...
Ele desenvolve análises na empresa há mais de 10 anos. Entre as conquistas: - Construção de sistema próprio de web analytics end-to-end; - Construção de armazém analítico baseado em MPP Vertica; - Organização do processamento de dados baseado em Spark, Kafka, HDFS;- Construção de processos de trabalho com dados, incluindo qualidade de dados;- Criação de diversas ferramentas internas para trabalho e estruturação de metadados (Data Catalog);- Construção de um sistema de relatórios corporativos, inclusive em tempo real; - Há mais de 5 anos vem aumentando o Data Literacy dentro da empresa, realizando diversos treinamentos sobre como trabalhar com dados, ferramentas, SQL; Ele também desenvolveu vários líderes analíticos que hoje trabalham em grandes empresas. O foco principal é compreender os problemas de negócios ao trabalhar com dados e resolvê-los.
1
bemChefe de departamento do Sberbank 8 anos de experiência em desenvolvimento industrial, incluindo criação e manutenção de aplicações web tanto em grandes empresas quanto em startups. 3 anos de desenvolvimento de sistemas distribuídos para grandes governos...
Chefe de departamento do Sberbank 8 anos de experiência em desenvolvimento industrial, incluindo criação e manutenção de aplicações web tanto em grandes empresas quanto em startups. 3 anos de desenvolvimento de sistemas distribuídos para grandes clientes governamentais. Implementei três projetos do zero, desde o protótipo até o pronto para uso industrial. Atualmente atuante no desenvolvimento full-stack para clientes internos do banco, resolvendo problemas relacionados à análise de dados e engenharia. Experiência em programação em Java, Scala, Python, Javascript. Uma ampla gama de interesses profissionais, desde a construção de sistemas distribuídos até análises preditivas e análises de intenções. Educação: Bacharelado pela UrFU em homenagem. B. N. Yeltsin “Tecnologias da Informação”.
Arquitetura de dados
-Tópico 1.Engenheiro de Dados. Tarefas, habilidades, ferramentas, necessidades do mercado
-Tópico 2.Arquitetura de aplicações analíticas: componentes e princípios básicos
-Tópico 3.Soluções locais / Cloud
-Tópico 4. Automação e orquestração de pipeline – 1
-Tópico 5. Automação e orquestração de pipeline – 2
Lago de dados
-Tópico 6. Sistemas de arquivos distribuídos. HDFS/S3
-Tópico 7.Acesso SQL ao Hadoop. Apache Hive/Presto
-Tópico 8. Formatos de armazenamento de dados e suas características
-Tópico 9. Análise de controle remoto para 1 caso
-Tópico 10.Filas de mensagens. Visão geral de Kafka.
-Tópico 11.Baixando dados de sistemas externos
-Tópico 12.Apache Spark – 1
-Tópico 13.Apache Spark – 2
DWH
-Tópico 14.SGBD analítico. Bancos de dados MPP
-Tópico 15.Modelagem DWH – 1. noções básicas de dbt
-Tópico 16.Modelagem DWH – 2. Cofre de dados 2.0
-Tópico 17.Práticas de DevOps em aplicações analíticas. CI+CD
-Tópico 18. Análise do controle remoto para o caso 2
-Tópico 19.Qualidade dos dados. Gerenciamento de qualidade de dados
-Tópico 20. Implantação de solução de BI
-Tópico 21.Monitoramento/Metadados
NoSQL/NewSQL
-Tópico 22.Armazenamento NoSQL. Coluna larga e valor-chave
-Tópico 23.Armazenamento NoSQL. Orientado a documentos
-Tema 24.ELK
-Tema 25.ClickHouse
-Tópico 26. Análise do controle remoto para o caso 3
MLOps
-Tópico 27.Organização e empacotamento de código
-Tópico 28. Arquitetura Docker e REST
-Tema 29.MLFlow + DVC
-Tópico 30. Implantação de modelos
-Tópico 31. Análise do controle remoto para o caso 4
-Tópico 32. Análise do controle remoto para o caso 5
Projeto de graduação
-Tópico 33. Seleção do tema e organização do trabalho do projeto
-Tópico 34.Consulta
-Tópico 35.Proteção