Engenheiro de Dados do zero ao Junior – curso gratuito da Skillbox, treinamento, Data: 29 de novembro de 2023.
Miscelânea / / November 30, 2023
Para iniciantes
Aprenda Python e SQL do zero. Aprenda a coletar, analisar e processar dados. Resolva problemas com base em casos reais e adicione-os ao seu portfólio. Você pode iniciar uma carreira em Engenharia de Dados enquanto estuda.
Para programadores
Aprimore seu conhecimento de SQL para trabalhar com bancos de dados. Você percorrerá todo o caminho de um engenheiro de dados, desde a coleta de dados brutos até a implantação do modelo. A experiência em programação o ajudará a entender rapidamente uma nova profissão e mudar de área.
Para analistas iniciantes
Aprenda todas as etapas do trabalho com dados. Aprenda a coletar informações de diferentes fontes, construir uma arquitetura para armazená-las e visualizar relatórios. Você poderá preparar dados de forma independente para análise posterior.
Autor do curso de Aprendizado de Máquina. Cientista de dados sênior, líder de equipe da SberData, Sber. Mais de 5 anos na profissão
Palestrante do curso, Diretor de P&D, UBIC Tech. Mais de 15 anos de experiência em desenvolvimento
Cientista de Dados do Sberbank, matemático do Centro de Computação da Academia Russa de Ciências. Bloco “Fundamentos de Matemática para Ciência de Dados”. Mais de 4 anos de experiência no ensino de matemática superior
Primeiro nível: treinamento básico
Conheça as principais áreas da Ciência de Dados, treine e implemente seu primeiro modelo de ML. Obtenha conhecimentos básicos de matemática, estatística e teoria das probabilidades. Tudo isso o ajudará a compreender os princípios básicos do trabalho com dados. O tempo médio de conclusão é de 6 meses.
Introdução à Ciência de Dados
Você passará por todas as etapas do trabalho com dados. Aprenda a identificar problemas e coletar requisitos de negócios. Você baixará dados de várias fontes, conduzirá análises exploratórias e preparará o conjunto de dados para uso posterior. Treine e implemente um modelo de ML pronto, experimente ser um analista de produto e marketing. Aprenda a formular e testar hipóteses. Domine as ferramentas básicas de trabalho: Python, SQL, Excel, Power Bi, Airflow.
Matemática Básica para Ciência de Dados
Obtenha conhecimentos básicos de matemática para trabalhar com aprendizado de máquina. Você entenderá o que são aproximações, interpolações, funções, regressões, matrizes e vetores. Aprenda a trabalhar com entidades matemáticas na biblioteca SymPy Python.
Fundamentos de estatística e teoria das probabilidades
Você compreenderá os princípios de trabalho com variáveis e eventos aleatórios. Familiarize-se com alguns tipos de distribuições e testes estatísticos que são úteis na construção de modelos e testes de hipóteses.
Oportunidade de estágio
Conhecimentos e habilidades básicas são suficientes para conseguir um estágio - você pode continuar estudando no curso e na empresa ao mesmo tempo.
Segundo nível: Engenheiro de Dados Júnior
Aprenda a coletar conjuntos de dados complexos, preparar apresentações e criar pipelines para o trabalho, implantar projetos de DS do zero e testar códigos. Você estará pronto para trabalhar como Engenheiro de Dados Júnior. O tempo médio de conclusão é de 6 meses.
Bloco introdutório
Descubra o que faz um Engenheiro de Dados, qual o papel que ele desempenha em um projeto de Ciência de Dados e quais são seus planos de carreira. Você entenderá como o curso está estruturado e quais tópicos estudará.
SQL
Aprenda a manipular dados em tabelas existentes, realizar operações de inserção, limpeza e atualização. Você pode salvar dados do banco de dados em vários formatos. Aprenda sobre funções de janela e os conceitos básicos de preparação de data marts usando SQL. Aprenda a garantir a inserção correta das informações no modo transação. Você será capaz de ler e compreender o log de transações. Aprenda o que são índices e arquitetura de índices e onde eles são usados. Aprenda técnicas para agilizar consultas.
Pitão. Nível 2
Considere os tipos de dados, como eles podem ser convertidos e como Python e SQL funcionam juntos – obtendo dados de um banco de dados, trabalhando com os dados e executando consultas. Aprenda os conceitos básicos de esquemas de dados JSON e XML. Você poderá configurar a depuração de aplicativos, escrever testes, anonimizar e criptografar dados.
Bibliotecas para Python
Você aprenderá o que são bibliotecas para trabalhar com gráficos, aprendizado supervisionado, visualização de métricas e fontes de conjuntos de dados. Aprenda a usar Python e bibliotecas para trabalhar com dados. Você pode continuar aprendendo Pandas.
Fluxo de ar
Revise os principais conceitos e práticas para trabalhar com o Airflow. Aprenda os fundamentos da arquitetura e da interoperabilidade da UI à CLI. Crie seu primeiro pipeline de dados.
Noções básicas de faísca
Master Spark: aprenda em quais recursos computacionais ele opera, como armazena dados e funciona com memória e disco. Monte seu primeiro estande local. Aprenda o básico do RDD: conceitos básicos, trabalho com fontes, ações. Aprenda a trabalhar com a API Dataframe. Aprenda questões de desempenho e otimização ao usar Dataframe, fontes e tipos de dados, trabalhar com dados válidos/inválidos, tratamento de erros, UDF, interação com Python e SQL.
Noções básicas de algoritmos de aprendizado de máquina
Você compreenderá os principais tipos de modelos de aprendizado de máquina, termos-chave e definições. Aprenda algoritmos de regressão e algoritmos de cluster.
Implantação
Aprenda os principais estágios de preparação de um modelo para implantação, abordagens para construir uma API e maneiras de lidar com erros e depurar aplicativos. Você será capaz de solucionar problemas de implantação e dominar as ferramentas básicas de swagger. Familiarize-se com os principais processos do bash: escrever scripts, trabalhar com variáveis e os editores de texto sed e awk.
Projetos finais
Depois de passar no primeiro nível, prepare um projeto introdutório. Ao final do curso você apresentará seu trabalho final.
Introdução à Ciência de Dados
Consolide seu novo conhecimento em um projeto individual - você passará desde o carregamento de dados até a implementação de um modelo. Resolva os problemas de um engenheiro de dados, engenheiro de ML e analista de dados para decidir sobre sua especialização.
Engenheiro de dados
Projeto final de nível Junior. Conduza uma análise de coorte e baixe referências de API. Crie painéis com base nos dados recebidos.
Cursos bônus
Carreira de Desenvolvedor: Emprego e Desenvolvimento
Você aprenderá como escolher uma vaga adequada, se preparar para uma entrevista e negociar com um empregador. Você poderá obter rapidamente uma posição que atenda às suas expectativas e habilidades.
Sistema de controle de versão Git
Aprenda a alterar versões do código, criar e gerenciar repositórios, ramificações e resolver conflitos de versão. Aprenda regras úteis para trabalhar com Git.
Inglês para especialistas em TI
Adquira habilidades linguísticas que o ajudarão a passar em uma entrevista em uma empresa estrangeira e a se comunicar confortavelmente em equipes mistas.