MLOps - taxa de 80.000 rublos. da Otus, treinamento 5 meses, data 30 de novembro de 2023.
Miscelânea / / November 30, 2023
Você dominará todas as habilidades necessárias de aprendizado de máquina para streaming de dados e ambientes distribuídos. O programa inclui os conhecimentos necessários nas áreas de Ciência de Dados e Engenharia de Dados, o que permitirá processar big data e escrever algoritmos distribuídos no Spark.
Você praticará cada módulo completando a lição de casa. Ao final do treinamento, você terá um projeto final que lhe permitirá resumir todos os conhecimentos adquiridos e agregar ao seu portfólio. Isso pode ser feito como parte de tarefas de trabalho em seu conjunto de dados ou como um projeto de aprendizagem baseado em dados fornecidos pela OTUS.
Para quem é este curso?
Para especialistas em Machine Learning ou engenheiros de software que desejam aprender como trabalhar com big data. Normalmente, essas tarefas existem em grandes empresas de TI com produtos digitais de grande escala.
Para cientistas de dados que desejam fortalecer seu conjunto de habilidades com habilidades de engenharia. Graças ao curso, você poderá processar dados e exibir de forma independente os resultados das soluções de ML em produção.
Para aprender, você precisará de habilidades básicas em ciência de dados. Sugerimos que você consulte o Mapa dos cursos de Ciência de Dados da OTUS para saber o nível de treinamento exigido.
Você vai aprender:
- Usar ferramentas padrão de pipeline de ML em um ambiente distribuído;
- Desenvolva seus próprios blocos para pipelines de ML;
- Adaptar algoritmos de ML a ambientes distribuídos e ferramentas de big data;
- Usar Spark, SparkML, Spark Streaming;
- Desenvolver algoritmos para preparação de dados de streaming para aprendizado de máquina;
- Garantir o controle de qualidade em todas as etapas da movimentação das soluções de ML para a operação industrial.
Demanda por especialistas
As habilidades que você dominará são tão aplicadas e promissoras quanto possível. Cada vez mais produtos digitais aparecem no mercado, cujo desenvolvimento requer trabalho com big data e processamento de stream. Já agora, especialistas com esse conjunto de competências e alguma experiência profissional podem reivindicar um salário de 270 mil. rublos Outra tendência - a automação dos processos de treinamento e validação, ao contrário, de alguma forma desvaloriza o trabalho de um Cientista de Dados clássico. Tudo está caminhando para o ponto em que até mesmo um não especialista pode fazer uma previsão adequada. Portanto, aqueles que possuem pelo menos habilidades superficiais de engenharia já estão em alta.
Recursos do curso
Muita prática trabalhando com dados
Ampla gama de habilidades, desde ML distribuído e processamento de dados de fluxo até saída de produção
Ferramentas e tecnologias atuais: Scala, Spark, Python, Docker
Comunicação ao vivo com especialistas por meio de webinars e chat do Slack
4
cursoEnvolvido no desenvolvimento de uma equipe de Data Science que fornece funcionalidades baseadas em machine learning para os produtos e serviços da empresa. Como Cientista de Dados, participou do desenvolvimento do Kaspersky MLAD e do MDR AI Analyst. EM...
Envolvido no desenvolvimento de uma equipe de Data Science que fornece funcionalidades baseadas em machine learning para os produtos e serviços da empresa. Como Cientista de Dados, participou do desenvolvimento do Kaspersky MLAD e do MDR AI Analyst. Como desenvolvedor C++, participou da criação do MaxPatrol SIEM e ensina informática há muitos anos. disciplinas científicas na MSTU GA. Autor de uma série de relatórios sobre gerenciamento e desenvolvimento de projetos de ML, C++, DS equipes. Membro da conferência PC C++ Rússia. Gerenciador de programa
8
cursosMais de 20 anos de experiência em projetos de desenvolvimento customizados em TI. Dezenas de projetos bem-sucedidos, inclusive aqueles sob contratos governamentais. Experiência no desenvolvimento e implementação de sistemas ERP, soluções open source, suporte a aplicações de alta carga. Professor de cursos de...
Mais de 20 anos de experiência em projetos de desenvolvimento customizados em TI. Dezenas de projetos bem-sucedidos, inclusive aqueles sob contratos governamentais. Experiência no desenvolvimento e implementação de sistemas ERP, soluções open source, suporte a aplicações de alta carga. Professor dos cursos de Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, além de mentor do curso HighLoad
1
bemEspecialista em trabalhar com big data e machine learning. Por 8 anos ele trabalhou em Odnoklassniki.ru. Gerenciei a equipe do OK Data Lab (laboratório para pesquisadores na área de big data e machine...
Especialista em trabalhar com big data e machine learning. Por 8 anos ele trabalhou em Odnoklassniki.ru. Gerenciei a equipe do OK Data Lab (laboratório para pesquisadores na área de big data e machine learning). A análise de big data em Odnoklassniki tornou-se uma oportunidade única de combinar treinamento teórico e base científica com o desenvolvimento de produtos reais e sob demanda. Desde 2019, trabalha no Sberbank como Diretor Geral. Atua como líder do cluster de desenvolvimento de plataforma para sistemas de recomendação na divisão de personalização em massa. Ele se formou na Universidade Estadual de São Petersburgo em 2004, onde defendeu seu doutorado em métodos lógicos formais em 2007. Atuei em terceirização por quase 9 anos sem perder contato com o meio universitário e científico.
Introdução básica para iniciar o curso
-Tópico 1.Gradiente descendente e modelos lineares
-Tópico 2. Visão geral dos métodos e métricas básicas de aprendizado de máquina
-Tópico 3.Evolução das abordagens para trabalhar com dados
-Tópico 4. Noções básicas de programação em Scala
Base tecnológica do processamento distribuído de dados
-Tópico 5. Sistemas de arquivos distribuídos
-Tópico 6. Gerenciadores de recursos em sistemas distribuídos
-Tópico 7. Evolução de estruturas de computação massivamente paralelas e distribuídas
-Tópico 8. Noções básicas do Apache Spark 1
-Tópico 9. Noções básicas do Apache Spark 2
Noções básicas de ML distribuído
-Tópico 10. Transferência de algoritmos de ML para um ambiente distribuído
-Tópico 11.ML no Apache Spark
-Tópico 12.Desenvolvendo seus próprios blocos para SparkML
-Tópico 13.Otimização de hiperparâmetros e AutoML
Processamento de fluxo
-Tópico 14. Processamento de dados de fluxo
-Tópico 15. Bibliotecas de terceiros para uso com Spark
-Tema 16.Spark Streaming
-Tópico 17. Streaming estruturado e contínuo no Spark
-Tópico 18. Estruturas alternativas de streaming
Definição de metas e análise de resultados
-Tópico 19. Determinação do objetivo do projeto de ML e análise preliminar
-Tópico 20. Metas de ML de longo prazo usando o exemplo da tarefa de redução de rotatividade
-Tópico 21. Teste A/B
-Tópico 22.Tópicos adicionais
Enviando resultados de ML para produção
-Tópico 23. Abordagens para colocar soluções de ML em produção
-Tópico 24.Versionamento, reprodutibilidade e monitoramento
-Tópico 25.Serviço on-line de modelos
-Tópico 26. Padrões para streaming assíncrono de ML e ETL
-Tópico 27. Se você precisar de Python
ML em Python em produção
-Tópico 28.Código de produção em Python. Código de organização e embalagem
-Tópico 29. Arquitetura REST: API Flask
-Tópico 30.Docker: Estrutura, aplicação, implantação
-Tópico 31.Kubernetes, orquestração de contêineres
-Tema 32.Ferramentas MLOPS para Kubernetes: KubeFlow, Seldon Core. Características de funcionamento de sistemas heterogêneos na indústria.
-Tema 33. Amazon Sagemaker
-Tópico 34.Serviço AWS ML
Tópicos avançados
-Tópico 35. Redes Neurais
-Tópico 36. Aprendizagem distribuída e inferência de redes neurais
-Tópico 37. Aumento de gradiente em árvores
-Tópico 38. Aprendizagem por reforço
Projeto de trabalho
-Tópico 39. Seleção do tema e organização do trabalho do projeto
-Tópico 40. Consulta sobre projetos e trabalhos de casa
-Tópico 41.Proteção do trabalho de design