Ciência de Dados – curso gratuito da Escola de Análise de Dados, formação 4 semestres, data 2 de dezembro de 2023.
Miscelânea / / December 05, 2023
Para quem quer colocar problemas através da análise de dados, propor soluções e avaliar a sua eficácia não só numa experiência sintética, mas também em condições reais.
Estatística, aprendizado de máquina e trabalho com diferentes tipos de dados.
Os dados sustentam a maioria dos serviços e produtos modernos, desde aplicativos de previsão do tempo até carros autônomos. Um Cientista de Dados realiza experimentos, constrói métricas, sabe otimizar o funcionamento dos serviços e entende onde estão seus pontos de crescimento.
Cada aluno deve concluir com êxito pelo menos três disciplinas durante o semestre. Por exemplo, se houver dois no programa principal, você precisará escolher um dos cursos especiais.
O conhecimento é testado principalmente por meio de trabalhos de casa - exames e testes são realizados apenas em algumas disciplinas.
Primeiro semestre
Obrigatório
Algoritmos e estruturas de dados, parte 1
01.Complexidade e modelos computacionais. Análise de valores contábeis (início)
02.Análise de valores contábeis (final)
03. Algoritmos Merge-Sort e Quick-Sort
04. Estatísticas ordinais. Montes (início)
05. Montes (fim)
06.Hashing
07. Pesquisar árvores (início)
08.Árvores de pesquisa (continuação)
09.Pesquisar árvores (final). Sistema de conjuntos disjuntos
10. Tarefas de RMQ e LCA
11.Estruturas de dados para pesquisa geométrica
12.O problema da conectividade dinâmica em um grafo não direcionado
Linguagem Python
01. Fundamentos da Linguagem (Parte 1)
02. Fundamentos da Linguagem (Parte 2)
03.Programação orientada a objetos
04. Tratamento de erros
05. Design e teste de código
06.Trabalhando com cordas
07. Modelo de memória
08Programação funcional
09. Revisão da biblioteca (parte 1)
10. Revisão da biblioteca (parte 2)
11. Computação paralela em Python
12.Trabalho avançado com objetos
Aprendizado de máquina, parte 1
01.Conceitos básicos e exemplos de problemas aplicados
02.Métodos de classificação métrica
03.Métodos de classificação lógica e árvores de decisão
04.Métodos de classificação linear de gradiente
05. Máquina de vetores de suporte
06.Regressão linear multivariada
07.Regressão não linear e não paramétrica, funções de perda não padronizadas
08. Previsão de séries temporais
09.Métodos de classificação bayesiana
10. Regressão logística
11. Procure regras de associação
Segundo termo
Obrigatório
Fundamentos de Estatística em Aprendizado de Máquina
01.Introdução
02.Principais tarefas e métodos da teoria da inferência estatística
03. Estimativa de distribuição e funcionais estatísticos
04. Simulação de Monte Carlo, bootstrap
05. Estimativa paramétrica
06. Teste de hipóteses
07. Reduzindo a dimensionalidade dos dados multidimensionais
08.Avaliando a sensibilidade do modelo
09.Regressão linear e logística
10.Métodos de planejamento de experimentos
11.Vários tipos de regularização em regressão linear
12. Métodos não lineares para construção de dependências de regressão
13. Estimativa não paramétrica
14. Abordagem bayesiana para estimativa
15. Abordagem bayesiana para regressão
16. Abordagem bayesiana para regressão e otimização
17.Uso do modelo de campo gaussiano aleatório em problemas de análise de dados
18.Utilização de modelos e métodos estatísticos em problemas de modelação e otimização substitutos
Aprendizado de máquina, parte 2
01. Métodos de classificação e regressão de redes neurais
02.Métodos composicionais de classificação e regressão
03.Critérios de seleção de modelos e métodos de seleção de características
04.Classificação
05. Aprendizagem por reforço
06.Aprender sem professor
07.Problemas com treinamento parcial
08. Filtragem colaborativa
09. Modelagem de tópicos
Terceiro semestre
Escolher a partir de
Processamento automático de texto
01Material do curso
ou
Visão computacional
O curso é dedicado a métodos e algoritmos de visão computacional, ou seja, extrair informações de imagens e vídeos. Vejamos os fundamentos do processamento de imagens, classificação de imagens, pesquisa de imagens por conteúdo, reconhecimento facial, segmentação de imagens. A seguir falaremos sobre algoritmos de processamento e análise de vídeo. A última parte do curso é dedicada à reconstrução 3D. Para a maioria dos problemas discutiremos modelos de redes neurais existentes. No curso procuramos estar atentos apenas aos métodos mais modernos que se utilizam atualmente na resolução de problemas práticos e de investigação. O curso é em grande parte prático e não teórico. Portanto, todas as aulas teóricas estão equipadas com laboratório e trabalhos de casa, que permitem experimentar na prática a maior parte dos métodos discutidos. O trabalho é realizado em Python por meio de diversas bibliotecas.
01.Imagem digital e correção tonal.
02.Noções básicas de processamento de imagens.
03.Combinando imagens.
04. Classificação de imagens e busca por similares.
05. Redes neurais convolucionais para classificação e busca de imagens semelhantes.
06. Detecção de objetos.
07. Segmentação semântica.
08.Transferência de estilo e síntese de imagem.
09.Reconhecimento de vídeo.
10.Reconstrução 3D esparsa.
11.Reconstrução tridimensional densa.
12.Reconstrução a partir de um quadro e nuvens de pontos, modelos paramétricos.
Quarto semestre
Cursos especiais recomendados
Aprendizado profundo
01.Material do curso
Aprendizagem por reforço
01.Material do curso
Carros autônomos
O curso cobre os principais componentes da tecnologia de direção autônoma: localização, percepção, previsão, nível comportamental e planejamento de movimento. Para cada componente serão descritas as principais abordagens. Além disso, os alunos se familiarizarão com as condições atuais do mercado e os desafios tecnológicos.
01.Visão geral dos principais componentes e sensores de um veículo não tripulado. Níveis de autonomia. Dirija por fio. Carros autônomos como produto empresarial. Maneiras de avaliar o progresso na criação de drones. Noções básicas de localização: gnss, odometria de roda, filtros Bayesianos.
02.Métodos de localização lidar: ICP, NDT, LOAM. Introdução ao SLAM visual usando ORB-SLAM como exemplo. Declaração do problema GraphSLAM. Reduzindo o problema GraphSLAM a um método de mínimos quadrados não linear. Selecionando a parametrização correta. Sistemas com estrutura especial em GraphSLAM. Abordagem arquitetônica: frontend e backend.
03. Tarefa de reconhecimento em carro autônomo. Obstáculos estáticos e dinâmicos. Sensores para o sistema de reconhecimento. Representação de obstáculos estáticos. Detecção de obstáculos estáticos usando lidar (VSCAN, métodos de rede neural). Usando lidar em conjunto com imagens para detectar estática (segmentação semântica de imagens, conclusão de profundidade). Câmera estéreo e obtenção de profundidade de uma imagem. Mundo Stixel.
04.Imaginando obstáculos dinâmicos em um carro autônomo. Métodos de redes neurais para detecção de objetos em 2D. Detecção baseada na visão panorâmica da representação da nuvem lidar. Usando lidar com imagens para detectar obstáculos dinâmicos. Detecção de carros em 3D com base em imagens (encaixe de caixas 3D, modelos CAD). Detecção dinâmica de obstáculos baseada em radar. Rastreamento de objetos.
05. Padrões de condução do carro: roda traseira, roda dianteira. Planejamento de caminho. O conceito de espaço de configuração. Métodos gráficos para construção de trajetórias. Trajetórias que minimizam o solavanco. Métodos de otimização para construção de trajetórias.
06.Planejamento rápido em ambiente dinâmico. Planejamento ST. Prever o comportamento de outros usuários da estrada.