Processamento e análise de big data - curso gratuito da Open Education, treinamento 2 semanas, cerca de 36 horas semanais, Data 29 de novembro de 2023.

Módulo 1 Tópico 1.1 Introdução à ciência de dados Discute tipos e fontes de dados, princípios separação e combinação de dados, tipos de escalas, métodos de limpeza de dados e preenchimento de lacunas, controle gamas. Tópico 1.2 Ferramentas de processamento de dados Discute as principais ferramentas de processamento de dados, como planilhas (planilhas Google e Excel), aborda as questões de classificação e filtragem de dados, meios de agregação e análise de dados tabulares (tabelas dinâmicas) Tópico 1.3 Visualização dados As tarefas e métodos de visualização de dados em diversas ferramentas (planilhas Google e Excel), formas de apresentação de dados quantitativos e dados qualitativos. A visualização de dados cognitivos é considerada. Tópico 1.4 Análise e transformação de dados São considerados métodos de suavização e normalização de dados, questões de transformação de dados. Os tipos de estatísticas descritivas e métodos para seu cálculo são descritos detalhadamente. Tópico 1.5 Trabalhando com séries temporais São considerados os princípios de trabalho com séries temporais e métodos para sua análise. É dada especial atenção às técnicas de suavização de séries temporais, determinação de tendências e componentes sazonais de séries temporais.

Módulo 2 Armazenamento de Big Data Tópico 2.1. Sistemas de gerenciamento de banco de dados São consideradas a arquitetura dos sistemas de informação e as principais funções dos sistemas de gerenciamento de banco de dados. Tópico 2.2. Projetando dados estruturados Os conceitos básicos do modelo relacional (tabular) são considerados dados, projetando dados em um modelo relacional, regras para criação de tabelas e definição de restrições de integridade. Tópico 2.3. SQL - consultas a dados e objetos de banco de dados São considerados os princípios de construção de consultas a dados na linguagem SQL, incluindo projeção, classificação, definição de condições de seleção, união de múltiplas tabelas, operações teóricas de conjuntos, aninhados solicitações de. A palestra também discute objetos de banco de dados - visualizações, procedimentos/funções, gatilhos. É fornecido o conceito de índices, o que pode melhorar a eficiência da execução de uma série de consultas. Tópico 2.4. Armazenamento NoSQL São considerados os conceitos básicos e características dos sistemas NoSQL, vários tipos e classificações de sistemas NoSQL: valor-chave, documento, coluna e gráfico. Princípios de construção de consultas a dados em armazenamentos NoSQL. Tópico 2.5. MongoDB - trabalhando com armazenamento de documentos Discute a organização de dados e a construção de consultas no MongoDB. São fornecidos exemplos de construção de consultas no banco de dados de demonstração MongoDB.