Análise de dados em Python e bancos de dados (SQL) – curso gratuito da RANEPA, treinamento, Data: 6 de março de 2023.
Miscelânea / / December 04, 2023
O programa Python de Análise de Dados e Banco de Dados (SQL) fornecerá aos alunos uma compreensão dos fundamentos da programação de algoritmos de ML (Machine Learning) usando a linguagem Python. Também o ajudará a dominar uma série de competências na área de gerenciamento de bancos de dados relacionais modernos. e adquirir habilidades práticas no uso de ferramentas de linguagem SGBD (Sistemas de Gerenciamento de Banco de Dados dados).
Nas empresas e no governo, enormes quantidades de dados precisam ser constantemente analisadas para obter informações para controlar a qualidade do trabalho, apresentar ideias novas e justificar as aceitas decisões. Especialistas que entendem grandes quantidades de dados podem esperar carreiras aceleradas com salários impressionantes.
Via de regra, SQL e Python são mencionados com mais frequência em anúncios de emprego relacionados à análise de dados.
Somente poderão se inscrever no curso alunos que não estejam estudando nas seguintes áreas:
Durante o curso de domínio do programa, os alunos terão a oportunidade de criar novos produtos digitais (de forma independente ou em equipe). Os autores das melhores soluções receberão o apoio da Academia e a oportunidade de colaborar com o Laboratório de Inteligência Artificial e o Laboratório de Desenvolvimento de Plataformas da RANEPA.
Pitão
Como tudo funciona? Recursos do Python.
Por que todo mundo está usando Python? Comparação com outras linguagens de programação. Como escrever programas? Prós do Python. Como usar Python em tarefas: processamento de texto, trabalho com imagens, escrita de robôs de estoque, lançamento de chatbots. Entrada e saída em Python. Nomes em Python. Operações básicas. Controle do andamento da execução do programa (construções condicionais). Exemplos de programas simples.
Ciclos. Linhas. Métodos de string.
Loop com pré-condição. Declarações Break e Continue. Para loop Estrutura e comprimento da linha. O elemento de linha e como cortar linhas. Obtendo uma substring de uma string. Travessia de linha. Seções.
Tuplas. Listas. mapa de funções. Gerador de lista de valores aleatórios.
Por que as tuplas são necessárias? Trabalhando com uma lista. Listar elementos. Imprima a lista. Cópia correta de listas. Recursos de uso da função de mapa. O que são geradores de valores aleatórios? Um monte de. Operações com conjuntos. Congelado. Dicionários. obter método Travessia de dicionário.
Funções. Aplicação de funções matemáticas. Escopo e exclusão.
Como escrever funções corretamente. Algoritmos simples. Escrevendo as primeiras funções. Como adicionar matemática. Recomendações para escrever suas próprias funções. Como funcionam os escopos. Variáveis globais. Retornando vários valores de uma função. Exceções.
Trabalhando com arquivos. Matrizes. Tipos de classificação
O que você pode fazer com os arquivos? Abrindo e fechando arquivos. Ler e escrever arquivos de texto. Matrizes. Preenchimento de matrizes. Inserindo matrizes linha por linha. Ler e escrever matrizes. Tipo de bolha. Análise do algoritmo. Várias versões da solução.
Visão geral da biblioteca NumPy. Trabalhando com funções NumPy. Biblioteca SciPY.
Bibliotecas Python e sua instalação. Tipos de dados NumPy básicos. Funções numéricas. Trabalhando com matrizes. Operações com matrizes. Matrizes bidimensionais. Matrizes. Recursos básicos da biblioteca SciPy.
Visão geral da biblioteca Pandas. Análise básica.
Instalando a biblioteca. Criando um objeto Series. Indexação de DataFrame. Tabelas. Lendo e gravando arquivos. Indexação. Amostragem de dados. Operações com linhas e colunas. Trabalhando com NaN. Ordenação.
Visualizações de dados. Exemplos práticos
Estudo de novos dados, pré-processamento, visualização de dados, busca de conexões entre funcionalidades, preparação de dados de treinamento e criação de modelos de previsão de risco de crédito. Obtenção de um modelo que responda à questão: emitir ou não empréstimo.
Automação de tarefas rotineiras. Exemplos práticos
Análise de exemplos práticos de automatização de tarefas relacionadas com a obtenção de informação agregada de diversas fontes (ficheiros Excel) ou da Internet.
Revisão dos métodos de aprendizado de máquina usados para análise de dados. Exemplos práticos
Um exemplo prático de identificação de características básicas e sua interpretação em um problema de aprendizagem supervisionada.
Avaliação do módulo provisório
A certificação provisória ocorre na forma de um teste (teste de computador). Amostra de um edifício de teste típico:
Qual função Python você pode usar para descobrir o tipo de uma variável?
- hwoami
- tipo
- tipo de
- é
Qual intervalo de números será criado no seguinte código: intervalo (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
O que o trecho de código na listagem permite executar?
- Trecho de código: print(math.sqrt(2))
- exibindo o número 2 da biblioteca matemática
- conectando a biblioteca matemática
- quadrando um número matemático
- exibindo a raiz quadrada de dois
SQL
Armazenamento e integridade de dados.
Armazenamento de dados: arquivos de dados, logs, níveis de RAID, Tempdb. Relacionamentos em bancos de dados, um para um, um para muitos, muitos para muitos. Integridade dos dados: PRIMARY KEY, CHECK, UNIQUE e FOREIGN KEY. Normalização de tabelas.
Criação de banco de dados e tabelas.
Arquitetura do SGBD: níveis lógicos (tabelas e tipos de dados, chaves, índices, visualizações, assemblies, restrições, regras, valores padrão) e físicos (arquivos e grupos de arquivos, páginas). Criação de banco de dados. Tipos de dados de campo de tabela: números exatos, cadeias de caracteres Unicode, números aproximados, dados binários, data e hora, outros tipos de dados, cadeias de caracteres. Criando tabelas. Onde escrever solicitações?
Índices. Diagramas.
Índices: clusterizado, não clusterizado, identificação exclusiva, filtrado, columnstore, hash, não clusterizado, índice otimizado para memória. Diagramas ER: diagramas de banco de dados, nó de banco de dados. DML e os operadores SQL mais comuns: SELECT, INSERT, UPDATE, DELETE. A importância dos fatores únicos.
Solicitações de. Conexões externas.
Consultas em uma tabela. Amostragem sem repetições. Consultas em várias tabelas. Junções externas: LEFT, RIGHT ou FULL.
Funções agregadas. Subconsultas.
Subconsultas: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Unindo dados: SELECIONE JOIN. Funções agregadas: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Condições para funções agregadas.
Recursos úteis.
Um pouco mais sobre operadoras. Solicitação industrial. Funções úteis: funções SQRT, RAND, CONCAT, numéricas e de string. Precedência de operação e conversão de tipo: CAST, CONVERT.
Transações. Representação.
Um pedido de quatro maneiras. Transações: conceito de transações – atomicidade, consistência, isolamento, durabilidade, gerenciamento de transações – COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Acesso paralelo a dados: problemas de leitura suja, não repetível, fantasmas. Visualizações: indexado, particionado, sistema.
Variáveis e loops.
Início da programação. Variáveis: DECLARE, SET, SELECT. Estrutura do código. Operadores de descrição de dados: CREATE, DROP, ALTER, etc. Operadores de manipulação de dados: INSERT, DELETE, SELECT, UPDATE, etc. Operadores para configuração de direitos de acesso ao banco de dados: GRANT/REVOKE, LOCK/UNLOCK, SET LOCK MODE Operadores para proteção, recuperação de dados e outros operadores. Ciclos: ENQUANTO.
Procedimentos e funções armazenados.
Tabelas temporárias. Cursores Transact-SQL, servidor, cliente. Tipos de cursor: unidirecional, estático, conjunto de chaves, dinâmico. Procedimentos e funções armazenados: CREATE PROCEDURE, CREATE PROC.
Gatilhos. Exceções.
Transportador HF. Gatilhos: DEPOIS, EM VEZ DE. Exceções: EXCETO. SQL dinâmico usando palavra-chave e procedimento armazenado: EXECUTE IMMEDIATE.
SGBD. Bancos de dados NoSQL.
Transações em programação/SGBD/SQL. Como as solicitações são executadas. Como melhorar o desempenho da consulta. Banco de dados NoSQL e suas vantagens.
Avaliação do módulo provisório
A certificação provisória ocorre na forma de um teste (teste de computador). Amostra de um edifício de teste típico:
Que tipo de dados de campo é do tipo NUMBER?
- corda
- numérico
- binário
Qual comando SQL consulta dados?
- ALTERAR
- SELECIONAR
- DE
O que é uma transação?
- este é um grupo de operações realizadas pelo SGBD
- é um grupo de operações que possui propriedades ACID
- esta é a operação de execução de um comando SQL