Repositório de projetos relacionados a Engenharia de Dados

Projeto	Descrição
Introdução à Engenharia de Dados	Script que faz a captura de todos os jogos da Lotofácil e faz uma análise de dados em relação aos números que aparecem com mais ou menos frequência.
Fundamentos de Ingestão de Dados	Exemplos de ingestão de dados via API, tratamento de exceptions e logs.
SQL (CTE's, Window Functions), Docker e Metabase	Exemplos de criação de um banco de dados com Docker, scripts SQL de como utilizar CTEs e Window Functions e como criar e fazer uma conexão da base de dados com o Metabase
Capturando dados de uma API: Ingestão de Dados com Scripts Escaláveis	Projeto de ingestão de dados da API do mercado bitcoin que funciona de forma escalável, com checkpoints, seguindo princípios SOLID, orientado a objetos e com cobertura de testes.
Capturando dados com crawlers (Selenium)	Exemplos de como capturar dados em uma página web utilizando Selenium.
Jenkins com Docker	Exemplo de como criar um servidor Jenkins com o Docker para automatizar a execução de tarefas.
Simulando Streaming de Dados com Kinesis Firehose	Exemplo de projeto que faz a geração e ingestão de dados em tempo real para o Kinesis Firehose, salvando os arquivos em um bucket do S3.

Referências

• Bootcamp Engenharia de Dados (How)
• DataCamp Cheat Sheets