Bootcamp Cloud para Dados
Vamos dominar a cloud e dar o próximo passo na carreira? Projeto de imersão em cloud, focado exclusivamente em profissionais de dados.
Link aula AO VIVO 1Aula
https://meet.google.com/fzf-gpaq-ojs
Aula 01: Introdução a Cloud, criando nossa conta e publicando um site na AWS via S3 e EC2 1Aula
Nesta aula, exploramos os conceitos fundamentais da computação em nuvem, começando com a criação de um Bucket S3 para hospedar arquivos como vídeos, fotos, CSVs e até um site estático. Em seguida, configuramos uma instância EC2 e implantamos nosso primeiro projeto Python usando Streamlit, aprendendo a gerenciar e publicar aplicações na nuvem de forma prática e direta. Foi o primeiro passo para dominar o ambiente cloud!
Aula 02: Serviços de Armazenamento na Nuvem com S3 1Aula
Objetivo: Explorar as diversas aplicações do Amazon S3 no contexto de engenharia, ciência e análise de dados, com um foco prático em como configurar e utilizar o serviço via script Python usando o boto3. Além disso, abordaremos a criação de um IAM exclusivo e um grupo de recursos para gerenciar acesso e segurança.
Aula 03: Computação na Nuvem com EC2 2 Aulas
Na terceira aula do Bootcamp Cloud, exploraremos o Amazon EC2 (Elastic Compute Cloud), um serviço essencial para computação escalável na AWS. Durante a sessão, abordaremos as funcionalidades principais do EC2, como o lançamento e a configuração de instâncias, além de suas aplicações em cenários de engenharia de dados. A aula também inclui uma revisão prática sobre o uso do S3, consolidando os conceitos aprendidos anteriormente. Ao final, os participantes estarão capacitados a configurar instâncias EC2 e integrar esses recursos em seus projetos de dados na nuvem.
-
Parte 01
Nesta seção, vamos introduzir o Amazon EC2 (Elastic Compute Cloud), destacando sua importância na infraestrutura de computação em nuvem. O EC2 permite a criação e gerenciamento de máquinas virtuais com alta flexibilidade, ajustando a capacidade computacional conforme as necessidades do projeto. Abordaremos os principais componentes do EC2, como tipos de instâncias, Amazon Machine Images (AMIs), Volumes EBS, e Grupos de Segurança. Também discutiremos as diferentes famílias de instâncias EC2, que são otimizadas para diversos tipos de workloads, desde propósitos gerais até computação acelerada. Além disso, serão explorados os modelos de precificação disponíveis, como instâncias Sob Demanda, Savings Plans, Spot Instances, e Instâncias Dedicadas, ajudando a escolher a melhor opção de acordo com as necessidades e orçamento do projeto. -
Parte 02
Nesta parte prática, faremos o deploy do Apache Airflow em uma instância EC2. O processo inclui a criação e configuração de uma instância EC2, instalação dos pacotes necessários para rodar o Airflow, configuração do ambiente virtual Python, e instalação do Airflow com suas dependências. Também abordaremos como inicializar o banco de dados do Airflow, criar um usuário administrador, e configurar o servidor web e o scheduler para que o Airflow esteja plenamente funcional na instância EC2. Por fim, discutiremos como verificar a adição de DAGs no Airflow e garantir que tudo esteja funcionando corretamente na interface web do Airflow.
Aula 04: Gestâo de Acesso com IAM 1Aula
Nesta aula, vamos explorar o IAM (Identity and Access Management) da AWS. Vamos entender como proteger a conta AWS, o papel do usuário root, como criar e gerenciar usuários, grupos, políticas, e configurar o MFA.
Aula 05: Gerenciamento de Redes VPC 1Aula
Aula 06: Gerenciamento de Redes VPC 1Aula
Aula 07: Banco de dados com RDS 2 Aulas
Aula 08: Integração entre EC2 e RDS para Processamento de Requisições de API e Armazenamento de Dados 1Aula
Aula 09: Arquitetura de Eventos 1Aula
Aula 10: Gestão de Custos na AWS 1Aula
Aula 11 : Lambda Functions 1Aula
Aula 12 : Amazon CLI 1Aula
Aula 13: Amazon SQS 1Aula
Vamos explorar o Amazon SQS (Simple Queue Service), um serviço de mensageria que permite criar pipelines de dados escaláveis e desacoplados. Veremos como: 1) Criar filas para organizar e gerenciar mensagens. 2) Enviar e receber mensagens de forma eficiente e segura. 3) Integrar o SQS com outros serviços AWS Essa solução é essencial para manter a comunicação entre diferentes partes de uma aplicação, garantindo maior robustez e escalabilidade.