Bem-vindo a minha página do GitHub! Aqui você encontrará um acervo dos meus projetos pessoais, experiência profissional e afins. Esse página tem como intuito compartilhar meu trabalho, conhecimento técnico, mostrar minha evolução como Engenheiro de Dados e possibilitar conexões com outros profissionais.
Iniciei minha carreira profissional trabalhando por aproximadamente 2 anos com infraestrutura física e lógica de servidores, no qual desenvolvi projetos que envolviam desde programação e manutenção de ferramentas administrativas até instalação e configuração de servidores, firewalls, storages e switches.
Atualmente estou dedicado aos estudos em Ciência de Dados, com um foco específico em Engenharia de Dados devido à paixão em desenvolver soluções para problemas complexos, também acredito firmemente nessa nova era digital e na crescente demanda por processamento de grandes volumes de dados.
Estou comprometido em continuar aprimorando e adquirindo mais conhecimento para conquistar um futuro na área, buscando sempre novos desafios e oportunidades de desenvolvimento profissional.
Artigos e guias técnicos que exploram o uso de ferramentas em cloud ou local, serviços, abordagens para códigos utilizando bibliotecas essenciais para o processo de ETL, boas práticas do setor e muito mais.
|
[Apache Spark + Databricks: Manipulando Dataframes com PySpark]
#ETL #Databricks #PySpark #Pandas #LeetCode Publicado em: Outubro de 2024 Resolvendo um problema importado do LeetCode com PySpark através do Databricks. O problema aborda manipulação de Dataframes com Operação de Janela, Filtros Condicionais, Agregação e Agrupamento. |
|
[Snowflake: Primeiros Passos com Pipeline de Dados no Snowflake]
#ETL #Snowflake #AWSRedshift #SQL #Essentials #DataWarehousing Publicado em: Novembro de 2024 Introdução prática ao Snowflake, cobrindo operações SQL essenciais de ingestão, transformação e análise de dados. |
|
[LeetCode: Acelerando o Desenvolvimento de Habilidades em Programação e Lógica]
#Algoritmos #EstruturaDeDados #ResoluçãoDeProblemas #Python #SQL #LeetCode Publicado em: Novembro de 2024 Com o objetivo de demonstrar minhas habilidades em algoritmos e estruturas de dados, este artigo sobre LeetCode serve como um convite para explorar meu perfil na plataforma e acompanhar meu progresso. |
| < | 1 | > |
Projetos que desenvolvi durante minha carreira como Engenheiro de Dados. Explore mais detalhes sobre cada um através dos links:
Python Hadoop Apache Airflow Docker Apache Spark MWAA S3 Elastic Container Service# Tecnologias e ferramentas com as quais eu geralmente trabalho ou já trabalhei em meus projetos:
Linguagens = ['Python', 'SQL', 'Shell Script', 'JavaScript', 'HTML']
Bibliotecas = ['Boto3', 'Airflow', 'Pyspark', 'HDFS', 'Psycopg2', 'BeautifulSoup4', 'NumPy', 'Pandas', 'Requests', 'Json']
Ferramentas_Cloud_AWS = ['EC2', 'S3', 'RDS', 'DynamoDB', 'MWAA', 'Redshift', 'Glue', 'Step Functions', 'Lambda', 'Athena', 'Elastic Container Service']
Ferramentas_Open_Source = ['Apache Airflow', 'MongoDB', 'PostgreSQL', 'MySQL', 'Apache Hadoop', 'Apache Spark', 'Apache NiFi']
Servicos = ['Databricks', 'Snowflake']
Outras_Habilidades = ['Docker', 'PowerBI', 'Git', 'Métodologia Ágil']
Se você deseja colaborar, tem alguma dúvida ou apenas quer dizer olá, fique à vontade para me contatar!
© [Gabriel Dultra] - Todos os direitos reservados.