Data Engineer

01 - Piloter la conduite d'un projet data au sein d'une organisation 02 - Réaliser la collecte, le stockage et la mise à disposition des données d'un projet data au sein d'une organisation 03 - Élaborer et maintenir un entrepôt de données (data warehouse) 04 - Encadrer la collecte massive et la mise à disposition des données issues de l'activité de l'organisation grâce à un data lake

Positionnement et définition des objectifs - Découvrir les objectifs pédagogiques du parcours Définir son projet pro et ses engagements nécessaires pour l'atteindre, réutilisé à chaque entretien individuel Bilan initial du niveau des apprenants par une première mise en situation évaluée - 14 hLa prise de poste - Mettre en place son environnement de formation et de travail : les outils et le poste de travail du data engineer. Lancement des routines pédagogiques de veille et d'analyse réflexive. Signature de la charte d'engagement et du règlement général. - 14 hIntroduction aux méthodes agiles - Découvrir les principes fondamentaux d'une organisation agile. Évaluer la pertinence d'une approche agile dans la gestion de la production de l'application. Sélectionner la méthode agile adaptée. Animer les rituels agiles. - 7 hModule de sensibilisation aux IA génératives - Expérimenter les outils d'IA générative. Prendre conscience des gains de productivité mais aussi des limites de leur utilisation. Se projeter sur des utilisations possibles dans le cadre de la formation ou du métier visé. - 4 hMon premier flux de données - Identifier les contraintes techniques et la modélisation de la structure des données Nettoyer, harmoniser, mettre à jour des règles de filtrages depuis un fichier csv Les différents types de source : fichier, SGBD, HTML, API ; SQL, NOSQL - 35 hJe corrige un bug dans un script de collecte et d'agrégation de données - Reproduire les configurations de l'environnement d'exécution des scripts en environnement de dev/test. Mettre à jour des extractions de données de type SQL Outils de connexion programmatique aux sources de données : Python, R, Talend, DBT - 21 hRGPD - Appliquer les obligations réglementaires liées au RGPD dans le cadre du pilotage de la cybersécurité. Lister les bonnes pratiques de validation de la protection des données aux différentes étapes d'un projet. - 4 hJe mets à jour la procédure d'ETL vers un Datamart - Mettre à jour des extractions et filtrages sous forme de requête HTTP et scrapping, et des règles d'agrégation en un jeu de données unique. Outils de nettoyage et mise en forme des données : SQL, pandas Coder avec l'IA: assistant Google Collab - 21 hNumérique responsable et IA frugale - Connaître les causes de l'impact environnemen

Consulter le diplôme, titre ou certificat... délivrés en fin de formation ainsi que les métiers auxquels cette formation vous donne accès.