Data Engineer

Nous recherchons pour un client, un data engineer spécialisé snowflake et AWS

Objectifs de la Mission :

- Optimiser les usages et la performance des plateformes AWS et Snowflake

- Optimiser les processus d’intégration des données

- Garantir une gestion des données sécurisée et conforme

- Maintenir une documentation à jour pour soutenir les projets de l’entreprise

Missions Principales :

1. Administration et gestion de la plateforme AWS

- Gestion des incidents :

- Diagnostiquer et résoudre les incidents liés à la plateforme AWS.

- Mettre en place des actions préventives pour minimiser les risques d’interruption de service.

- Conception technique :

- Participer à la conception et au développement de composants techniques pour des solutions innovantes.

- Développer des solutions permettant le traitement sécurisé de grands volumes de données.

- Automatisation des processus :

- Créer et maintenir des pipelines CI/CD pour déploiements continus.

- Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake

- Conception de solutions sur Snowflake :

- Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).

- Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.

- Mettre en place des architectures de données optimisées

- Créer des environnements modulaires et conteneurisés pour faciliter l’expérimentation et le prototypage

3. Intégration et gestion des données

- Superviser l’intégration des données provenant de sources multiples et variées (structurées et non structurées).

- Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.

- Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation

- Travailler en coordination avec les équipes de développement et d’exploitation pour aligner les besoins métier et les solutions techniques.

- Documenter les processus, architectures et solutions mises en œuvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.

- Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d'exploitation des données.

5. Sécurité et conformité

- S'assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.

- Contribuer à l'amélioration continue des processus liés à la sécurité des infrastructures et des données.

- Assurer une veille technologique active pour identifier les opportunités d’amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique

- Participer à l'animation de la communauté technique autour des solutions et infrastructures de données.

- Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.

- Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.

Expertise dans les services AWS (EC2, S3, Lambda, Step Functions, Glue, etc.).

Maîtrise des concepts et outils CI/CD.

Solides compétences en administration et optimisation d'AWS et Snowflake

Connaissance avancée de Git et des workflows associés.

Capacité organisationnelle et autonomie, facilité à travailler en mode collectif et transverse

Sensibilisé aux contextes de Production, à la performance et à la disponibilité