Smag, éditeur SaaS de logiciels agricoles gère tout un référentiel de données agronomiques comme des listes de cultures, d’intrants, de produits phytosanitaires, … Ces données référentielles sont essentielles au pilotage de l’activité d’une exploitation car elles aident à la décision mais également au suivi réglementaire des pratiques agricoles.
Ce référentiel de données se présente sous la forme d’un datawarehouse structuré alimenté par différents flux de type ETL collectant des données de sources externes ou internes, les transformant et les stockant dans cette base de données. Les protocoles sources sont multiples : FTP, SFTP, HTTP, … sous différents formats (CSV, JSON, Excel, …) mais également d’autres bases sources (MariaDB, SQL Server, …) pour atterrir en destination dans une base de données PostgreSQL.
Les flux existants sont basés sur un socle Talend. Nous lançons un chantier de migration vers le nouveau socle technologique de la société à base de scripts Python utilisant une librairie ETL OpenSource. Ces scripts seront containerisés via docker et exécutés par le service ArgoWorkflow dans un cluster Kubernetes.
Sous la responsabilité de notre lead développeur, vous rejoignez une équipe de 6 personnes fonctionnant en mode AGILE/SCRUM dans une ambiance collaborative et un environnement dynamique.
Vos missions seront de :
- Définir, conjointement avec notre Tech Lead Data, les standards et normes à respecter sur la technologie cible d’ETL retenue (basée sur Python)
- Définir la méthodologie de migration et les indicateurs de mesure de l’avancement du projet
- Migrer les flux existants de notre socle legacy vers la technologie cible
- Mettre en place les outils de monitoring permettant d’être alerté en cas d’erreur d’un flux
Ainsi vous pourrez acquérir des compétences et connaissances autour :
- Du développement Python et des interactions avec différents services de type middleware (bases de données, web services, FTP, …)
- Des concepts autour de la donnée : standardisation, normalisation, sérialisation, flux, collecte, transformation, stockage, …
- De la containerisation (docker) et son orchestration dans un écosystème Kubernetes
- Des métiers et domaines de l’agriculture, l’agronomie et l’agro-industrie
- Du travail en équipe dans un contexte agile suivant la méthodologie SCRUM
En cours d'acquisition d'un diplôme d'Ingénieur ou équivalent universitaire, dans une spécialité développement informatique, vous avez des compétences en SQL et dans le langage de programmation Python.
Idéalement, vous avez déjà une première expérience avec les technologies de containers (Docker, Kubernetes) et les tests unitaires pytest
Vous êtes reconnu pour votre esprit d’équipe, vos qualités d’analyse, votre capacité à synthétiser une idée
Vous êtes curieux, dynamique, passionné et rigoureux.