HUB.KI GmbH
RemoteStar
Ingénieur Système Senior (Munich, Allemagne)
PythonKubernetesTerraform
Traduction automatique. Consultez l’original.
À propos du client
Société de deep-tech en forte croissance, fondée en 2019. Nous sommes la plus grande entreprise de logiciels quantiques de l'UE. Nous sommes également l'une des 100 entreprises les plus prometteuses au monde dans le domaine de l'IA (selon CB Insights, 2023) avec plus de 150 employés et en croissance, totalement multiculturelle et internationale.
Prérequis
- Expertise en programmation système : 10+ années d'expérience en ingénierie logicielle avec une solide maîtrise de Python. Vous devez être à l'aise pour construire des agents système, des APIs et des outils CLI.
- Connaissance approfondie de Kubernetes : Vous comprenez les internes de K8 au-delà du simple déploiement. Expérience avec les Custom Resource Definitions (CRDs), les Operators et l'architecture du serveur Kubernetes API.
- Expérience de l'écosystème GPU : Expérience pratique de la gestion de clusters de GPU NVIDIA. Familiarité avec les pilotes NVIDIA, la boîte à outils CUDA et le runtime de conteneur (NVIDIA Container Toolkit).
- Internes de Linux : Compréhension approfondie du noyau Linux, des cgroups, des namespaces et de l'optimisation des performances système.
- Infrastructure as Code : Maîtrise des outils d'infrastructure déclarative (Terraform, Ansible) mais avec un accent sur le provisionnement de matériel physique plutôt que sur de simples VMs cloud.
- Résolution de problèmes : Un historique avéré de débogage de systèmes distribués complexes où la cause racine peut être le code, le réseau ou le silicium.
Lieu : Les candidats doivent avoir l'autorisation légale de travailler dans le pays où le poste est basé.
Qualifications préférées
- Expérience HPC : Expérience de travail avec des ordonnanceurs de supercalculateurs traditionnels (Slurm, PBS) ou des ordonnanceurs de batch modernes (Volcano, Kueue, Ray).
- Provisionnement Bare Metal : Expérience avec des outils tels que Cluster API (CAPI), Metal3, Tinkerbell, Canonical MaaS ou OpenStack Ironic.
- Réseaux à haute vitesse : Connaissance de RDMA, InfiniBand, GPUDirect et comment exposer ces technologies aux charges de travail conteneurisées.
- Familiarité IA/ML : Compréhension du fonctionnement de l'entraînement distribué (par exemple, PyTorch Distributed, Megatron-LM, DeepSpeed) et des exigences d'infrastructure des grands modèles de langage (LLMs).
- Observabilité : Expérience dans la construction de la surveillance de la santé matérielle (DCGM) et du traçage distribué pour les tâches de longue durée.
Ce que vous ferez
- Construction du plan de contrôle : Conception et développement de la couche logicielle (APIs, Contrôleurs, Agents) qui automatise le cycle de vie de l'infrastructure IA bare-metal.
- Orchestration de calcul à grande échelle : Conception de solutions d'ordonnancement pour des tâches d'entraînement distribuées à grande échelle sur des clusters massifs de GPU (NVIDIA H200/B200/B300), garantissant un bin-packing et un gang scheduling efficaces.
- Optimisation du Fabric : Réglage de la couche de réseau définie par logiciel pour prendre en charge les interconnexions à faible latence (InfiniBand/RDMA/RoCEv2) essentielles pour l'entraînement multi-nœuds.
- Développement d'extensions Kubernetes : Écriture d'Opérateurs et de CRDs Kubernetes personnalisés pour abstraire les réalités matérielles complexes (conscience de la topologie, partitionnement GPU) en interfaces utilisables pour nos Data Scientists.
- Débogage au niveau matériel : Investigation et résolution de problèmes système profonds, allant des erreurs de bus PCIe et des timeouts de communication NCCL aux paniques du noyau sur les nœuds bare-metal.
- Définition des standards : Création de l'"Image de Référence" pour les charges de travail IA, gestion des pilotes, du firmware et des optimisations OS pour extraire les performances maximales du matériel.
Avantages et bénéfices
- Contrat à durée indéterminée.
- Égalité de rémunération garantie.
- Bonus de performance variable.
- Bonus à la signature.
- Package de déménagement (si applicable).
- Assurance santé privée.
- Éligibilité à un budget formation selon la politique interne.
- Opportunité hybride.
- Horaires de travail flexibles.
- Travail dans un environnement dynamique, sur des technologies de pointe.
- Plan de carrière. Opportunité d'apprendre et d'enseigner.
- Entreprise progressiste. Culture d'entreprise axée sur le bien-être des employés.
