Deloitte
Databricks
Ingénieur logiciel senior, AI Runtime
Transparence sur la fourchette salariale
P-1428
Databricks s'engage à pratiquer une rémunération juste et équitable. La ou les fourchettes salariales pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les rôles sans commission ou la rémunération cible pour les rôles avec commission. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, notamment, mais sans s'y limiter, les compétences liées au poste, l'étendue de l'expérience, les certifications et formations pertinentes, ainsi que le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute l'étendue de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages sociaux énumérés ci-dessus. Pour plus d'informations sur la fourchette correspondant à votre localisation, veuillez consulter notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette salariale locale
$160,000—$225,000 USD
Notre engagement en faveur de la diversité et de l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous veillons scrupuleusement à ce que nos pratiques de recrutement soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes postulant à un emploi chez Databricks sont prises en considération sans distinction d'âge, de couleur, de handicap, d'origine ethnique, de situation familiale ou maritale, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique ou mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant ou toute autre caractéristique protégée.
Conformité
Si l'accès à une technologie ou à un code source soumis à des contrôles à l'exportation est requis pour l'exécution des tâches, il appartient à l'employeur de décider s'il convient de demander une licence gouvernementale américaine pour ces postes, et l'employeur peut refuser de poursuivre le processus avec un candidat sur cette seule base.
Chez Databricks, nous exploitons la plus grande plateforme d'IA au monde. Nous sommes convaincus que les prochaines avancées proviendront de modèles entraînés sur des données d'entreprise spécifiques à un domaine, et non uniquement de modèles généralistes plus volumineux.
C'est pourquoi nous avons créé AI Runtime docs.databricks.com/aws/en/machine-learning/ai-runtime/, un produit serverless qui simplifie l'entraînement sur GPU, quelle que soit l'échelle, afin que les entreprises puissent entraîner leurs propres modèles comme le font les laboratoires de pointe. Des clients de divers secteurs l'utilisent déjà pour entraîner des modèles sur des données gouvernées, de l'IA automobile databricks.com/blog/introducing-ai-runtime-scalable-serverless-nvidia-gpus-databricks-training-and-finetuning chez Rivian aux modèles de fondation TEDDY arxiv.org/abs/2503.03485 de Merck pour la biologie cellulaire unique et la découverte de médicaments, jusqu'aux agents comme KARL databricks.com/blog/meet-karl-faster-agent-enterprise-knowledge-powered-custom-rl de Databricks AI Research.
Cela demande un travail d'ingénierie considérable, que nous avons détaillé sur notre blog : comment nous assurons la fiabilité des GPU databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai, rendons l'entraînement tolérant aux pannes databricks.com/blog/fast-fault-tolerant-pytorch-training-ai-runtime et accélérons le fine-tuning databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime grâce à des noyaux fusionnés et un regroupement intelligent des séquences. En tant qu'ingénieur logiciel senior, vous travaillerez sur les systèmes qui sous-tendent tout cela, en résolvant des problèmes techniques complexes et en contribuant à définir l'évolution d'AI Runtime.
L'impact que vous aurez
- Construire des composants essentiels d'AI Runtime et contribuer à l'orientation technique de Databricks en matière d'infrastructure d'entraînement d'IA.
- Développer des fonctionnalités de fiabilité et d'observabilité pour un parc dont l'échelle et la complexité ne cessent de croître.
- Améliorer l'expérience développeur d'AI Runtime, afin que les plus grands travaux d'entraînement semblent aussi simples qu'une première expérimentation.
- Aider à préparer AI Runtime pour les nouvelles générations de GPU et les nouveaux types de charges de travail.
- Prendre en charge des problèmes complexes d'entraînement multi-nœuds, de l'orchestration et de la planification des GPU au chargement des données et à la création de points de contrôle (checkpointing).
- Rendre l'entraînement plus rapide et plus économique en augmentant l'efficacité des GPU à travers les architectures de modèles et les générations de matériel.
- Collaborer avec la recherche, le produit et les clients sur nos futures réalisations et prendre la responsabilité des fonctionnalités, de la conception à la mise en production.
- Promouvoir l'excellence en ingénierie, placer la barre plus haut et aider les ingénieurs qui vous entourent à progresser.
Ce que nous recherchons
- 5+ années d'expérience dans les systèmes distribués à grande échelle, avec une expérience en entraînement sur GPU, calcul haute performance ou systèmes ML.
- Expérience dans l'entraînement de grands modèles avec FSDP, DeepSpeed ou Megatron, et familiarité avec les stratégies de parallélisme.
- Connaissance pratique des performances des GPU, y compris l'architecture des accélérateurs, les interconnexions haut débit et les noyaux.
- Solide compréhension des modèles de résilience pour l'entraînement, tels que le checkpointing, la détection de pannes et la récupération automatique.
- Expérience dans la construction et l'exploitation de plateformes cloud multi-tenant en tant que produits.
- Capacité démontrée à prendre en charge des fonctionnalités complexes de bout en bout et à les mener jusqu'à un impact concret pour le client.
- Clarté dans l'explication des conceptions techniques, à l'écrit comme à l'oral, et réputation de coéquipier auprès duquel les autres apprennent.
- Licence en informatique ou domaine connexe (Master ou Doctorat préféré).
À propos de Databricks
Databricks est l'entreprise de la donnée et de l'IA. Plus de 20,000 organisations dans le monde — dont adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever et 70% du Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour créer et mettre à l'échelle des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de fournir des avantages sociaux et des avantages en nature complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
