États-Unis
B&A
Together AI
Ingénieur Backend Senior, Plateforme d'Inférence
États-Unis
San Francisco, California, États-Unis
TypeScriptPythonKubernetesRustGo
Traduction automatique. Consultez l’original.
À PROPOS DU POSTE
Together AI développe la plateforme d'inférence qui met à disposition du monde entier les modèles d'IA générative les plus avancés. Notre plateforme alimente des charges de travail serverless multi-locataires et des points de terminaison dédiés, permettant aux développeurs, aux entreprises et aux chercheurs d'exploiter à grande échelle les derniers LLMs, modèles multimodaux, ainsi que les modèles d'image, d'audio, de vidéo et de parole.
Si vous aimez optimiser la latence à la milliseconde près, ce poste est fait pour vous. Vous travaillerez directement avec des dizaines de milliers de GPU (H100s, H200s, GB200s et au-delà), en cherchant à exploiter chaque FLOP et chaque gigaoctet de mémoire.
Vous collaborerez directement avec les équipes de recherche pour mettre en production des modèles de pointe, rendant ainsi les avancées technologiques utilisables dans le monde réel. Notre équipe travaille également en étroite collaboration avec la communauté open source, en contribuant à des projets tels que SGLang, vLLM et NVIDIA Dynamo, et en les exploitant pour repousser les limites de la performance et de l'efficacité de l'inférence.
RESPONSABILITÉS
- Façonner l'infrastructure d'inférence centrale qui alimente les modèles de pointe de Together AI.
- Résoudre des défis critiques en matière de performance concernant le routage global des requêtes, l'équilibrage de charge et l'allocation de ressources à grande échelle.
- Travailler avec des accélérateurs de pointe (H100s, H200s, GB200s) à l'échelle mondiale.
- Collaborer avec des chercheurs de classe mondiale pour mettre en production de nouvelles architectures de modèles.
- Collaborer avec la communauté open source et y contribuer, en façonnant les outils qui font progresser l'industrie.
- Construire et optimiser le routage des requêtes au niveau mondial et local, en assurant un équilibrage de charge à faible latence entre les centres de données et les pods de moteur de modèle.
- Développer des systèmes de mise à l'échelle automatique pour allouer dynamiquement les ressources et respecter des SLO stricts dans des dizaines de centres de données.
- Concevoir des systèmes de mise en forme du trafic multi-locataires, en ajustant à la fois l'allocation des ressources et le traitement des requêtes, y compris la limitation intelligente du débit et la régulation, pour garantir l'équité et une expérience cohérente pour tous les utilisateurs.
- Concevoir des compromis entre latence et débit pour servir efficacement des charges de travail diverses.
- Optimiser la mise en cache des préfixes pour réduire le calcul des modèles et accélérer les réponses.
- Collaborer avec des chercheurs en ML pour mettre en production de nouvelles architectures de modèles à grande échelle.
- Profiler et analyser en continu les performances au niveau du système pour identifier les goulots d'étranglement et mettre en œuvre des optimisations.
RÉMUNÉRATION
- Une culture d'appropriation technique profonde et à fort impact, où votre travail rend les modèles plus rapides, moins coûteux et plus accessibles.
- Une rémunération compétitive, des actions et des avantages sociaux.
Nous offrons une rémunération compétitive, des actions de startup, une assurance santé et d'autres avantages compétitifs. La fourchette de salaire de base aux États-Unis pour ce poste à temps plein est :
200,000 $ - 290,000 $ + actions + avantages sociaux.
Nos fourchettes salariales sont déterminées par le lieu, le niveau et le rôle. La rémunération individuelle sera déterminée en fonction de l'expérience, des compétences et des connaissances liées au poste.
EXIGENCES
- 5+ années d'expérience démontrée dans la création de systèmes distribués à grande échelle, tolérants aux pannes, et de microservices API.
- Solide expérience dans la conception, l'analyse et l'amélioration de l'efficacité, de l'évolutivité et de la stabilité de systèmes complexes.
- Excellente compréhension des concepts bas niveau des systèmes d'exploitation : multi-threading, gestion de la mémoire, mise en réseau et performances de stockage.
- Programmation de niveau expert dans un ou plusieurs des langages suivants : Rust, Go, Python ou TypeScript.
- Licence ou Master en informatique, génie informatique ou domaine connexe, ou expérience pratique équivalente.
- La connaissance des LLMs modernes et des modèles génératifs, ainsi que de leur mise en production, est un plus.
- Une expérience de travail avec l'écosystème open source autour de l'inférence est très précieuse ; une familiarité avec SGLang, vLLM ou NVIDIA Dynamo sera particulièrement utile.
- Une expérience avec Kubernetes ou l'orchestration de conteneurs est un atout majeur.
- Une familiarité avec les piles logicielles GPU (CUDA, Triton, NCCL) et les technologies HPC (InfiniBand, NVLink, MPI) est un plus.
À PROPOS DE TOGETHER AI
Together AI, le Cloud natif pour l'IA, est conçu spécifiquement pour les ingénieurs en IA. Les développeurs d'applications d'IA bénéficient d'une inférence haute performance qui évolue de manière fiable, d'un réglage fin et d'un apprentissage par renforcement pour créer des modèles spécialisés de pointe, ainsi que d'un pré-entraînement à grande échelle pour une intelligence entièrement personnalisée, le tout autour d'une place de marché de modèles open source de premier plan que les équipes peuvent exécuter, adapter et s'approprier.
Bénéficiant de la confiance de Cursor, Decagon, ElevenLabs, Salesforce et Zoom, Together traite 400+ billions de jetons par mois.
ÉGALITÉ DES CHANCES
Together AI est un employeur garantissant l'égalité des chances et est fier d'offrir des opportunités d'emploi égales à tous, sans distinction de race, couleur, ascendance, religion, sexe, origine nationale, orientation sexuelle, âge, citoyenneté, état civil, handicap, identité de genre, statut d'ancien combattant, et plus encore.
Veuillez consulter notre politique de confidentialité sur together.ai/privacy
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil