Vereinigte Staaten
B&A
Together AI
Senior Backend Engineer, Inference Platform
Vereinigte Staaten
San Francisco, California, Vereinigte Staaten
TypeScriptPythonKubernetesRustGo
Automatische Übersetzung. Prüfe das Original.
ÜBER DIE ROLLE
Together AI baut die Inference Platform, die die fortschrittlichsten generativen KI-Modelle der Welt zur Verfügung stellt. Unsere Plattform unterstützt Multi-Tenant-Serverless-Workloads und dedizierte Endpunkte, die es Entwicklern, Unternehmen und Forschern ermöglichen, die neuesten LLMs, multimodalen Modelle, Bild-, Audio-, Video- und Sprachmodelle in großem Maßstab zu nutzen.
Wenn Sie es lieben, die Latenz bis auf die letzte Millisekunde zu optimieren, ist dies Ihr Spielfeld. Sie werden mit Zehntausenden von GPUs (H100s, H200s, GB200s und mehr) arbeiten und herausfinden, wie Sie jeden FLOP und jeden Gigabyte Speicher voll ausnutzen können.
Sie werden direkt mit Forschungsteams zusammenarbeiten, um Spitzenmodelle in die Produktion zu bringen und Durchbrüche in der realen Welt nutzbar zu machen. Unser Team arbeitet auch eng mit der Open-Source-Community zusammen und trägt zu Projekten wie SGLang, vLLM und NVIDIA Dynamo bei, um die Grenzen der Inferenzleistung und -effizienz zu erweitern.
VERANTWORTLICHKEITEN
- Gestalten Sie das zentrale Inferenz-Backbone, das die Spitzenmodelle von Together AI antreibt.
- Lösen Sie leistungskritische Herausforderungen bei der globalen Anforderungsweiterleitung, der Lastverteilung und der groß angelegten Ressourcenallokation.
- Arbeiten Sie mit modernsten Beschleunigern (H100s, H200s, GB200s) im globalen Maßstab.
- Arbeiten Sie mit weltklasse Forschern zusammen, um neue Modellarchitekturen in die Produktion zu bringen.
- Arbeiten Sie mit der Open-Source-Community zusammen und gestalten Sie die Werkzeuge, die die Branche voranbringen.
- Erstellen und optimieren Sie globale und lokale Anforderungsweiterleitungen, um eine Latenz-arme Lastverteilung über Rechenzentren und Model-Engine-Pods hinweg zu gewährleisten.
- Entwickeln Sie Auto-Scaling-Systeme zur dynamischen Ressourcenallokation, um strenge SLOs über Dutzende von Rechenzentren hinweg zu erfüllen.
- Entwerfen Sie Systeme für Multi-Tenant-Traffic-Shaping, optimieren Sie sowohl die Ressourcenallokation als auch die Anforderungsbearbeitung – einschließlich intelligenter Ratenbegrenzung und Regulierung –, um Fairness und eine konsistente Erfahrung für alle Benutzer zu gewährleisten.
- Entwickeln Sie Kompromisse zwischen Latenz und Durchsatz, um verschiedene Workloads effizient zu bedienen.
- Optimieren Sie das Prefix-Caching, um den Rechenaufwand des Modells zu reduzieren und die Antwortzeiten zu beschleunigen.
- Arbeiten Sie mit ML-Forschern zusammen, um neue Modellarchitekturen in großem Maßstab in die Produktion zu bringen.
- Analysieren und profilieren Sie kontinuierlich die systemweite Leistung, um Engpässe zu identifizieren und Optimierungen zu implementieren.
VERGÜTUNG
- Eine Kultur der tiefen technischen Verantwortung und des hohen Impacts – bei der Ihre Arbeit Modelle schneller, günstiger und zugänglicher macht.
- Wettbewerbsfähige Vergütung, Aktienoptionen und Sozialleistungen.
Wir bieten wettbewerbsfähige Vergütung, Startup-Aktienoptionen, Krankenversicherung und andere wettbewerbsfähige Sozialleistungen. Die Gehaltsspanne für diese Vollzeitstelle in den USA beträgt:
$200,000 - $290,000 + Aktienoptionen + Sozialleistungen.
Unsere Gehaltsspannen werden nach Standort, Level und Rolle festgelegt. Die individuelle Vergütung wird anhand von Erfahrung, Fähigkeiten und fachspezifischem Wissen ermittelt.
ANFORDERUNGEN
- 5+ Jahre nachgewiesene Erfahrung im Aufbau von fehlertoleranten, verteilten Systemen und API Microservices in großem Maßstab.
- Starker Hintergrund im Design, der Analyse und der Verbesserung der Effizienz, Skalierbarkeit und Stabilität komplexer Systeme.
- Ausgezeichnetes Verständnis von Low-Level-Betriebssystemkonzepten: Multithreading, Speicherverwaltung, Netzwerke und Speicherleistung.
- Expertenkenntnisse in der Programmierung in einer oder mehreren der folgenden Sprachen: Rust, Go, Python oder TypeScript.
- Bachelor- oder Master-Abschluss in Informatik, Computer Engineering oder einem verwandten Fachgebiet oder gleichwertige praktische Erfahrung.
- Kenntnisse moderner LLMs und generativer Modelle sowie deren Produktionsbereitstellung sind von Vorteil.
- Erfahrung mit dem Open-Source-Ökosystem rund um Inferenz ist sehr wertvoll; Vertrautheit mit SGLang, vLLM oder NVIDIA Dynamo ist besonders hilfreich.
- Erfahrung mit Kubernetes oder Container-Orchestrierung ist ein starker Pluspunkt.
- Vertrautheit mit GPU-Software-Stacks (CUDA, Triton, NCCL) und HPC-Technologien (InfiniBand, NVLink, MPI) ist von Vorteil.
ÜBER TOGETHER AI
Together AI, die AI Native Cloud, wurde speziell für KI-Ingenieure entwickelt. KI-Anwendungsentwickler erhalten hochleistungsfähige Inferenz, die zuverlässig skaliert, Fine-Tuning und Reinforcement Learning zur Erstellung spezialisierter Spitzenmodelle sowie Pre-Training im riesigen Maßstab für vollständig kundenspezifische Intelligenz – alles rund um einen Marktplatz führender Open-Source-Modelle, die Teams ausführen, anpassen und besitzen können.
Vertraut von Cursor, Decagon, ElevenLabs, Salesforce und Zoom, bedient Together monatlich über 400 Billionen Tokens.
CHANCENGLEICHHEIT
Together AI ist ein Arbeitgeber, der Chancengleichheit fördert und stolz darauf ist, allen Mitarbeitern gleiche Beschäftigungsmöglichkeiten zu bieten, unabhängig von Rasse, Hautfarbe, Herkunft, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderung, Geschlechtsidentität, Veteranenstatus und mehr.
Bitte beachten Sie unsere Datenschutzrichtlinie unter together.ai/privacy
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen