Vereinigte Staaten
B&A
Databricks
Staff Software Engineer - GenAI Inference
Vereinigte Staaten
San Francisco, California, Vereinigte Staaten
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
P-1285 ÜBER DIESE ROLLE
Als Staff Software Engineer für GenAI Inference leiten Sie die Architektur, Entwicklung und Optimierung der Inferenz-Engine, die die Databricks Foundation Model API antreibt. Sie schlagen die Brücke zwischen Forschungsfortschritten und Produktionsanforderungen und stellen hohen Durchsatz, niedrige Latenz sowie robuste Skalierbarkeit sicher. Ihre Arbeit umfasst den gesamten GenAI-Inferenz-Stack: Kernel, Laufzeiten, Orchestrierung, Speicher sowie die Integration mit Frameworks und Orchestrierungssystemen.
WAS SIE TUN WERDEN
- Verantwortung und Steuerung der Architektur, des Designs und der Implementierung der Inferenz-Engine sowie Zusammenarbeit am Model-Serving-Stack, optimiert für die skalierte LLMs-Inferenz
- Enge Zusammenarbeit mit Forschern, um neue Modellarchitekturen oder Features (Sparsity, Activation Compression, Mixture-of-Experts) in die Engine zu integrieren
- Leitung der End-to-End-Optimierung für Latenz, Durchsatz, Speichereffizienz und Hardwareauslastung über GPUs und Beschleuniger hinweg
- Definition und Steuerung von Standards für den Aufbau und die Wartung von Instrumentierungs-, Profilierungs- und Tracing-Tools zur Aufdeckung von Engpässen und zur Anleitung von Optimierungen
- Architektur skalierbarer Routing-, Batching-, Scheduling-, Speicherverwaltungs- und dynamischer Lade-Mechanismen für Inferenz-Workloads
- Gewährleistung von Zuverlässigkeit, Reproduzierbarkeit und Fehlertoleranz in den Inferenz-Pipelines, einschließlich A/B-Rollouts, Rollbacks und Modellversionierung
- Übergreifende Zusammenarbeit bei der Integration mit föderierter, verteilter Inferenzinfrastruktur – Orchestrierung über Knoten hinweg, Lastenausgleich, Handhabung von Kommunikations-Overhead
- Förderung der teamübergreifenden Zusammenarbeit: mit Plattformingenieuren, Cloud-Infrastruktur sowie Sicherheits-/Compliance-Teams
- Vertretung des Teams nach außen durch Benchmarks, Whitepapers und Open-Source-Beiträge
Mindestanforderungen
WAS WIR SUCHEN
- BS/MS/PhD in Informatik oder einem verwandten Fachgebiet
- Starke Software-Engineering-Erfahrung (6+ Jahre oder gleichwertig) in leistungskritischen Systemen
- Nachgewiesene Erfolgsbilanz bei der Übernahme komplexer Systemkomponenten und der Steuerung von Architekturentscheidungen von Ende zu Ende
- Tiefes Verständnis der ML-Inferenz-Interna: Attention, MLPs, rekurrente Module, Quantisierung, Sparse-Operationen usw.
- Praktische Erfahrung mit CUDA, GPU-Programmierung und wichtigen Bibliotheken (cuBLAS, cuDNN, NCCL usw.)
- Starke Kenntnisse im Design verteilter Systeme, einschließlich RPC-Frameworks, Queuing, RPC-Batching, Sharding, Speicherpartitionierung
- Nachgewiesene Fähigkeit, Leistungsengpässe auf verschiedenen Ebenen (Kernel, Speicher, Netzwerk, Scheduler) zu erkennen und zu lösen
- Erfahrung im Aufbau von Instrumentierungs-, Tracing- und Profilierungswerkzeugen für ML-Modelle
- Fähigkeit, durch Einflussnahme zu führen – enge Zusammenarbeit mit ML-Forschern, Übersetzung neuartiger Modellideen in Produktionssysteme
- Ausgezeichnete Kommunikations- und Führungsfähigkeiten mit einer proaktiven und eigenverantwortlichen Denkweise
- Bonus: Veröffentlichte Forschung oder Open-Source-Beiträge in den Bereichen ML-Systeme, Inferenzoptimierung oder Model Serving
Transparenz der Gehaltsspanne
Databricks verpflichtet sich zu fairen und gerechten Vergütungspraktiken. Die unten aufgeführte(n) Gehaltsspanne(n) für diese Rolle stellt/stellen die erwartete Gehaltsspanne für nicht provisionspflichtige Positionen oder die Zielvergütung für provisionspflichtige Positionen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf berufsbezogene Fähigkeiten, Berufserfahrung, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne zu nutzen. Das Gesamtvergütungspaket für diese Position kann auch die Berechtigung für einen jährlichen Leistungsbonus, aktienbasierte Vergütung und die oben aufgeführten Leistungen umfassen. Weitere Informationen darüber, in welcher Spanne sich Ihr Standort befindet, finden Sie auf unserer Seite hier databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Lokale Gehaltsspanne $190,900—$232,800 USD
Unser Engagement für Vielfalt und Inklusion
Bei Databricks verpflichten wir uns, eine vielfältige und inklusive Kultur zu fördern, in der jeder erfolgreich sein kann. Wir legen großen Wert darauf, dass unsere Einstellungspraktiken integrativ sind und die Standards der Chancengleichheit erfüllen. Personen, die eine Anstellung bei Databricks suchen, werden unabhängig von Alter, Hautfarbe, Behinderung, ethnischer Zugehörigkeit, Familien- oder Ehestand, Geschlechtsidentität oder -ausdruck, Sprache, Herkunft, physischer und geistiger Fähigkeit, politischer Zugehörigkeit, Rasse, Religion, sexueller Orientierung, sozioökonomischem Status, Veteranenstatus und anderen geschützten Merkmalen berücksichtigt.
Compliance
Wenn der Zugang zu exportkontrollierter Technologie oder Quellcode für die Erfüllung der Arbeitsaufgaben erforderlich ist, liegt es im Ermessen des Arbeitgebers, eine US-Regierungslizenz für solche Positionen zu beantragen, und der Arbeitgeber kann allein aus diesem Grund davon absehen, mit einem Bewerber fortzufahren.
Über Databricks
Databricks ist das Data and AI-Unternehmen. Mehr als 20,000 Organisationen weltweit – darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 – verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Apps, Analysen und Agenten zu erstellen und zu skalieren. Mit Hauptsitz in San Francisco und 30+ Niederlassungen weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks und Instagram instagram.com/databricksinc/?hl=en.
Leistungen
Bei Databricks bemühen wir uns, umfassende Leistungen und Vergünstigungen anzubieten, die den Bedürfnissen aller unserer Mitarbeiter entsprechen. Spezifische Details zu den in Ihrer Region angebotenen Leistungen finden Sie hier docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen