Vereinigte Staaten
CSC Leasing Co.
Databricks
Staff Software Engineer, AI Runtime
Vereinigte Staaten
Mountain View, California, Vereinigte Staaten · San Francisco, California, Vereinigte Staaten
Automatische Übersetzung. Prüfe das Original.
Gehaltsspanne Transparenz
P-1930
Schauen Sie sich unseren aktuellen Blogbeitrag an:
How we keep GPUs reliable across Databricks AI databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai
Schnelles, fehlertolerantes PyTorch-Training auf der AI Runtime [Fast,%20fault-tolerant%20PyTorch%20training%20on%20AI%20Runtime]
Databricks verpflichtet sich zu fairen und gerechten Vergütungspraktiken. Die unten aufgeführten Gehaltsspanne(n) für diese Rolle stellen die erwartete Gehaltsspanne für nicht-provisionspflichtige Positionen oder die Zielverdienste für provisionspflichtige Positionen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf berufsbezogene Fähigkeiten, Tiefe der Erfahrung, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne zu nutzen. Das Gesamtvergütungspaket für diese Position kann auch die Berechtigung für eine jährliche Leistungsprämie, Aktienoptionen und die oben aufgeführten Leistungen umfassen. Weitere Informationen darüber, in welcher Spanne Ihr Standort liegt, finden Sie hier: databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Lokale Gehaltsspanne
190.000–265.000 USD
Unser Engagement für Vielfalt und Inklusion
Bei Databricks setzen wir uns für die Förderung einer vielfältigen und integrativen Kultur ein, in der jeder erfolgreich sein kann. Wir legen großen Wert darauf, dass unsere Einstellungspraktiken integrativ sind und die Standards für Chancengleichheit erfüllen. Personen, die eine Anstellung bei Databricks suchen, werden unabhängig von Alter, Hautfarbe, Behinderung, ethnischer Zugehörigkeit, Familien- oder Familienstand, Geschlechtsidentität oder -ausdruck, Sprache, nationaler Herkunft, physischer und geistiger Fähigkeit, politischer Zugehörigkeit, Rasse, Religion, sexueller Orientierung, sozioökonomischem Status, Veteranenstatus und anderen geschützten Merkmalen berücksichtigt.
Compliance
Wenn der Zugriff auf exportkontrollierte Technologie oder Quellcode für die Erfüllung der Arbeitsaufgaben erforderlich ist, liegt es im Ermessen des Arbeitgebers, ob er eine US-Regierungslizenz für solche Positionen beantragt, und der Arbeitgeber kann allein aus diesem Grund davon absehen, mit einem Bewerber fortzufahren.
Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die schwierigsten Probleme der Welt zu lösen – von der Realisierung des nächsten Transportmittels bis zur Beschleunigung der Entwicklung medizinischer Durchbrüche. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern.
Das Training und die Anpassung modernster KI-Modelle gehören zu den anspruchsvollsten Workloads im Computing und stehen im Mittelpunkt der Mosaic AI-Mission von Databricks. AI Runtime (AIR) ist unsere verwaltete Plattform für GPU-Training und Fine-Tuning im großen Maßstab. Sie bietet Kunden On-Demand-Zugriff auf Flotten der neuesten Beschleuniger und eine serverlose Erfahrung, die die Komplexität der Bereitstellung, Planung und Orchestrierung von Multi-Node-Jobs verbirgt, mit der Ausfallsicherheit, um das Training über Tage oder Wochen auf Tausenden von GPUs am Laufen zu halten. AIR unterstützt das gesamte Spektrum des kundenspezifischen Trainings, vom Fine-Tuning offener Modelle bis zum Pre-Training von Foundation-Modellen im Frontier-Maßstab für einige der anspruchsvollsten KI-Teams der Welt.
Als Staff Software Engineer für AI Runtime spielen Sie eine entscheidende Rolle beim Aufbau und der Skalierung der Systeme, die das Training im großen Maßstab schnell, zuverlässig und mühelos machen. Sie treiben die Architektur und Weiterentwicklung des verwalteten GPU-Trainingsstacks voran, der Planung und Kapazität, verteilte Trainingsleistung, Fehlertoleranz und die Entwicklererfahrung beim Starten und Betreiben von Jobs im großen Maßstab umfasst. Über die praktische Mitarbeit an Kernsystemen hinaus werden Sie dazu beitragen, die langfristige technische Vision für AIR zu definieren, Senior Engineers zu betreuen, mit Produkt-, Forschungs- und Plattformteams zusammenzuarbeiten und die Initiativen zu leiten, die die technische und geschäftliche Wirkung des kundenspezifischen Trainings bei Databricks erweitern.
Ihr Einfluss
- Treiben Sie die Architektur und Weiterentwicklung der verwalteten GPU-Trainingsplattform von AIR voran und liefern Sie skalierbares, hochdurchsatzfähiges und ausfallsicheres Training über Flotten, die Tausende von Beschleunigern umfassen.
- Lösen Sie die schwierigsten Probleme im Training im großen Maßstab, einschließlich Multi-Node-Orchestrierung, verteilten Parallelitätsstrategien, GPU-Planung und dynamischem Routing, datenintensivem Laden und Checkpointing und Wiederherstellung für sehr lang laufende Jobs.
- Steigern Sie die GPU-Effizienz und Trainingsleistung, erhöhen Sie die Auslastung (wie Modell-FLOPs-Auslastung und End-to-End-Durchsatz) und senken Sie die Kosten pro Trainingslauf über verschiedene Modellarchitekturen und Hardware-Generationen hinweg.
- Bauen Sie die Ausfallsicherheits- und Beobachtbarkeitsgrundlagen auf, die Multi-Node-Jobs gesund halten, und erkennen und beheben Sie Hardware- und Softwarefehler mit minimalen Unterbrechungen für Kunden.
- Arbeiten Sie mit Produkt-, Forschungs- und Plattformteams zusammen, um die APIs, die CLI und die Entwicklererfahrung zu gestalten, die das Starten, Überwachen und Debuggen von Produktions-Trainingsjobs erleichtern.
- Leiten Sie End-to-End-Engineering-Aufgaben, vom Design bis zur Produktionsfreigabe, und setzen Sie einen hohen Standard für Leistung, Korrektheit und Zuverlässigkeit.
- Leisten Sie direkte, wirkungsvolle Beiträge zu den Kernsystemen hinter AIR und helfen Sie bei der Unterstützung der neuesten Beschleuniger und neuer Regionen, während die Flotte wächst.
- Vertreten Sie technische Exzellenz, betreuen Sie andere Ingenieure durch Design-Reviews und technische Diskussionen und helfen Sie, die langfristige technische Ausrichtung von Databricks in der KI-Trainingsinfrastruktur zu gestalten.
Was wir suchen
- 10+ Jahre Erfahrung im Aufbau und Betrieb verteilter Systeme im großen Maßstab, mit erheblicher Tiefe in der GPU-Trainingsinfrastruktur, High-Performance Computing oder ML-Systemen.
- Praktische Erfahrung mit verteilten Trainingsframeworks (wie PyTorch, FSDP, DeepSpeed oder Megatron) und den Parallelitätsstrategien (Daten-, Tensor-, Pipeline- und Sequenzparallelität), die zum Trainieren großer Modelle verwendet werden.
- Starkes Verständnis von Mustern zur Trainingsausfallsicherheit, einschließlich Checkpointing, Fehlererkennung und automatischer Wiederherstellung für lang laufende Multi-Node-Jobs.
- Solides Verständnis der GPU-Leistungsgrundlagen, einschließlich Beschleunigerarchitektur, Hochgeschwindigkeits-Interconnects (wie NVLink und InfiniBand oder RoCE), kollektiver Kommunikation und der Engpässe, die den Trainingsdurchsatz und die Auslastung bestimmen.
- Erfahrung im Aufbau und Betrieb von verwalteten, mandantenfähigen Plattformprodukten in der Cloud mit klaren SLAs und SLOs für Verfügbarkeit, Leistung und Zuverlässigkeit.
- Starke Grundlage in Algorithmen, Datenstrukturen und Systemdesign, angewendet auf leistungssensitive verteilte Systeme im großen Maßstab.
- Nachgewiesene Fähigkeit, technisch komplexe, wirkungsvolle Initiativen zu liefern, die einen klaren Kunden- oder Geschäftswert schaffen.
- Starke Kommunikationsfähigkeiten und die Fähigkeit, in einem schnelllebigen Umfeld mit Produkt-, Forschungs- und Infrastrukturteams zusammenzuarbeiten.
- Strategisches, produktorientiertes Denken mit der Fähigkeit, technische Ausführung an einer langfristigen Vision auszurichten, und eine Leidenschaft für die Betreuung von Ingenieuren und die Förderung technischer Exzellenz.
- BS in Informatik oder einem verwandten Fachgebiet (MS oder PhD bevorzugt).
Über Databricks
Databricks ist das Data- und AI-Unternehmen. Mehr als 20,000 Organisationen weltweit – darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 – verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Anwendungen, Analysen und Agenten zu entwickeln und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Niederlassungen weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und den Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks und Instagram instagram.com/databricksinc/?hl=en.
Leistungen
Bei Databricks bemühen wir uns, umfassende Leistungen und Vergünstigungen anzubieten, die den Bedürfnissen aller unserer Mitarbeiter entsprechen. Spezifische Details zu den in Ihrer Region angebotenen Leistungen finden Sie hier: docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen