Vereinigte Staaten
CSC Leasing Co.
Databricks
Senior Software Engineer, AI Runtime
Vereinigte Staaten
Mountain View, California, Vereinigte Staaten · San Francisco, California, Vereinigte Staaten
Automatische Übersetzung. Prüfe das Original.
Transparenz der Gehaltsspanne
P-1428
Schauen Sie sich unseren aktuellen Blogbeitrag an: Introducing AI Runtime: Scalable, serverless NVIDIA GPUs on Databricks for training and finetuning databricks.com/blog/introducing-ai-runtime-scalable-serverless-nvidia-gpus-databricks-training-and-finetuning
Databricks verpflichtet sich zu fairen und gerechten Vergütungspraktiken. Die unten aufgeführten Gehaltsspannen für diese Rolle stellen die erwartete Gehaltsspanne für nicht provisionspflichtige Positionen oder die Zielverdienste für provisionspflichtige Positionen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf berufsbezogene Fähigkeiten, Tiefe der Erfahrung, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne zu nutzen. Das Gesamtvergütungspaket für diese Position kann auch die Berechtigung für eine jährliche Leistungsprämie, Aktienoptionen und die oben aufgeführten Leistungen umfassen. Weitere Informationen darüber, in welcher Spanne Ihr Standort liegt, finden Sie hier: databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf
Lokale Gehaltsspanne
$160.000—$225.000 USD
Unser Engagement für Vielfalt und Inklusion
Bei Databricks setzen wir uns für die Förderung einer vielfältigen und integrativen Kultur ein, in der jeder erfolgreich sein kann. Wir legen großen Wert darauf, dass unsere Einstellungspraktiken integrativ sind und die Standards für Chancengleichheit erfüllen. Personen, die eine Anstellung bei Databricks suchen, werden unabhängig von Alter, Hautfarbe, Behinderung, ethnischer Zugehörigkeit, Familien- oder Familienstand, Geschlechtsidentität oder -ausdruck, Sprache, Herkunft, physischer und geistiger Fähigkeit, politischer Zugehörigkeit, Rasse, Religion, sexueller Orientierung, sozioökonomischem Status, Veteranenstatus und anderen geschützten Merkmalen berücksichtigt.
Compliance
Wenn der Zugang zu exportkontrollierter Technologie oder Quellcode für die Erfüllung der Arbeitsaufgaben erforderlich ist, liegt es im Ermessen des Arbeitgebers, ob er eine US-Regierungslizenz für solche Positionen beantragt, und der Arbeitgeber kann allein aus diesem Grund davon absehen, mit einem Bewerber fortzufahren.
Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die schwierigsten Probleme der Welt zu lösen – von der Realisierung der nächsten Mobilitätsform bis zur Beschleunigung der Entwicklung medizinischer Durchbrüche. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern.
Das Training und die Anpassung modernster KI-Modelle gehören zu den anspruchsvollsten Workloads im Computing und stehen im Mittelpunkt der Mosaic AI-Mission von Databricks. AI Runtime (AIR) ist unsere verwaltete Plattform für groß angelegte GPU-Trainings und Fine-Tuning. Sie bietet Kunden On-Demand-Zugriff auf Flotten der neuesten Beschleuniger und eine serverlose Erfahrung, die die Komplexität der Bereitstellung, Planung und Orchestrierung von Multi-Node-Jobs verbirgt, mit der Ausfallsicherheit, um das Training über Tage oder Wochen auf Tausenden von GPUs am Laufen zu halten. AIR unterstützt das gesamte Spektrum des kundenspezifischen Trainings, vom Fine-Tuning offener Modelle bis zum Pre-Training von Foundation-Modellen im Frontier-Maßstab für einige der anspruchsvollsten KI-Teams der Welt.
Als Senior Software Engineer für AI Runtime spielen Sie eine entscheidende Rolle beim Aufbau und der Skalierung der Systeme, die groß angelegte Trainings schnell, zuverlässig und mühelos machen. Sie treiben die Architektur und Weiterentwicklung des verwalteten GPU-Trainings-Stacks voran, der Planung und Kapazität, verteilte Trainingsleistung, Fehlertoleranz und die Entwicklererfahrung beim Starten und Betreiben von Jobs im großen Maßstab umfasst. Über praktische Beiträge zu Kernsystemen hinaus helfen Sie bei der Gestaltung der technischen Ausrichtung für AIR, betreuen andere Ingenieure, arbeiten teamübergreifend mit Produkt-, Forschungs- und Plattformteams zusammen und tragen zu Initiativen bei, die die technische und geschäftliche Wirkung des kundenspezifischen Trainings bei Databricks erweitern.
Ihr Einfluss: *
- Treiben Sie die Architektur und Weiterentwicklung der AIR-Plattform für verwaltetes GPU-Training voran und liefern Sie skalierbare, hochdurchsatzfähige und ausfallsichere Trainings über Flotten, die Tausende von Beschleunigern umfassen. *
- Lösen Sie die schwierigsten Probleme im groß angelegten Training, einschließlich Multi-Node-Orchestrierung, verteilten Parallelitätsstrategien, GPU-Planung und dynamischem Routing, hochdurchsatzfähiger Datenladung sowie Checkpointing und Wiederherstellung für sehr lang laufende Jobs. *
- Steigern Sie die GPU-Effizienz und Trainingsleistung, indem Sie die Auslastung (wie Modell-FLOPs-Auslastung und End-to-End-Durchsatz) erhöhen und die Kosten pro Trainingslauf über verschiedene Modellarchitekturen und Hardwaregenerationen hinweg senken. *
- Bauen Sie die Ausfallsicherheits- und Beobachtbarkeitsgrundlagen auf, die Multi-Node-Jobs gesund halten, und erkennen und beheben Sie Hardware- und Softwarefehler mit minimalen Kundenunterbrechungen. *
- Arbeiten Sie mit Produkt-, Forschungs- und Plattformteams zusammen, um die APIs, die CLI und die Entwicklererfahrung zu gestalten, die das Starten, Überwachen und Debuggen von Produktions-Trainingsjobs erleichtern. *
- Leiten Sie End-to-End-Engineering-Aufgaben, vom Design bis zur Produktionsfreigabe, und setzen Sie einen hohen Standard für Leistung, Korrektheit und Zuverlässigkeit. *
- Leisten Sie direkte, wirkungsvolle Beiträge zu den Kernsystemen hinter AIR und helfen Sie bei der Unterstützung der neuesten Beschleuniger und neuer Regionen, während die Flotte wächst. *
- Fördern Sie ingenieurtechnische Exzellenz, betreuen Sie andere Ingenieure durch Design-Reviews und technische Diskussionen und tragen Sie zur technischen Ausrichtung von Databricks bei der KI-Trainingsinfrastruktur bei.
Was wir suchen: *
- 5+ Jahre Erfahrung im Aufbau und Betrieb von groß angelegten verteilten Systemen, mit Erfahrung in GPU-Trainingsinfrastruktur, Hochleistungsrechnen oder ML-Systemen. *
- Erfahrung mit verteilten Trainingsframeworks (wie PyTorch, FSDP, DeepSpeed oder Megatron) und den Parallelitätsstrategien (Daten-, Tensor-, Pipeline- und Sequenzparallelität), die zum Trainieren großer Modelle verwendet werden. *
- Starkes Verständnis von Mustern zur Trainingsausfallsicherheit, einschließlich Checkpointing, Fehlererkennung und automatischer Wiederherstellung für lang laufende Multi-Node-Jobs. *
- Solide Kenntnisse der GPU-Leistungsgrundlagen, einschließlich Beschleunigerarchitektur, Hochgeschwindigkeitsverbindungen (wie NVLink und InfiniBand oder RoCE), kollektiver Kommunikation und der Engpässe, die den Trainingsdurchsatz und die Auslastung bestimmen. *
- Erfahrung im Aufbau und Betrieb von verwalteten, Multi-Tenant-Plattformprodukten in der Cloud mit klaren SLAs und SLOs für Verfügbarkeit, Leistung und Zuverlässigkeit. *
- Starke Grundlage in Algorithmen, Datenstrukturen und Systemdesign, angewendet auf leistungssensitive, groß angelegte verteilte Systeme. *
- Nachgewiesene Fähigkeit, technisch komplexe, wirkungsvolle Initiativen zu liefern, die klaren Kunden- oder Geschäftswert schaffen. *
- Starke Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit mit Produkt-, Forschungs- und Infrastrukturteams in einem sich schnell entwickelnden Umfeld. *
- Kundenorientierte Denkweise mit der Fähigkeit, Implementierungsdetails mit Produktzielen abzustimmen, und eine Leidenschaft für die Betreuung von Ingenieuren und die Förderung technischer Exzellenz. *
- BS in Informatik oder einem verwandten Fachgebiet (MS oder PhD bevorzugt).
Über Databricks
Databricks ist das Data and AI-Unternehmen. Mehr als 20,000 Organisationen weltweit – darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 – verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Anwendungen, Analysen und Agenten zu entwickeln und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Niederlassungen weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks und Instagram instagram.com/databricksinc/?hl=en.
Leistungen
Bei Databricks bemühen wir uns, umfassende Leistungen und Vergünstigungen anzubieten, die den Bedürfnissen aller unserer Mitarbeiter entsprechen. Spezifische Details zu den in Ihrer Region angebotenen Leistungen finden Sie hier: docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen