Vereinigte Staaten
Idaho Health Insurance Exchange
d-Matrix
Senior Staff LLM Inference Engineer
RemoteVereinigte Staaten
Santa Clara, California, Vereinigte Staaten
PythonC++
Automatische Übersetzung. Prüfe das Original.
Diese Rolle
Bei d-Matrix konzentrieren wir uns darauf, das Potenzial von generativer KI freizusetzen, um die Transformation der Technologie voranzutreiben. Wir stehen an der Spitze der Software- und Hardwareinnovation und erweitern die Grenzen des Möglichen. Unsere Kultur ist geprägt von Respekt und Zusammenarbeit.
Wir schätzen Bescheidenheit und glauben an direkte Kommunikation. Unser Team ist integrativ, und unsere unterschiedlichen Perspektiven ermöglichen bessere Lösungen. Wir suchen nach Personen, die mit Leidenschaft Herausforderungen annehmen und von der Umsetzung angetrieben werden. Bist du bereit, deinen Spielplatz zu finden? Gemeinsam können wir die endlosen Möglichkeiten der KI mitgestalten.
Die D-Matrix Frontier Group steht an der Spitze dessen, was mit LLM-Inferenz auf heterogener Hardware möglich ist. Unser Auftrag umfasst den full stack: von der Erforschung neuartiger Anwendungsfälle und neuer Bereitstellungsmuster bis hin zur tiefen Optimierung von Inferenz-Kernels und dem Aufbau von Proof-of-Concept-Systemen, die die einzigartige Rechenarchitektur von D-Matrix demonstrieren. Wir sind ein angewandtes Forschungs- und Entwicklungsteam, das schnell agiert, reale Systeme liefert und direkt mit Produkt- und Hardwareteams zusammenarbeitet, um die Roadmap zu gestalten.
Wir entwickeln die Tools, Runtimes und Frameworks, die es fortschrittlichen KI-Modellen ermöglichen, effizient und kostengünstig auf heterogenen Systemen zu laufen, die D-Matrix-Silizium mit CPUs, GPUs und benutzerdefinierten Beschleunigern kombinieren. Unsere Arbeit treibt alles an, von Benchmarking- und Evaluierungspipelines bis hin zur produktionsreifen Inferenzbereitstellung.
Wir stellen End-to-End-Inferenz-Ingenieure ein, die sich wohl dabei fühlen, von einer neuartigen Forschungsidee zu einem bereitgestellten, optimierten System zu gelangen. Sie werden auf jeder Ebene des Inferenz-Stacks arbeiten, von der Kernel-Optimierung über die verteilte Orchestrierung bis hin zu High-Level-Serving-APIs.
Diese Rolle könnte gut zu Ihnen passen, wenn Sie:
Erforderliche Qualifikationen
- Eine tiefe Intuition für moderne generative KI-Architekturen haben und wissen, wie man bei der Inferenz Leistung aus ihnen herausholt.
- Mit den Interna von Open-Source-Inferenz-Frameworks (vLLM, SGLang, TensorRT-LLM usw.) vertraut sind und diese bei Bedarf erweitern oder ersetzen können.
- Gerne neue Anwendungsfälle erschließen – heterogene Bereitstellungstopologien erkunden und frühe POCs erstellen, die neue Ideen beweisen.
- Ergebnisorientiert sind und eine starke Neigung zur Tatkraft haben; Sie übernehmen Probleme end-to-end vom Prototyp über die Optimierung bis zur Übergabe.
- Davon angetrieben werden, an der Schnittstelle von neuartiger Hardware und fortschrittlichen Modellen zu arbeiten, und möchten, dass Ihre Arbeit direkten Einfluss darauf hat, wie KI-Hardware der nächsten Generation genutzt wird.
- Klare Kommunikation schätzen und in einem kleinen Team mit hoher Eigenverantwortung erfolgreich sind.
- Bachelor-Abschluss in Informatik, Elektrotechnik oder einem verwandten Fachgebiet und 10+ Jahre relevante Ingenieurerfahrung oder gleichwertige nachgewiesene Erfahrung.
- Starke Kenntnisse in Python und C/C++.
- Praktische Erfahrung mit der Optimierung von LLM-Inferenz – Attention-Kernels, KV-Cache, Batching-Strategien, Quantisierung (INT8/FP8/INT4).
- Erfahrung mit mindestens einem wichtigen Inferenz-Framework (vLLM, SGLang, TensorRT-LLM, ONNX Runtime oder ähnlich) auf Beitragsniveau.
- Vertrautheit mit GPU-Kernel-Programmierung (CUDA/Triton) und Performance-Profiling-Tools.
Verantwortlichkeiten
- Identifizieren und Prototyping von aufkommenden LLM-Inferenz-Anwendungsfällen, die für heterogene Hardware-Bereitstellungen geeignet sind.
- Erstellen überzeugender Proof-of-Concept-Systeme, die die Fähigkeiten von D-Matrix für Kunden, Partner und interne Stakeholder demonstrieren.
- Entwickeln und Optimieren benutzerdefinierter Kernels und Operator-Optimierungen, um den Durchsatz zu maximieren und die Latenz zu minimieren.
- Steuern von Quantisierungs-, Sparsity- und Batching-Strategien, die auf das Rechenmodell von D-Matrix zugeschnitten sind.
- Erstellen und Pflegen von Inferenz-Runtimes, Serving-Frameworks und Evaluierungswerkzeugen.
- Beitragen zu verteilten Inferenzsystemen: Tensor-/Pipeline-Parallelität, entkoppelte Vorbereitung/Dekodierung, KV-Cache-Management.
- Enge Zusammenarbeit mit Hardware-Architekten, um Firmware- und Compilerteams umsetzbare Inferenz-Workload-Einblicke zu geben.
- Partnerschaft mit Produkt- und Geschäftsentwicklung, um POCs in kundenorientierte Demonstrationen zu übersetzen.
- Beitragen zu technischen Publikationen, Whitepapers und Open-Source-Projekten, die die Sichtbarkeit von D-Matrix fördern.
Bevorzugte Qualifikationen
- Master- oder PhD-Abschluss in Informatik, Elektrotechnik oder einem verwandten Fachgebiet bevorzugt, mit 6+ Jahren relevanter Branchenerfahrung.
- Erfahrung mit heterogenen Compute-Bereitstellungen – Planung von Inferenz-Workloads über unterschiedliche Hardware (Beschleuniger, CPUs, GPUs).
- Vertrautheit mit benutzerdefizierter Silizium- oder ASIC-basierter Inferenz (über reine GPU-Umgebungen hinaus).
- Erfahrung mit verteilter Inferenz: Tensor-Parallelität, Pipeline-Parallelität, entkoppeltes Serving.
- Beiträge zu Open-Source-Inferenz- oder ML-Systemprojekten.
- Erfahrung mit produktionsreifen Inferenz-Servings in großem Maßstab (Latenz-SLOs, kontinuierliches Batching, Multi-Model-Serving).
- Vertrautheit mit spekulativer Dekodierung, Mixture-of-Experts-Routing oder Techniken für das Serving von Langzeitkontexten.
- Praktische Vertrautheit mit dem Material des JAX Scaling Books oder gleichwertiges Systemverständnis von modernem LLM-Training und Inferenz.
Warum D-Matrix Frontier Group
- Arbeiten an wirklich neuartiger Hardware: Die In-Memory-Compute-Architektur von D-Matrix eröffnet Inferenzoptimierungsprobleme, die es sonst nirgendwo gibt.
- End-to-End-Verantwortung von der Idee bis zum bereitgestellten System, mit einem kurzen Feedback-Loop zwischen Ihrer Arbeit und echter Hardware.
- Kleines, erfahrenes Team mit hoher Autonomie und direktem Einfluss auf die Produktrichtung.
- Wettbewerbsfähige Vergütung, Aktienoptionen und Sozialleistungen in Santa Clara, CA.
Richtlinie zur Chancengleichheit am Arbeitsplatz
d-Matrix ist stolz darauf, ein Arbeitgeber zu sein, der Chancengleichheit und affirmative Maßnahmen fördert. Wir engagieren uns für die Schaffung eines integrativen Umfelds, in dem sich jeder willkommen und befähigt fühlt, seine beste Arbeit zu leisten. Wir stellen die besten Talente für unsere Teams ein, unabhängig von Rasse, Religion, Hautfarbe, Alter, Behinderung, Geschlecht, Geschlechtsidentität, sexueller Orientierung, Abstammung, genetischen Informationen, Familienstand, nationaler Herkunft, politischer Zugehörigkeit oder Veteranenstatus. Unser Fokus liegt auf der Einstellung von Teammitgliedern mit bescheidenem Fachwissen, Freundlichkeit, Engagement und der Bereitschaft, Herausforderungen anzunehmen und jeden Tag gemeinsam zu lernen.
d-Matrix akzeptiert keine Lebensläufe oder Kandidatenangebote von externen Agenturen. Wir schätzen das Interesse und die Bemühungen von Personalvermittlungsfirmen, bitten jedoch darum, dass sich Einzelpersonen, die an Möglichkeiten bei d-Matrix interessiert sind, direkt über unsere offiziellen Kanäle bewerben. Dieser Ansatz ermöglicht es uns, unsere Einstellungsprozesse zu optimieren und eine konsistente und faire Bewertung aller Bewerber aufrechtzuerhalten. Vielen Dank für Ihr Verständnis und Ihre Kooperation.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen