Vereinigte Staaten
MANTECH
Anthropic
Performance Engineer, Inference Systems
Vereinigte Staaten
Seattle, Washington, Vereinigte Staaten · San Francisco, California, Vereinigte Staaten · New York, New York, Vereinigte Staaten
PythonSQL
Automatische Übersetzung. Prüfe das Original.
Über Anthropic
Anthropic’s Mission ist es, zuverlässige, interpretierbare und steuerbare KI-Systeme zu entwickeln. Wir möchten, dass KI sicher und vorteilhaft für unsere Nutzer und die Gesellschaft als Ganzes ist. Unser Team ist eine schnell wachsende Gruppe engagierter Forscher, Ingenieure, Politikexperten und Wirtschaftsführer, die gemeinsam daran arbeiten, vorteilhafte KI-Systeme aufzubauen.
Über die Rolle
Anthropic's Inference Fleet bedient Claude für Millionen von Nutzern über unsere eigenen Produkte und die weltweit größten Cloud-Plattformen. Der Stack, der dies ermöglicht, ist tief und eng verzahnt: Beschleuniger-Kernel, Model-Server, verteiltes Routing, Autoscaling, Kapazitätsmanagement. Jede Schicht beeinflusst die anderen, oft auf Weisen, die isoliert schwer zu erkennen sind.
Das Inference System Dynamics Team ist dafür verantwortlich, dieses Gesamtsystem zu verstehen und es anhand von vier Dimensionen an einem hohen Maßstab zu messen: Durchsatz, Latenz, Zuverlässigkeit und Korrektheit. Wir messen, wie die Flotte im Vergleich zu ihrer theoretischen Leistungsgrenze abschneidet, führen abteilungsübergreifende Untersuchungen durch, um die Lücken zu erklären, und sind für die Korrektheitsprüfungen verantwortlich, die sicherstellen, dass Claudes Ausgaben korrekt und nicht nur schnell sind, über Hardwareplattformen und Serving-Konfigurationen hinweg. Wir sind nicht für die einzelnen Komponenten verantwortlich. Wir instrumentieren und modellieren sie, finden die Hebelwirkungsmöglichkeiten über sie hinweg und arbeiten mit den verantwortlichen Teams zusammen, um die Erfolge zu erzielen.
Sie werden in allen vier Bereichen arbeiten. Eine Woche könnte es darum gehen, eine Regression bei der Tail-Latenz vom Request-Timing über Routing und Batching bis hin zu einem Kernel-Overhead zu verfolgen; in der nächsten Woche könnte es darum gehen, eine Korrektheitsbewertung zu verschärfen, damit sie eine Ausgaberegressions erfasst, die durch eine Quantifizierungsänderung eingeführt wurde. Wir suchen Performance-Ingenieure, die Korrektheit als Teil der Performance betrachten.
Hauptverantwortlichkeiten
- Durchführung abteilungsübergreifender Performance-Untersuchungen zu Durchsatz, Latenz und Zuverlässigkeit, Messung der Lücke zwischen tatsächlicher Flottenleistung und theoretischen Grenzwerten, Identifizierung von Grundursachen und Quantifizierung des Werts der Schließung dieser Lücken
- Verantwortung für die Pipeline zur Bewertung der Korrektheit, die die Qualität der Modellausgabe über Hardwareplattformen, Numerik und Serving-Konfigurationen hinweg validiert, und Leitung der Untersuchung, wenn diese eine Regression erfasst
- Aufbau der Observability-, Dashboard- und Modellierungswerkzeuge, die Durchsatz, Latenz, Kosten, Zuverlässigkeit, Korrektheit und deren Wechselwirkungen über den gesamten Stack hinweg lesbar machen
- Zusammenarbeit mit den Kernel-, Serving-, Routing-, Autoscaling- und Kapazitätsteams, um die wirkungsvollsten Optimierungen zu priorisieren und umzusetzen, die Ihre Analyse aufzeigt
- Rücksichtslose Priorisierung einer großen Bandbreite von Möglichkeiten nach Auswirkung und Aufwand und Ablehnung derjenigen, die nicht den Anforderungen entsprechen
Mindestanforderungen
- Praktische Erfahrung im Performance Engineering: Profiling, Roofline-Analyse, Latenz-/Durchsatzoptimierung und Ursachenforschung in komplexen Produktionssystemen
- Beherrschung von Python, mit der Fähigkeit, große Produktionscodebasen zu lesen, zu instrumentieren und zu ihnen beizutragen, die Sie nicht selbst geschrieben haben
- Solide Datenanalysefähigkeiten (z. B. SQL, pandas oder ähnliches), die ausreichen, um Rohdaten in klare Erkenntnisse umzuwandeln
- Fähigkeit, quantitative Ergebnisse schriftlich klar zu kommunizieren, um Prioritäten in Teams zu beeinflussen, die Sie nicht leiten
- Echtes Interesse an Korrektheit als Ingenieursdisziplin: Numerik, Evaluationsdesign, Regressionserkennung
Logistik
- Mindestbildung: Bachelor-Abschluss oder eine gleichwertige Kombination aus Bildung, Ausbildung und/oder Erfahrung
- Erforderlicher Studienbereich: Ein für die Rolle relevanter Bereich, nachgewiesen durch Kursarbeit, Ausbildung oder Berufserfahrung
- Mindestjahre an Erfahrung: Die erforderliche Berufserfahrung korreliert mit den internen Joblevel-Anforderungen für die Position
Bevorzugte Qualifikationen
- Erfahrung mit ML-Systemen, insbesondere mit Trainings- oder Inferenzinfrastruktur oder allgemeinen LLM Serving Stacks. Direkte Erfahrung mit Inferenz im großen Maßstab ist ein großes Plus
- Vertrautheit mit Performance-Konzepten für GPUs/TPUs/Beschleuniger (Speicherbandbreite, Kernel-Overheads, Quantifizierung, kollektive Kommunikation). Die Fähigkeit, diese zu analysieren, ist wichtiger als die eigene Kernel-Entwicklung
- Erfahrung mit Zuverlässigkeitsingenieurwesen für Hochdurchsatzdienste: Autoscaling, Load Balancing, Request Routing, Tail Latency
- Erfahrung mit Modellbewertungs- oder numerischen Regressionserkennungspipelines
- Erfahrung im Aufbau von Observability oder Telemetrie für verteilte Systeme
- Komfort, Einfluss und Evidenz statt direkter Verantwortung zu nutzen, um Wirkung zu erzielen
Repräsentative Projekte
- Eine Latenzlücke von 350ms auf einer neuen Beschleunigerplattform vom Ende-zu-Ende-Request-Timing bis zu einem Server-Scheduling-Overhead verfolgen, den Gewinn quantifizieren und die Korrektur direkt oder mit dem verantwortlichen Team umsetzen
- Die Korrektheitsbewertungs-Gate neu gestalten: Ermitteln, welche Signale echte Modell-Output-Regressionen zuverlässig erkennen und welche nur Rauschen sind, und sie zum vertrauenswürdigen Freigabekriterium für alle Hardware-Backends machen
- Einen FLOPs-Funnel erstellen, der aufschlüsselt, wohin die Rechenleistung tatsächlich fließt, und die Lücke zwischen erreichtem Durchsatz und Kernel-Rooflines aufzeigt
- Eine numerische Divergenz zwischen zwei Hardwareplattformen auf eine spezifische Kernel-Änderung zurückführen und die Akzeptanzschwelle für die Zukunft definieren
- Die Latenz-Kosten-Auswirkungen der Änderung von Batch-Größen- und Auslastungszielen modellieren und das Ergebnis in das Signal umwandeln, das der Autoscaler in der Produktion verwendet
Bewerbungsfrist: Keine. Bewerbungen werden fortlaufend geprüft.
Die jährliche Vergütungsspanne für diese Rolle ist unten aufgeführt.
Für Vertriebsrollen ist die angegebene Spanne die Zielvergütung ("OTE") für die Rolle, was bedeutet, dass die Spanne sowohl die Zielprovisionen/Boni als auch das Jahresgrundgehalt für die Rolle beinhaltet.
Jährliches Gehalt
$350,000—$850,000 USD
- Standortbasierte Hybridrichtlinie: Derzeit erwarten wir von allen Mitarbeitern, dass sie mindestens 25% der Zeit in einem unserer Büros verbringen. Einige Rollen erfordern jedoch möglicherweise mehr Zeit in unseren Büros.
- Visumsponsorship: Wir sponsern Visa! Wir können jedoch nicht für jede Rolle und jeden Kandidaten erfolgreich Visa sponsern. Wenn wir Ihnen ein Angebot machen, werden wir jedoch alle zumutbaren Anstrengungen unternehmen, um Ihnen ein Visum zu besorgen, und wir beauftragen einen Einwanderungsanwalt, um Sie dabei zu unterstützen.
Wir ermutigen Sie, sich auch dann zu bewerben, wenn Sie glauben, nicht jede einzelne Qualifikation zu erfüllen. Nicht alle starken Kandidaten erfüllen jede einzelne aufgeführte Qualifikation. Studien zeigen, dass Menschen, die sich als Angehörige unterrepräsentierter Gruppen identifizieren, eher unter dem Impostor-Syndrom leiden und an ihrer Kandidatur zweifeln. Daher bitten wir Sie dringend, sich nicht vorzeitig auszuschließen und sich zu bewerben, wenn Sie an dieser Arbeit interessiert sind. Wir sind der Meinung, dass KI-Systeme wie die, die wir entwickeln, enorme soziale und ethische Auswirkungen haben. Wir glauben, dass dies die Repräsentation noch wichtiger macht, und wir bemühen uns, eine Bandbreite vielfältiger Perspektiven in unserem Team zu vereinen.
Ihre Sicherheit ist uns wichtig. Um sich vor möglichen Betrügereien zu schützen, denken Sie daran, dass Anthropic-Recruiter Sie nur von E-Mail-Adressen @anthropic.com kontaktieren. In einigen Fällen arbeiten wir möglicherweise mit geprüften Personalvermittlungsagenturen zusammen, die sich als im Auftrag von Anthropic arbeitend ausweisen. Seien Sie vorsichtig bei E-Mails von anderen Domains. Legitime Anthropic-Recruiter werden Sie niemals vor Ihrem ersten Tag nach Geld, Gebühren oder Bankinformationen fragen. Wenn Sie sich jemals über eine Kommunikation unsicher sind, klicken Sie nicht auf Links – besuchen Sie anthropic.com/careers direkt, um bestätigte Stellenangebote zu finden.
Kommen Sie zu uns!
Anthropic ist eine Public Benefit Corporation mit Hauptsitz in San Francisco. Wir bieten wettbewerbsfähige Vergütung und Sozialleistungen, optionale Übereinstimmung von Spenden für Eigenkapital, großzügigen Urlaub und Elternzeit, flexible Arbeitszeiten und einen schönen Büroraum für die Zusammenarbeit mit Kollegen. Leitfaden zur KI-Nutzung durch Kandidaten: Erfahren Sie mehr über unsere Richtlinien zur Nutzung von KI in unserem Bewerbungsprozess.
Wie wir anders sind
Wir glauben, dass die wirkungsvollste KI-Forschung "Big Science" sein wird. Bei Anthropic arbeiten wir als ein einziges, zusammenhängendes Team an nur wenigen groß angelegten Forschungsinitiativen. Und wir legen Wert auf Wirkung – die Förderung unserer langfristigen Ziele einer steuerbaren, vertrauenswürdigen KI – anstatt an kleineren und spezifischeren Problemen zu arbeiten. Wir betrachten KI-Forschung als empirische Wissenschaft, die ebenso viel mit Physik und Biologie gemeinsam hat wie mit traditionellen Ansätzen der Informatik. Wir sind eine äußerst kollaborative Gruppe und veranstalten häufig Forschungsdiskussionen, um sicherzustellen, dass wir jederzeit die wirkungsvollste Arbeit verfolgen. Daher schätzen wir Kommunikationsfähigkeiten sehr.
Der einfachste Weg, unsere Forschungsrichtungen zu verstehen, ist die Lektüre unserer aktuellen Forschung. Diese Forschung setzt viele der Richtungen fort, an denen unser Team vor Anthropic gearbeitet hat, darunter: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety und Learning from Human Preferences.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen