Vereinigte Staaten
Skyline Scientific Inc
Apple
Director, Evaluation and Quality Assurance, Services Special Projects
Vereinigte Staaten
Cupertino, California, Vereinigte Staaten
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Wir suchen einen Director, der die Bewertungs- und Qualitätssicherungsfunktion für eine unserer ehrgeizigsten, mehrjährigen Ingenieurinitiativen aufbaut und leitet. Dies ist eine echte 0-zu-1-Rolle, bei der Sie die erste Schlüsselperson sind: Es gibt kein bestehendes Team, keine Werkzeuge und keine Prozesse, die Sie übernehmen könnten. Sie werden definieren, wie wir die Qualität über ein gesamtes Produkt Ende-zu-Ende messen, die Automatisierungs- und Bewertungsinfrastruktur aufbauen, um dies in großem Maßstab zu tun (oder die Infrastruktur anderer Teams nutzen), und die Organisation aufbauen und leiten, die dies betreibt.
BESCHREIBUNG
Sie werden die Verantwortung für Bewertung und Qualitätssicherung für jede Schicht des Produkts übernehmen – von der korrekten Auslösung des Systems für die richtige Benutzeranfrage über die Oberflächendarstellung und Rangfolge der richtigen Ergebnisse bis hin zur korrekten Ausführung der zugrunde liegenden Transaktionen, einschließlich Integrationen mit externen Partner-APIs und Finanzsystemen. Qualität ist hier kein einzelner Test-Suite – sie umfasst konversationelles Verständnis, Relevanz und Rangfolge sowie umsatzwirksame Korrektheit, alles im Kontext eines großen, sich ständig weiterentwickelnden realen Datensatzes. Sie werden die Bewertungs- und Qualitätsstrategie sowie deren Umsetzung für das Produkt erstellen und vorantreiben. Dies wird stark auf automatisierte Bewertungssysteme und, wo angebracht, auf menschliche Bewertungsprogramme zurückgreifen. Sie werden entscheiden, wo in jeden Bereich investiert werden soll. Sie werden definieren, was für dieses Produkt "korrekt" und "gut" bedeutet, diese Definition in kontinuierliche, stets aktive Bewertungspipelines mit klaren Pass/Fail-Qualitätstoren, die an Releases gebunden sind, integrieren und das Team, die Werkzeuge und den Betriebsrhythmus aufbauen, um Probleme zu erkennen, bevor sie Benutzer erreichen. Als erste Person, die in diesem Bereich eingestellt wird, werden Sie mit erheblicher Freiheit und Ambiguität agieren – Strategie, Prozesse und technische Richtung mit minimalem bestehendem Gerüst festlegen und gleichzeitig eine Organisation aufbauen und skalieren. Sie werden eng mit der Führung von Engineering, Applied ML und Program Management zusammenarbeiten, einschließlich leitender Führungskräfte, und Sie werden eine Schlüsselrolle bei der Definition dessen spielen, was "fertig" und "lieferbar" für ein Produkt bedeutet, das sich noch in der Entwicklung befindet, sowie bei der Iteration von Entscheidungspunkten in der Produktion, nachdem das Produkt ausgeliefert wurde.
MINDESTQUALIFIKATIONEN
- 12+ Jahre Erfahrung in den Bereichen Data Science, machine learning-Bewertung, Qualitätssicherung oder Test-Engineering in einer technischen Produktumgebung, einschließlich Erfahrung im Aufbau und der Leitung von mehrstufigen QA- oder Bewertungsorganisationen durch Manager.
- Nachgewiesene Erfahrung im Aufbau einer Bewertungs- oder QA-Funktion von Grund auf – Definition von Metriken, Prozessen, Werkzeugen und Organisationsstrukturen, wo zuvor keine existierten.
- Umfangreiche Erfahrung mit LLM-basierten Autogradern und Bewertungskriterien, einschließlich Design von Bewertungskriterien, Entwicklung von Bewertungsdatensätzen, Validierung, Kalibrierung und Abstimmung zwischen Mensch und Modell, und deren Nutzung zur proaktiven Verbesserung von Produkten und Modellen.
- Tiefgreifende Erfahrung mit traditionellen Methoden der menschlichen Bewertung, Protokollierung und A/B-Tests für verbraucherorientierte Produkte in großem Maßstab.
- Erfahrung in der Bewertung von konversationellen KI-, Empfehlungs-, Rangfolge- oder Suchsystemen und – idealerweise – von agentenbasierten oder Werkzeugnutzungssystemen, die reale Aktionen ausführen und nicht nur Antworten generieren.
- BS in Informatik, Ingenieurwesen oder einem verwandten technischen Bereich oder gleichwertige Erfahrung.
- Erfahrung mit Qualitätssicherung für externe API-Integrationen.
- Erfahrung mit Protokollierungsinfrastruktur und Instrumentierung zur Messung der Qualität von KI-Produkten.
- Außergewöhnliche schriftliche und mündliche Kommunikationsfähigkeiten mit einer Erfolgsbilanz bei der klaren Darstellung von Qualitätsstatus, Risiken und Kompromissen gegenüber der leitenden Führungsebene und der Beeinflussung von Entscheidungen.
BEVORZUGTE QUALIFIKATIONEN
- 15+ Jahre Erfahrung in den Bereichen Data Science, machine learning-Bewertung, Qualitätssicherung oder Test-Engineering in einer technischen Produktumgebung, einschließlich Erfahrung im Aufbau und der Leitung von mehrstufigen QA- oder Bewertungsorganisationen durch Manager.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen