Vereinigte Staaten
B&A
Abacus Insights
Senior AI Systems Quality Engineer
Vereinigte Staaten
Boston, Massachusetts, Vereinigte Staaten
TypeScriptPythonAWSGo
Automatische Übersetzung. Prüfe das Original.
Über uns
Abacus Insights verändert die Art und Weise, wie Daten und KI für Krankenversicherungspläne funktionieren. Unsere Mission ist einfach: Gesundheitsdaten nutzbar machen, damit die Verantwortlichen für Entscheidungen über Versorgung und Kosten schneller und mit Zuversicht handeln können.
Als KI- und Datenplattform für Payer Intelligence helfen wir Krankenversicherungsplänen, Datensilos aufzubrechen, um eine einzige, vertrauenswürdige Datenbasis zu schaffen. Diese Basis ermöglicht bessere Entscheidungen – damit Pläne Ergebnisse verbessern, Verschwendung reduzieren und bessere Erfahrungen für Mitglieder und Anbieter liefern können. Mit 100 Mio. US-Dollar von Top-Investoren im Rücken stellen wir uns großen Herausforderungen in einer Branche, die bereit für Veränderungen ist. Unsere Plattform ermöglicht GenAI-Anwendungsfälle, indem sie saubere, vernetzte und zuverlässige Gesundheitsdaten liefert, um Automatisierungs-, Priorisierungs- und Entscheidungsabläufe zu unterstützen – und das ist der Grund, warum wir führend sind.
Unsere Innovation beginnt mit Menschen. Wir sind mutig, neugierig und kollaborativ – denn die besten Ideen entstehen durch Zusammenarbeit. Wir setzen auf den durchdachten Einsatz von KI und Automatisierung, um Innovation und Effizienz voranzutreiben, und suchen nach neugierigen und anpassungsfähigen Personen – solche, die begeistert sind, aufstrebende Technologien zu nutzen, um unsere Arbeit zu verbessern – und dabei menschliche Einblicke, Verbindungen und unsere Kunden in den Mittelpunkt jeder Entscheidung stellen.
Bereit, etwas zu bewirken? Machen Sie mit und lassen Sie uns gemeinsam die Zukunft gestalten.
Über die Rolle
Bei Abacus Insights entwickeln wir KI-gestützte Plattformen, die im Zentrum kritischer Gesundheitsentscheidungen stehen – wo Zuverlässigkeit, Korrektheit und Vertrauen genauso wichtig sind wie Innovation. Da unser Einsatz von agentenbasierten, LLM-gesteuerten Systemen skaliert, ist die Gewährleistung, dass diese Systeme in realen Umgebungen sicher und vorhersehbar funktionieren, nicht optional – sie ist grundlegend.
Der Senior AI Systems Quality Engineer spielt eine entscheidende Rolle dabei, unsere KI-Systeme produktionsreif, betriebsbereit und vertrauenswürdig zu machen. Dies ist keine traditionelle QA-Rolle. Stattdessen helfen Sie dabei zu definieren, wie Qualität von Anfang an in agentenbasierte Systeme integriert wird – durch Einbettung von Leitplanken, Evaluationssignalen und sicherem Fehlerverhalten direkt in das Design, die Erstellung und die Bereitstellung dieser Systeme. In dieser Rolle helfen Sie auch beim Entwurf und der Übernahme einer KI-Testplattform, die nativ innerhalb unserer Databricks Medallion-Architektur läuft – unter Nutzung von Tools wie MLflow, um Evaluation, Abstammung, Rückverfolgbarkeit und Auditierbarkeit in großem Maßstab zu ermöglichen. Dies ist eine plattformorientierte Rolle, die sich auf die Etablierung wiederholbarer, skalierbarer Qualitätspraktiken konzentriert und nicht auf punktuelle Validierung.
Wenn Sie glauben, dass Qualität eine Kern-Ingenieursdisziplin ist – kein nachgelagerter Kontrollpunkt –, dann gibt Ihnen diese Rolle die Möglichkeit, die Erstellung von zuverlässiger, gesteuerter und skalierbarer agentenbasierter KI von Grund auf zu gestalten.
Sie werden eng mit KI-Ingenieuren, Plattformteams und Stakeholdern der Bereitstellung zusammenarbeiten, um maßgeschneiderte Evaluations-Frameworks, Validierungspipelines und automatisierte Test-Suiten zu entwickeln, die das Verhalten agentenbasierter Systeme in der Produktion widerspiegeln. Sie konzentrieren sich auf die Validierung der Orchestrierungslogik, die Verwaltung nicht-deterministischen Verhaltens und die Gewährleistung eines sicheren Abbaus von KI-Systemen unter Unsicherheit, Skalierung und Ausfällen.
Diese Rolle ist von Grund auf auf Automatisierung ausgelegt. Sie werden End-to-End-automatisierte KI-Tests erstellen, die in den Entwicklungszyklus integriert sind, wo die Validierung kontinuierlich erzwungen wird – nicht manuell im Nachhinein überprüft wird. Ihre Arbeit wird sich direkt auf die Release-Bereitschaft, das operative Vertrauen und die Fähigkeit von Abacus auswirken, fortschrittliche KI in missionskritischen Gesundheitsumgebungen verantwortungsvoll einzusetzen.
Ihr tägliches Geschäft *
- Erstellung und Auslieferung von produktionsreifen, automatisierten Validierungs-Frameworks, Test-Suiten und Evaluations-Pipelines über den gesamten KI-Lebenszyklus (Design → Deployment). *
- Entwurf und Weiterentwicklung einer KI-Testplattform, integriert mit Databricks und MLflow, die wiederholbare Tests, Rückverfolgbarkeit und Auditierbarkeit ermöglicht. *
- Erstellung von groß angelegten, szenariobasierten Test-Suiten (Hunderte bis Tausende von Fällen) zur End-to-End-Validierung von agentenbasierten Workflows, einschließlich Edge Cases, Long-Tail-Szenarien und Fehlermodi. *
- Validierung des Orchestrierungsverhaltens (Tool-Nutzung, Speicher, Entscheidungslogik) und Stresstests des nicht-deterministischen Systemverhaltens vor der Produktion. *
- Qualität durch Design einbetten: Definition von Systemverträgen, Leitplanken und sicheren Degradationsmustern an wichtigen Grenzen. *
- Definition messbarer Qualitätssignale für LLM-Systeme (Grounding, Halluzinationen, Relevanz, Latenz, Kosten) und deren Integration in CI/CD-Pipelines als automatisierte Qualitätstore. *
- Sicherstellen, dass KI-Validierungen automatisch bei Modell-, Prompt- und Code-Änderungen ausgeführt werden – Ermöglichung kontinuierlicher Qualitätssicherung. *
- Erstellung wiederverwendbarer Bibliotheken und Komponenten, damit Teams konsistente KI-Qualitätspraktiken schnell übernehmen können. *
- Übernahme von Aspekten der KI-Release-Bereitschaft, einschließlich der Definition von Go/No-Go-Kriterien basierend auf messbaren Qualitätsschwellenwerten. *
- Zusammenarbeit mit KI-, Plattform-, Sicherheits- und Bereitstellungsteams, um Missionsanforderungen in klare Qualitätskriterien, Kompromisse und Vertrauensniveaus zu übersetzen.
Mindestanforderungen
Was Sie ins Team einbringen *
- 7+ Jahre Erfahrung in der Softwareentwicklung, hauptsächlich in backend- oder Plattformsystemen. *
- Nachgewiesene Erfahrung in der Entwicklung und Implementierung von KI-Testautomatisierung in Produktionsumgebungen, nicht nur in der Testausführung. *
- Nachgewiesene Fähigkeit, benutzerdefinierte Validierungs-, Evaluations- oder Test-Frameworks für komplexe, verteilte Systeme zu erstellen. *
- Starke Kenntnisse in Python und/oder TypeScript innerhalb moderner KI-Engineering-Stacks. *
- Praktische Erfahrung mit KI-gestützten Systemen, einschließlich LLM-basierter oder agentenbasierter Workflows und nicht-deterministischem Verhalten. *
- Erfahrung in der Konzeption oder Mitwirkung an KI-Tests in großem Maßstab, einschließlich Regression-Frameworks, Long-Tail-Evaluation und hoher Testabdeckung. *
- Tiefes Verständnis der CI/CD-Integration, einschließlich der Einbettung automatisierter Tests und Qualitätstore in Deployment-Pipelines. *
- Solides Verständnis von AWS Cloud-nativen Architekturen. *
- Nachweisliche Erfolgsbilanz in der Entwicklung von Qualität, Zuverlässigkeit, Governance und Sicherheit als Kernprinzipien des Systemdesigns. *
- Praktische Kenntnisse von Sicherheits-, Datenschutz- und Betriebsrisiken in regulierten oder missionskritischen Umgebungen, einschließlich Fehlermodi und Wiederherstellung. *
- Erfahrung mit KI-Testmethoden, einschließlich der Bewertung nicht-deterministischer Ausgaben, Drift-Erkennung, Bias/Fairness-Tests und robuster Regressionsstrategien. *
- Nachgewiesene Fähigkeit, messbare Vertrauensschwellen für KI-Systeme zu etablieren, einschließlich der Definition und Operationalisierung von Erfolgsmetriken wie Abfragegenauigkeit, Halluzinationsgrenzen, Erklärbarkeit und PHI-sicheres Verhalten als durchsetzbare Freigabekriterien. *
- Erfahrung in der Zusammenarbeit mit Fachexperten zur Definition von Korrektheits- und realen Validierungsszenarien, die eine groß angelegte, geschäftsrelevante Testabdeckung ermöglichen, die tatsächliche Produktionsanwendungsfälle widerspiegelt und nicht nur ingenieurtechnische Perspektiven.
Was wir gerne sehen würden, aber nicht zwingend erforderlich ist *
- Erfahrung mit Databricks-nativen Umgebungen und Medallion-Architektur. *
- Erfahrung mit MLflow für Modell-Evaluation, Abstammungsverfolgung und Auditierbarkeit. *
- Einblick in Observability-Tools (z. B. Datadog, Prometheus, Grafana) für verteilte KI-Workflows. *
- Vertrautheit mit LLM-Evaluierungstechniken, Leitplanken und Frameworks zur Durchsetzung von Richtlinien. *
- Erfahrung in der Bewertung von Performance-, Latenz- oder Kostenregressionen in KI-Systemen. *
- Fähigkeit, Systemverhalten und Qualitätskompromisse für technische und geschäftliche Zielgruppen klar zu dokumentieren. *
- Formale Schulung oder Zertifizierung in KI/ML-Systemen (z. B. ISTQB AI Testing, AWS ML Specialty, Google ML Engineer). *
- Erfahrung in der Konzeption und Iteration von Prompts, Agentenverhalten und Orchestrierungslogik als versionierte, testbare Artefakte, die eine schnelle Verfeinerung des KI-Systemverhaltens ermöglichen (oft als „Vibe Coding“ bezeichnet) ohne starke Abhängigkeit von traditionellen Codeänderungen. *
- Vertrautheit mit der Nutzung von KI-Systemen zur Generierung und Erweiterung von Testszenarien, einschließlich der Erstellung von groß angelegten, vielfältigen und adversariellen Testdatensätzen zur signifikanten Verbesserung der Abdeckung und der Tiefe der Validierung.
Unser Engagement als Arbeitgeber, der Chancengleichheit fördert
Vergütung: Die Vergütung für diese Rolle basiert auf Erfahrung, Fähigkeiten und Standort und umfasst ein Grundgehalt zuzüglich der Möglichkeit für Leistungsboni und Aktienoptionen.
Als missionsorientiertes Technologieunternehmen, das zur Verbesserung der Gesundheitsversorgung beiträgt, ist Abacus Insights davon überzeugt, dass die beste Innovation und der größte Wert, den wir unseren Kunden bieten können, aus vielfältigen Ideen, Gedanken, Erfahrungen und Perspektiven stammt.
Daher stellen wir Ressourcen bereit, um vielfältige Teams aufzubauen und allen Bewerbern gleiche Beschäftigungsmöglichkeiten zu bieten. Abacus verbietet Diskriminierung und Belästigung in Bezug auf Rasse, Hautfarbe, Religion, Alter, Geschlecht, nationale Herkunft, Behinderungsstatus, Genetik, geschützten Veteranenstatus, sexuelle Orientierung, Geschlechtsidentität oder -ausdruck oder jede andere durch Bundes-, Landes- oder lokale Gesetze geschützte Eigenschaft.
Im Kern dessen, was wir sind, steht die Verpflichtung, kontinuierlich und bewusst eine inklusive Kultur aufzubauen – eine, die jedes Teammitglied weltweit befähigt, seine beste Arbeit zu leisten und sich authentisch einzubringen. Wir setzen dieses Engagement auch in unserem Einstellungsprozess fort und streben danach, eine Interviewerfahrung zu schaffen, in der Sie sich wohl und zuversichtlich fühlen, Ihre Stärken zu zeigen. Wenn es irgendetwas gibt, das wir tun können, um dies zu unterstützen – egal wie groß oder klein –, lassen Sie es uns bitte wissen.
KI-Einsatz im Recruiting
Wir setzen KI-gestützte Tools während unseres gesamten Einstellungsprozesses ein. Dazu gehört die Real Talent Matching Technology von Greenhouse, die hilft, Bewerbungen basierend auf berufsbezogenen Kriterien zu priorisieren, sowie zusätzliche KI-Tools, die zur Unterstützung von Sourcing, Interviewvorbereitung und anderen Recruiting-Aufgaben verwendet werden. Wir entfernen nicht das menschliche Element – unsere Recruiter und Einstellungsteams überprüfen alle Bewerbungen und treffen alle Entscheidungen bezüglich der Kandidatenentwicklung und Einstellung, unabhängig davon, welche Tools zur Unterstützung dieses Prozesses verwendet werden.
Identitäts- und Standortverifizierung
Um die Integrität unseres Einstellungsprozesses zu wahren, werden alle Interviews per Live-Video mit eingeschalteter Kamera durchgeführt. Virtuelle oder unscharfe Hintergründe und Headsets sind ohne genehmigte Unterkunft nicht gestattet, und Sie sollten sich an einem gut beleuchteten, privaten Ort befinden, an dem Ihr Gesicht und Ihre Umgebung deutlich sichtbar sind.
Kandidaten, die weiterkommen, können auch gebeten werden, eine Identitäts- und Standortverifizierung durchzuführen, die die Überprüfung Ihrer Identität, Ihrer Berufserfahrung und die Bestätigung Ihres Wohnortes gemäß Ihrer Bewerbung umfassen kann.
Bewerbungen, die wissentlich falsche oder wesentlich irreführende Informationen, einschließlich Identität, Standort oder Qualifikationen, enthalten, können disqualifiziert werden, und jedes Angebot kann widerrufen werden, wenn zu irgendeinem Zeitpunkt im Prozess eine wesentliche Falschdarstellung entdeckt wird.
Wenn Sie eine Unterkunft für einen Teil des Interviewprozesses benötigen, teilen Sie dies bitte Ihrem Recruiter im Voraus mit.
Mit Ihrer Bewerbung bestätigen Sie, dass wir Ihre persönlichen Daten für Recruiting-Zwecke gemäß den geltenden Datenschutzgesetzen erheben und verarbeiten werden, einschließlich der oben beschriebenen Verifizierungsschritte. Bitte lesen Sie unsere Datenschutzerklärung für Bewerber nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fabacusinsights.com%2Fapplicant-privacy-policy%2F&data=05%7C02%7Cheidi.weinstein%40abacusinsights.com%7C7d44e83a2b7f4081beae08df23b25d49%7C0819ed188d9747bb930bec1982f9aa76%7C0%7C0%7C639268921130656820%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C4000%7C%7C%7C&sdata=d%2BoHUdDyVi5syk0k8eO7f73azMYj8kBhPCDKTMK%2Fcvo%3D&reserved=0 für weitere Informationen, einschließlich Ihrer Rechte.
Was Sie dafür erhalten: *
- Unbegrenzte bezahlte Urlaubszeit – erholen Sie sich, wann immer Sie es brauchen *
- Arbeiten Sie von überall – Flexibilität, die zu Ihrem Leben passt *
- Umfassende Gesundheitsversorgung – mehrere Planoptionen zur Auswahl *
- Aktien für jeden Mitarbeiter – teilen Sie unseren Erfolg *
- Wachstumsförderndes Umfeld – Ihre Entwicklung ist hier wichtig *
- Zuschuss für die Einrichtung eines Heimbüros – einmalige Unterstützung für den Start *
- Monatlicher Mobilfunkzuschuss – bleiben Sie einfach in Verbindung#
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen