Anaplan
QA Automation Engineer - KI
Vereinigte StaatenNorth Carolina, Vereinigte Staaten
Über die Stelle
Bei Anaplan sind wir ein Team von Innovatoren, die sich darauf konzentrieren, die Geschäftsentscheidungsfindung durch unsere führende KI-gestützte Szenarioplanungs- und Analyseplattform zu optimieren, damit unsere Kunden der Konkurrenz und dem Markt immer einen Schritt voraus sind.
Was Anaplanners teams- und länderübergreifend vereint, ist unser gemeinsames Engagement für den Erfolg unserer Kunden und unsere Winning Culture.
Unsere Kunden gehören zum Who's Who der Fortune 50. Coca-Cola, LinkedIn, Adobe, LVMH und Bayer sind nur einige der über 2,400 globalen Unternehmen, die sich auf unsere erstklassige Plattform verlassen.
Unsere Winning Culture ist der Motor, der unsere Innovatoren-Teams antreibt. Wir fördern Vielfalt an Gedanken und Ideen, wir verhalten uns wie Führungskräfte unabhängig von unserem Titel, wir verpflichten uns zur Erreichung ehrgeiziger Ziele und wir feiern gerne unsere Erfolge – große und kleine.
Unterstützt durch die Betriebsprinzipien, strategisch, wertebasiert und diszipliniert in der Ausführung zu sein, werden Sie hier inspiriert, vernetzt, gefördert und belohnt. Alles, was Sie einzigartig macht, ist willkommen; schließen Sie sich uns an und lassen Sie uns gemeinsam das Nächste aufbauen!
Unser Engagement für Vielfalt, Gleichberechtigung, Inklusion und Zugehörigkeit (DEIB)
Wir glauben, dass die Gewinnung und Bindung der besten Talente und die Förderung einer integrativen Kultur unser Geschäft stärken. DEIB verbessert unsere Belegschaft, stärkt das Vertrauen unserer Partner und Kunden und treibt den Geschäftserfolg voran. Bauen Sie Ihre Karriere an einem Ort auf, an dem Vielfalt, Gleichberechtigung, Inklusion und Zugehörigkeit nicht nur Worte auf dem Papier sind – das ist es, was unsere Innovation antreibt, so verbinden wir uns und es trägt dazu bei, dass wir ein Marktführer sind. Wir glauben an ein Einstellungs- und Arbeitsumfeld, in dem alle Menschen respektiert und geschätzt werden, unabhängig von Geschlechtsidentität oder -ausdruck, sexueller Orientierung, Religion, ethnischer Zugehörigkeit, Alter, Neurodiversität, Behinderungsstatus, Staatsbürgerschaft oder jedem anderen Aspekt, der Menschen einzigartig macht. Wir stellen Sie für das ein, was Sie sind, und wir möchten, dass Sie jeden Tag Ihr authentisches Selbst zur Arbeit mitbringen!
Wir werden sicherstellen, dass Menschen mit Behinderungen angemessene Vorkehrungen getroffen werden, um an Bewerbungs- oder Vorstellungsgesprächen teilzunehmen, wesentliche Arbeitsaufgaben zu erfüllen und gerechte Leistungen und alle Privilegien der Beschäftigung zu erhalten. Bitte kontaktieren Sie uns, um eine Unterkunft zu beantragen.
Wir entwickeln eine neue Rolle, die sich ausschließlich auf die Qualitätssicherung für GenAI/Agentensysteme konzentriert. Als unser QA Automation Engineer im Bereich KI entwickeln Sie Teststrategien, Bewertungsframeworks und Qualitätsmetriken, die speziell für LLM-gestützte Anwendungen entwickelt wurden. Diese Rolle erfordert eine einzigartige Mischung aus QA-Expertise, Verständnis des GenAI-Verhaltens und Automatisierungsfähigkeiten, um sicherzustellen, dass unsere KI-Funktionen zuverlässig, genau und vertrauenswürdig sind.
Ihr Einfluss
- Entwickeln und Ausführen einer End-to-End-automatisierten Testabdeckung über Bewertungen, APIs, UIs und Leistungstests unter Verwendung von Python.
- Implementieren von Teststrategien für GenAI-Funktionen, einschließlich konversationeller KI, Agentensysteme und LLM-gestützter Workflows innerhalb Ihres Arbeitsbereichs.
- Ausführen und Pflegen automatisierter Testsuiten für Prompt-Tests, einschließlich Regressionstests, die darauf ausgelegt sind, unbeabsichtigte Änderungen im Modellverhalten zu erkennen.
- Unterstützen und Pflegen von Bewertungsframeworks zur Messung der GenAI-Leistung in Bezug auf Genauigkeit, Relevanz, Sicherheit, Konsistenz und Latenz.
- Mitwirken an der Kuratierung hochwertiger Testdatensätze und "goldener Beispiele", die vielfältige Benutzerszenarien und Randfälle darstellen.
- Unterstützen beim adversariellen Testen zur Identifizierung potenzieller Modellhalluzinationen oder -verzerrungen und Unterstützen bei der Integration von Produktionswarnsystemen.
- Verwenden interner Tools und Testframeworks, um Entwicklern die einfache Validierung ihres GenAI-Codes zu ermöglichen, und Unterstützen beim User Acceptance Testing.
- Übernehmen Sie die Verantwortung für die automatisierte Abdeckung Ihres Arbeitsbereichs und dokumentieren Sie Testverfahren und bekannte Probleme in klaren, zugänglichen Formaten.
Mindestanforderungen
Ihre Fähigkeiten
- Solide QA- oder Test-Engineering-Erfahrung mit Einblicken in oder einem ausgeprägten Interesse an KI/ML-Systemen.
- Praktische Python-Programmiererfahrung.
- Gutes Verständnis von GenAI-Technologien, einschließlich LLMs, Prompt Engineering und KI-Anwendungsmustern.
- Solide Erfahrung mit Testautomatisierungsframeworks und Skripting (Python, Pytest, API und UI-Testing).
- Praktische Kenntnisse von Softwaretestmethoden (funktionale Tests, Integrationstests, Regressionstests, Leistungstests, Sicherheitstests).
- Fähigkeit, Testfälle auszuführen und Kriterien für nicht-deterministische Systeme zu bewerten.
- Erfahrung mit API-Testtools (Postman, REST Assured) und backend-Tests.
- Vertrautheit mit CI/CD-Pipelines und der Integration automatisierter Tests.
#LI-SP1
Haftungsausschluss für betrügerische Rekrutierung
Es ist uns aufgefallen, dass betrügerische und fiktive Stellenangebote im Internet kursieren. Potenzielle Kandidaten werden von bestimmten Personen kontaktiert, hauptsächlich per Telefon, E-Mail und Korrespondenz, die behaupten, Vertreter von Anaplan zu sein. Der Hauptzweck dieser Korrespondenz und Ankündigungen ist es, privilegierte Informationen von Einzelpersonen zu erhalten.
Anaplan tut Folgendes nicht:
- Angebote an Kandidaten unterbreiten, ohne einen umfassenden Interviewprozess mit einem Mitglied unseres Rekrutierungsteams und einem Hiring Manager per Video oder persönlich durchzuführen.
- Stellenangebote per E-Mail versenden. Alle Angebote werden zuerst nach Möglichkeit mündlich von einem Mitglied unseres internen Rekrutierungsteams unterbreitet und dann schriftlich nachverfolgt.
Alle E-Mails von Anaplan stammen von einer @anaplan.com-E-Mail-Adresse. Sollten Sie Zweifel an der Echtheit einer E-Mail, eines Briefes oder einer Telefonkommunikation haben, die angeblich von, für oder im Namen von Anaplan stammt, senden Sie bitte eine E-Mail an people@anaplan.com, bevor Sie weitere Maßnahmen in Bezug auf die Korrespondenz ergreifen.
Datenschutz & KI-Hinweis
Die im Rahmen unserer Rekrutierungsaktivitäten verarbeiteten Kandidatendaten werden gemäß unserer Kandidaten-Datenschutzmitteilung behandelt. Dies kann die Verwendung von künstlicher Intelligenz oder automatisierten Tools beinhalten, um unser Team bei der Bewertung von Qualifikationen zu unterstützen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen