États-Unis
CONCEPT SOLUTIONS LLC
ServiceNow
Ingénieur Logiciel Senior, Plateforme d'Évaluation d'Agents
États-Unis
Mountain View, California, États-Unis
PythonGo
Traduction automatique. Consultez l’original.
Description de l'entreprise
Qui nous sommes
Moveworks : la plateforme d'assistant IA agentique qui responsabilise l'ensemble des effectifs. Notre plateforme permet aux employés de converser avec tous leurs systèmes d'entreprise via le langage naturel pour trouver rapidement des réponses et automatiser des tâches. Alimentée par les LLMs les plus avancés au monde, nos modèles propriétaires et une plateforme IA agentique sophistiquée, nous transformons la façon dont le travail est effectué en permettant à l'IA de prendre des initiatives, de rationaliser des flux de travail complexes, et d'apprendre et de s'adapter en continu.
Moveworks est utilisé par plus de 5.5 million d'employés dans plus de 350 des plus grandes entreprises mondiales, y compris 10% des entreprises du Fortune 500, pour automatiser les tâches quotidiennes et rationaliser les opérations commerciales. Reconnu sur les listes Forbes Cloud 100 et AI 50, Moveworks a également été nommé parmi les entreprises les plus innovantes de Fast Company en 2025 et par Inc. dans la catégorie Best in Business, Best in Innovation. Moveworks a également été récompensé par Microsoft lors de la cérémonie Partner of the Year en 2025 et a reçu l'AI Breakthrough Award en 2024.
En décembre 2025, Moveworks a été acquis par ServiceNow, marquant une étape cruciale dans notre parcours visant à créer une porte d'entrée unique vers le travail pour tous les systèmes d'entreprise. En combinant l'automatisation des flux de travail de pointe de ServiceNow avec le moteur de raisonnement et les capacités de langage naturel de Moveworks, nous fournissons la plateforme IA pour chaque personne et chaque flux de travail. Conçue pour aller au-delà des résumés basiques afin d'avoir un impact commercial significatif. Ensemble, notre IA agit sur les systèmes d'entreprise pour transformer les conversations en travail accompli.
En rejoignant notre équipe, vous serez à l'avant-garde de la transformation de l'IA, soutenu par l'échelle mondiale de ServiceNow et l'agilité d'une entreprise à forte croissance. Nous recherchons des talents de classe mondiale pour nous aider à étendre l'IA agentique à chaque employé, dans tous les recoins de l'entreprise. Venez nous rejoindre !
Description du poste
Le rôle
Les agents IA de Moveworks ne génèrent pas seulement du texte – ils agissent. Ils planifient, appellent des outils et modifient l'état réel des systèmes d'entreprise pour le compte de 5.5 million d'employés. Cela fait du problème central de notre équipe un problème de mesure inhabituellement difficile : comment évaluer ce qu'un agent a fait – à travers une trajectoire en plusieurs étapes dans un monde qu'il a modifié – avec suffisamment de précision pour que le score puisse lui apprendre à faire mieux ?
Ce signal est ce dont ce rôle est responsable. Vous construirez la couche de jugement de notre plateforme d'évaluation d'agents : les grilles d'évaluation, les juges, l'étalonnage par rapport aux étiquettes humaines, la méthodologie qui donne un sens à un score. Et la récompense est plus grande qu'un bulletin scolaire – un juge suffisamment bon pour évaluer une trajectoire est un juge suffisamment bon pour s'entraîner contre. Le même signal calibré qui explique pourquoi un agent a échoué devient le signal de récompense qui l'empêche d'échouer.
Ce n'est pas un rôle de pré-entraînement, ni un rôle de test. C'est de l'apprentissage automatique appliqué à un point où la méthodologie n'est vraiment pas établie : le jugement de LLMs par LLMs est un problème de recherche ouvert, et nous le traitons contre des agents qui prennent des actions réelles et irréversibles dans des environnements d'entreprise stateful et multi-locataires.
ServiceNow : tout a commencé dans la ville ensoleillée de San Diego, en Californie, en 2004, lorsqu'un ingénieur visionnaire, Fred Luddy, a perçu le potentiel de transformer notre façon de travailler. Aujourd'hui, ServiceNow est un leader mondial du marché, offrant une technologie innovante améliorée par l'IA à plus de 8,100 clients, dont 85% des entreprises du Fortune 500®. Notre plateforme intelligente basée sur le cloud connecte de manière transparente les personnes, les systèmes et les processus pour permettre aux organisations de trouver des moyens de travailler plus intelligents, plus rapides et meilleurs. Mais ce n'est que le début de notre voyage. Rejoignez-nous alors que nous poursuivons notre objectif de rendre le monde du travail meilleur pour tous.
Ce que vous ferez dans ce rôle
Nous recrutons dans trois domaines. Vous vous concentrerez sur l'un d'eux et toucherez les autres ; lequel est une conversation que nous aurons avec vous, pas une case dans laquelle nous vous placerons.
Orchestration des évaluations à grande échelle
- Le runtime qui exécute les scénarios d'agents multi-tours de bout en bout – mise en place de l'environnement et du simulateur utilisateur, pilotage de la boucle utilisateur↔agent↔monde, collecte des transcriptions, des traces et de l'état final, exécution des validateurs et de la notation, démontage
- Planification, nouvelles tentatives, exécution à haute concurrence et isolation des exécutions à des tailles de jeux de données de production
- Spécifications, jeux de données et rapports versionnés, avec comparaison d'exécution à exécution comme opération de première classe
- Consolidation des évaluations qui s'exécutent aujourd'hui comme des flux de travail ponctuels sur un seul service d'orchestration – une source de vérité, un endroit pour planifier et réessayer
- Établissement d'un seuil de fiabilité et d'un SLO pour le harnais lui-même
- Atteindre l'auto-service, afin que toute équipe puisse exécuter une évaluation sans intégration sur mesure
Observabilité et traçage des agents
- Mener le passage à une observabilité native OpenTelemetry pour la plateforme d'agents, remplaçant les mécanismes parallèles de journalisation, de corrélation et de censure par service actuellement utilisés
- Le modèle de données de span pour les trajectoires d'agents – invites, appels d'outils, mises à jour de plans, résultats – afin qu'une trajectoire soit interrogeable, et non reconstruite à la main à partir de fichiers journaux
- Propagation du contexte de trace à travers les limites asynchrones et les sessions qui restent actives pendant des minutes ou des heures
- Faire en sorte que les invites complètes et les complétions survivent intactes au pipeline, et empêcher le trafic d'évaluation de contaminer ses propres données
- Attribution des défaillances et comparaison entre les exécutions : quel composant a réellement échoué, et qu'est-ce qui a changé depuis la dernière exécution réussie
- Le support de surface de débogage et le harnais utilisés par les ingénieurs, et le contrat de traçage avec l'équipe qui construit l'agent
Simulation stateful
- L'environnement de simulation lui-même : faux stateful des systèmes d'entreprise appelés par les agents – ITSM, RH, bases de connaissances, inventaire – soutenus par une véritable base de données qui persiste les changements pendant une exécution, de sorte qu'un ticket créé soit visible lors d'une lecture ultérieure
- Injection de données par exécution et configuration/démontage programmatique afin que chaque exécution soit hermétique et reproductible
- Simulateurs d'utilisateurs pilotés par LLM pour des personas ouverts, et simulateurs de machines à états scriptés pour des flux déterministes
- Tests de contrat de mocks par rapport aux schémas API réels en CI, afin que la fidélité de la simulation ne puisse pas dériver silencieusement à mesure que les APIs des fournisseurs changent
- Devant nous : environnements sandbox isolés reproduisant la configuration, l'identité, le contenu de recherche et les permissions qu'un agent lit réellement – provisionnés à partir d'une base identique et démontés à chaque exécution
Et dans les trois domaines : poser les bases pour utiliser le signal d'évaluation afin d'optimiser l'agent, pas seulement de le mesurer.
Qualifications
Pour réussir dans ce rôle, vous avez :
Expérience dans au moins 3 des domaines suivants :
- Systèmes distribués : idempotentie, garanties de livraison, isolation et – exceptionnellement central ici – déterminisme et reproductibilité
- Runtimes d'orchestration et de flux de travail : exécution DAG, planification, nouvelles tentatives, rattrapages, systèmes de jobs à haute concurrence (Temporal, Airflow, Argo, ou quelque chose que vous avez construit vous-même)
- Internes d'observabilité en tant que constructeur, pas seulement utilisateur : SDKs OpenTelemetry et collecteurs, conventions sémantiques, propagation du contexte de span, données de trace à haute cardinalité
- Programmation concurrente et asynchrone : Python asyncio, concurrence Go, annulation structurée
- Pipelines intensifs en données : ingestion à haut volume, évolution des schémas, compromis d'échantillonnage et de rétention
- Conception de services et d'interfaces gRPC/protobuf
Requis
- 5+ années de construction de systèmes backend ou d'infrastructure en production
- Solide maîtrise de Python ou de Go (idéalement des deux)
- Expérience dans la conception et l'exploitation de systèmes gérant du trafic réel à grande échelle
- À l'aise pour rendre un système non déterministe mesurable. Vous n'avez pas besoin d'un bagage en ML – mais cela devrait vous intéresser de transformer un comportement d'agent flou en un signal sur lequel les ingénieurs sont prêts à baser les mises en production.
- À l'aise avec l'ambiguïté ; ce sont des problèmes nouveaux sans solutions de manuel.
Pour les postes dans cet emplacement, nous offrons un salaire de base de $161,300-274,200, plus des actions (le cas échéant), une rémunération variable/incitative et des avantages sociaux. Les postes de vente offrent généralement une structure de rémunération incitative compétitive (OTE - On Target Earnings). Veuillez noter que le salaire de base indiqué est une ligne directrice, et la rémunération totale individuelle variera en fonction de facteurs tels que les qualifications, le niveau de compétence, les compétences et le lieu de travail. Nous proposons également des plans de santé, y compris des comptes de dépenses flexibles, un plan 401(k) avec une contrepartie de l'entreprise, un ESPP, des dons correspondants, un plan de temps libre flexible et des programmes de congé familial.
La rémunération est basée sur la situation géographique du poste et est sujette à modification en fonction du lieu de travail.
Informations supplémentaires
Personas de travail
Nous abordons notre monde de travail distribué avec flexibilité et confiance. Les personas de travail (flexibles, à distance ou requis au bureau) sont des catégories attribuées aux employés de ServiceNow en fonction de la nature de leur travail et de leur lieu de travail assigné. En savoir plus ici. Pour déterminer l'éligibilité à un persona de travail, ServiceNow peut confirmer la distance entre votre résidence principale et le bureau ServiceNow le plus proche à l'aide d'un service tiers.
Employeur garantissant l'égalité des chances
ServiceNow est un employeur garantissant l'égalité des chances. Tous les candidats qualifiés recevront une considération pour l'emploi sans distinction de race, de couleur, de credo, de religion, de sexe, d'orientation sexuelle, d'origine nationale ou de nationalité, d'ascendance, d'âge, de handicap, d'identité ou d'expression de genre, d'état civil, de statut d'ancien combattant, ou de toute autre catégorie protégée par la loi. De plus, tous les candidats qualifiés ayant un casier judiciaire seront considérés pour l'emploi conformément aux exigences légales.
Accommodements
Nous nous efforçons de créer une expérience accessible et inclusive pour tous les candidats. Si vous avez besoin d'un accommodement raisonnable pour compléter une partie du processus de candidature, ou si vous êtes incapable d'utiliser cette candidature en ligne et avez besoin d'une méthode alternative pour postuler, veuillez contacter [email protected] pour obtenir de l'aide.
Réglementations sur le contrôle des exportations
Pour les postes nécessitant l'accès à une technologie contrôlée soumise aux réglementations sur le contrôle des exportations, y compris le règlement américain sur l'administration des exportations (EAR), ServiceNow peut être tenu d'obtenir l'approbation du contrôle des exportations des autorités gouvernementales pour certaines personnes. Tout emploi est conditionné à l'obtention par ServiceNow de toute licence d'exportation ou autre approbation qui pourrait être requise par les autorités compétentes en matière de contrôle des exportations.
Extrait de Fortune. ©2025 Fortune Media IP Limited. Tous droits réservés. Utilisé sous licence.
Type d'employé : Régulier
Région : AMS - Amérique du Nord et Canada
Persona de travail : Requis au bureau
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil