Directeur, Évaluation et Assurance Qualité, Projets Spéciaux Services

Nous recherchons un Directeur pour mettre en place et diriger la fonction d'évaluation et d'assurance qualité pour l'une de nos initiatives d'ingénierie pluriannuelles les plus ambitieuses. Il s'agit d'un véritable rôle de premier plan, de 0 à 1 : il n'y a aucune équipe, aucun outil ni aucun processus existant à reprendre. Vous définirez la manière dont nous mesurons la qualité sur l'ensemble d'un produit de bout en bout, vous construirez l'infrastructure d'automatisation et d'évaluation nécessaire pour le faire à grande échelle (ou vous vous appuierez sur l'infrastructure d'autres équipes), et vous bâtirez et dirigerez l'organisation qui en aura la charge.

Vous serez responsable de l'évaluation et de l'assurance qualité pour chaque couche du produit — qu'il s'agisse de savoir si le système est correctement déclenché pour le bon ensemble de requêtes utilisateur, s'il affiche et classe les bons résultats, ou si les transactions sous-jacentes s'exécutent correctement, y compris les intégrations avec des APIs de partenaires externes et des systèmes financiers. La qualité ici n'est pas une suite de tests unique — elle englobe la compréhension conversationnelle, la pertinence et le classement, ainsi que la correction des transactions génératrices de revenus, le tout par rapport à un ensemble de données du monde réel vaste et en constante évolution. Vous créerez et piloterez la stratégie et la mise en œuvre de l'évaluation et de la qualité pour le produit. Cela utilisera largement des systèmes de notation automatisés et des programmes d'évaluation humaine lorsque cela sera approprié. Vous prendrez les décisions quant aux domaines où investir dans chacun. Vous définirez ce que signifient « correct » et « bon » pour ce produit, intégrerez cette définition dans des pipelines d'évaluation continus, toujours actifs, avec des portes de qualité claires de réussite/échec liées aux versions, et construirez l'équipe, les outils et le rythme opérationnel pour détecter les problèmes avant qu'ils n'atteignent les utilisateurs. En tant que premier recrutement dans ce domaine, vous opérerez avec une latitude et une ambiguïté importantes — définissant la stratégie, le processus et la direction technique avec un minimum d'échafaudage existant, tout en construisant et en développant une organisation. Vous collaborerez étroitement avec la direction de l'ingénierie, du ML appliqué et de la gestion de programme, y compris les parties prenantes exécutives seniors, et vous serez une voix clé dans la définition de ce que signifient « terminé » et « livrable » pour un produit encore en cours de formation, ainsi que dans l'itération sur les points de décision en production après la sortie du produit.