Aller au contenu

Abacus Insights

Ingénieur Qualité Systèmes IA Senior

TypeScriptPythonAWSGo
Traduction automatique. Consultez l’original.

À propos de nous

Abacus Insights transforme la manière dont les données et l'IA fonctionnent pour les régimes d'assurance maladie. Notre mission est simple : rendre les données de santé utilisables, afin que les personnes responsables des décisions relatives aux soins et aux coûts puissent agir plus rapidement, en toute confiance.

En tant que plateforme d'IA et de données pour l'intelligence des assureurs, nous aidons les régimes d'assurance maladie à démanteler les silos de données pour créer une base de données unique et fiable. Cette base permet de prendre de meilleures décisions, afin que les régimes puissent améliorer les résultats, réduire le gaspillage et offrir de meilleures expériences aux membres et aux prestataires. Soutenus par 100 millions de dollars de financement de la part des meilleurs investisseurs, nous relevons de grands défis dans un secteur prêt au changement. Notre plateforme permet des cas d'utilisation GenAI en fournissant des données de santé propres, connectées et fiables pour soutenir l'automatisation, la priorisation et les flux de travail décisionnels, et c'est pourquoi nous sommes à la pointe.

Notre innovation commence par les personnes. Nous sommes audacieux, curieux et collaboratifs, car les meilleures idées viennent du travail d'équipe. Nous adoptons l'utilisation réfléchie de l'IA et de l'automatisation pour stimuler l'innovation et l'efficacité, et nous recherchons des personnes curieuses et adaptables, enthousiastes à l'idée d'exploiter les technologies émergentes pour améliorer notre façon de travailler, tout en gardant l'intuition humaine, la connexion et nos clients au centre de chaque décision.

Prêt à avoir un impact ? Rejoignez-nous et construisons l'avenir ensemble.

À propos du poste

Chez Abacus Insights, nous construisons des plateformes basées sur l'IA qui sont au cœur des décisions critiques en matière de santé, où la fiabilité, l'exactitude et la confiance sont aussi importantes que l'innovation. Alors que notre utilisation des systèmes autonomes pilotés par LLM s'intensifie, garantir que ces systèmes se comportent de manière sûre et prévisible dans des environnements réels n'est pas une option, c'est fondamental.

L'Ingénieur Qualité Systèmes IA Senior joue un rôle essentiel pour rendre nos systèmes d'IA prêts pour la production, opérationnels et fiables. Ce n'est pas un rôle QA traditionnel. Au lieu de cela, vous aiderez à définir comment la qualité est intégrée dans les systèmes autonomes dès le début, en intégrant des garde-fous, des signaux d'évaluation et un comportement de défaillance sécurisé directement dans la manière dont ces systèmes sont conçus, construits et déployés. Dans ce rôle, vous aiderez également à concevoir et à posséder une plateforme de test d'IA qui fonctionne nativement au sein de notre architecture Databricks Medallion, en tirant parti d'outils tels que MLflow pour permettre l'évaluation, la lignée, la traçabilité et l'auditabilité à grande échelle. Il s'agit d'un rôle axé sur la plateforme, axé sur l'établissement de pratiques de qualité répétables et évolutives plutôt que sur la validation ponctuelle.

Si vous pensez que la qualité est une discipline d'ingénierie fondamentale, et non un point de contrôle en aval, ce rôle vous donne l'opportunité de façonner la manière dont l'IA autonome fiable, gouvernée et évolutive est construite à partir de zéro.

Vous travaillerez en étroite collaboration avec les ingénieurs IA, les équipes de plateforme et les parties prenantes de la livraison pour concevoir des cadres d'évaluation personnalisés, des pipelines de validation et des outils de test automatisés qui reflètent le comportement des systèmes autonomes en production. Vous vous concentrerez sur la validation de la logique d'orchestration, la gestion du comportement non déterministe et la garantie que les systèmes d'IA se dégradent en toute sécurité en cas d'incertitude, de mise à l'échelle et de défaillance.

Ce rôle est axé sur l'automatisation par conception. Vous construirez des tests automatisés de bout en bout pour l'IA, intégrés au cycle de développement, où la validation est continuellement appliquée, et non examinée manuellement après coup. Votre travail influencera directement la préparation des versions, la confiance opérationnelle et la capacité d'Abacus à déployer de manière responsable l'IA avancée dans des environnements de soins de santé critiques.

Vos tâches quotidiennes *

  1. Construire et déployer des cadres de validation, des outils de test et des pipelines d'évaluation de qualité production, automatisés, tout au long du cycle de vie de l'IA (conception → déploiement).
  1. Concevoir et faire évoluer une plateforme de test d'IA intégrée à Databricks et MLflow, permettant des tests répétables, la traçabilité et l'auditabilité.
  1. Créer des suites de tests à grande échelle basées sur des scénarios (des centaines à des milliers de cas) pour valider les flux de travail autonomes de bout en bout, y compris les cas limites, les scénarios de longue traîne et les modes de défaillance.
  1. Valider le comportement d'orchestration (utilisation des outils, mémoire, logique de décision) et tester de manière intensive le comportement non déterministe du système avant la production.
  1. Intégrer la qualité dès la conception : définir les contrats système, les garde-fous et les modèles de dégradation sécurisée aux frontières clés.
  1. Définir des signaux de qualité mesurables pour les systèmes LLM (ancrage, hallucinations, pertinence, latence, coût) et les intégrer dans les pipelines CI/CD en tant que portes de qualité automatisées.
  1. Garantir que la validation de l'IA s'exécute automatiquement lors des changements de modèle, de prompt et de code, permettant une application continue de la qualité.
  1. Construire des bibliothèques et des composants réutilisables afin que les équipes puissent adopter rapidement des pratiques de qualité IA cohérentes.
  1. Prendre en charge des aspects de la préparation des versions IA, y compris la définition des critères de réussite/échec basés sur des seuils de qualité mesurables.
  1. Collaborer avec les équipes IA, plateforme, sécurité et livraison pour traduire les besoins de la mission en critères de qualité clairs, compromis et niveaux de confiance.

Prérequis

Ce que vous apportez à l'équipe *

  1. +7 ans d'expérience en ingénierie logicielle, principalement dans les systèmes backend ou de plateforme.
  1. Expérience avérée dans la conception et la mise en œuvre de l'automatisation des tests IA dans des environnements de production, pas seulement dans l'exécution de tests.
  1. Capacité démontrée à construire des cadres de validation, d'évaluation ou de test personnalisés pour des systèmes complexes et distribués.
  1. Solide maîtrise de Python et/ou TypeScript au sein des piles d'ingénierie IA modernes.
  1. Expérience pratique avec les systèmes basés sur l'IA, y compris les flux de travail basés sur LLM ou autonomes et le comportement non déterministe.
  1. Expérience dans la conception ou la contribution aux tests d'IA à grande échelle, y compris les cadres de régression, l'évaluation de la longue traîne et une large couverture de tests.
  1. Compréhension approfondie de l'intégration CI/CD, y compris l'intégration de tests automatisés et de portes de qualité dans les pipelines de déploiement.
  1. Solide compréhension des architectures natives du cloud AWS.
  1. Expérience avérée dans l'ingénierie pour la qualité, la fiabilité, la gouvernance et la sécurité en tant que principes fondamentaux de conception de système.
  1. Connaissance pratique de la sécurité, de la confidentialité et des risques opérationnels dans des environnements réglementés ou critiques, y compris les modes de défaillance et la récupération.
  1. Expérience des méthodologies de test d'IA, y compris l'évaluation des sorties non déterministes, la détection de dérive, les tests de biais/équité et les stratégies de régression robustes.
  1. Capacité avérée à établir des seuils de confiance mesurables pour les systèmes d'IA, y compris la définition et l'opérationnalisation de métriques de succès telles que la précision des requêtes, les limites d'hallucination, l'explicabilité et le comportement sécurisé pour les PHI en tant que critères de publication exécutoires.
  1. Expérience de travail avec des experts du domaine pour définir la correction et les scénarios de validation du monde réel, permettant une couverture de test à grande échelle et pertinente pour les entreprises qui reflète les cas d'utilisation réels de production plutôt que des perspectives d'ingénierie uniquement.

Ce que nous aimerions voir, mais pas obligatoire *

  1. Expérience avec les environnements natifs Databricks et l'architecture Medallion.
  1. Expérience d'utilisation de MLflow pour l'évaluation des modèles, le suivi de lignée et l'auditabilité.
  1. Exposition aux outils d'observabilité (par exemple, Datadog, Prometheus, Grafana) pour les flux de travail IA distribués.
  1. Familiarité avec les techniques d'évaluation LLM, les garde-fous et les cadres d'application des politiques.
  1. Expérience dans l'évaluation des régressions de performance, de latence ou de coût dans les systèmes d'IA.
  1. Capacité à documenter clairement le comportement du système et les compromis de qualité pour les publics techniques et commerciaux.
  1. Formation formelle ou certification en systèmes IA/ML (par exemple, ISTQB AI Testing, AWS ML Specialty, Google ML Engineer).
  1. Expérience dans la conception et l'itération sur les prompts, les comportements des agents et la logique d'orchestration en tant qu'artefacts versionnés et testables, permettant un raffinement rapide du comportement du système IA (souvent appelé « vibe coding ») sans dépendance excessive aux changements de code traditionnels.
  1. Familiarité avec l'utilisation de systèmes d'IA pour générer et développer des scénarios de test, y compris la création de jeux de données de test à grande échelle, diversifiés et contradictoires pour améliorer considérablement la couverture et la profondeur de validation.

Notre engagement en tant qu'employeur garantissant l'égalité des chances

Rémunération : La rémunération pour ce poste est basée sur l'expérience, les compétences et la localisation, et comprend un salaire de base plus l'éligibilité aux primes de performance et aux attributions d'actions.

En tant qu'entreprise technologique axée sur sa mission et contribuant à améliorer les résultats des soins de santé, Abacus Insights estime que la meilleure innovation et la meilleure valeur que nous puissions apporter à nos clients proviennent de la diversité des idées, des pensées, des expériences et des perspectives.

Par conséquent, nous consacrons des ressources à la constitution d'équipes diversifiées et offrons des opportunités d'emploi égales à tous les candidats. Abacus interdit la discrimination et le harcèlement concernant la race, la couleur, la religion, l'âge, le sexe, l'origine nationale, le statut d'handicap, la génétique, le statut d'ancien combattant protégé, l'orientation sexuelle, l'identité ou l'expression de genre, ou toute autre caractéristique protégée par les lois fédérales, étatiques ou locales.

Au cœur de qui nous sommes se trouve un engagement à construire continuellement et intentionnellement une culture inclusive, une culture qui permet à chaque membre de l'équipe du monde entier de faire son meilleur travail et d'être authentique. Nous portons le même engagement dans notre processus d'embauche, visant à créer une expérience d'entretien où vous vous sentez à l'aise et confiant pour mettre en valeur vos forces. S'il y a quoi que ce soit que nous puissions faire pour soutenir cela, grand ou petit, veuillez nous le faire savoir.

Utilisation de l'IA dans le recrutement

Nous utilisons des outils basés sur l'IA tout au long de notre processus de recrutement. Cela inclut la technologie Real Talent Matching de Greenhouse, qui aide à prioriser les candidatures en fonction de critères liés au poste, ainsi que des outils d'IA supplémentaires utilisés pour soutenir le sourcing, la préparation des entretiens et d'autres tâches de recrutement. Nous ne supprimons pas l'élément humain : nos recruteurs et nos équipes d'embauche examinent toutes les candidatures et prennent toutes les décisions relatives à la progression et à l'embauche des candidats, quels que soient les outils utilisés pour soutenir ce processus.

Vérification de l'identité et de la localisation

Pour protéger l'intégrité de notre processus d'embauche, tous les entretiens sont menés par vidéo en direct avec votre caméra allumée. Les arrière-plans virtuels ou flous et les casques ne sont pas autorisés sans une accommodation approuvée, et vous devez être dans un espace privé et bien éclairé où votre visage et votre environnement sont clairement visibles.

Les candidats qui progressent peuvent également être invités à effectuer une vérification d'identité et de localisation, qui peut inclure la vérification de votre identité, de votre historique professionnel et la confirmation que vous êtes bien situé là où votre candidature l'indique.

Les candidatures contenant des informations sciemment fausses ou matériellement inexactes, y compris l'identité, la localisation ou les qualifications, peuvent être disqualifiées, et toute offre peut être retirée si une inexactitude matérielle est découverte à tout moment du processus.

Si vous avez besoin d'une accommodation pour une partie du processus d'entretien, veuillez en informer votre recruteur à l'avance.

En postulant, vous reconnaissez que nous collecterons et traiterons vos informations personnelles à des fins de recrutement conformément aux lois applicables en matière de protection des données, y compris pour les étapes de vérification décrites ci-dessus. Veuillez consulter notre Avis de confidentialité des candidats nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fabacusinsights.com%2Fapplicant-privacy-policy%2F&data=05%7C02%7Cheidi.weinstein%40abacusinsights.com%7C7d44e83a2b7f4081beae08df23b25d49%7C0819ed188d9747bb930bec1982f9aa76%7C0%7C0%7C639268921130656820%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C4000%7C%7C%7C&sdata=d%2BoHUdDyVi5syk0k8eO7f73azMYj8kBhPCDKTMK%2Fcvo%3D&reserved=0 pour plus d'informations, y compris vos droits.

Ce que vous obtiendrez en retour : *

  • Congés payés illimités – rechargez vos batteries quand vous en avez besoin
  • Travaillez de n'importe où – flexibilité pour s'adapter à votre vie
  • Couverture santé complète – plusieurs options de plans parmi lesquelles choisir
  • Actions pour chaque employé – partagez notre succès
  • Environnement axé sur la croissance – votre développement compte ici
  • Allocation pour l'installation d'un bureau à domicile – soutien unique pour vous lancer
  • Allocation mensuelle pour téléphone portable – restez connecté en toute simplicité

Plus d’opportunités avec un seul profil

Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.

Créer mon profil

Vagas Dev est maintenu gratuitement par l’équipe NortJobs.

Votre prochain emploiest peut-être sur NortJobs.

Vagas Dev

Des emplois pour développeurs et programmeurs. Le Brésil en priorité. Votre prochaine opportunité.

NortJobs · soutien du projetInstagramLinkedInTwitter
Mentions légalesÀ propos du projetConfidentialitéVagas Dev © 2026