Estados Unidos
B&A
Abacus Insights
Engenheiro(a) de Qualidade Sênior de Sistemas de IA
Estados Unidos
Boston, Massachusetts, Estados Unidos
TypeScriptPythonAWSGo
Tradução automática. Consulte o original.
Sobre Nós
Abacus Insights está transformando a forma como dados e IA funcionam para planos de saúde. Nossa missão é simples: tornar os dados de saúde utilizáveis, para que as pessoas responsáveis pelas decisões de cuidados e custos possam agir mais rapidamente, com confiança.
Como Plataforma de IA e Dados para Inteligência de Seguradoras, ajudamos planos de saúde a quebrar silos de dados para criar uma base de dados única e confiável. Essa base impulsiona melhores decisões — para que os planos possam melhorar resultados, reduzir desperdícios e oferecer melhores experiências para membros e provedores. Apoiados por US$ 100 milhões de investidores de ponta, estamos enfrentando grandes desafios em um setor que está pronto para mudanças. Nossa plataforma permite casos de uso de GenAI ao entregar dados de saúde limpos, conectados e confiáveis para apoiar fluxos de trabalho de automação, priorização e tomada de decisão — e é por isso que estamos liderando o caminho.
Nossa inovação começa com as pessoas. Somos ousados, curiosos e colaborativos — porque as melhores ideias vêm do trabalho em conjunto. Abraçamos o uso ponderado de IA e automação para impulsionar inovação e eficiência, e procuramos indivíduos curiosos e adaptáveis — aqueles entusiasmados em alavancar tecnologias emergentes para aprimorar como trabalhamos — mantendo o insight humano, a conexão e nossos clientes no centro de cada decisão.
Pronto para fazer a diferença? Junte-se a nós e vamos construir o futuro juntos.
Sobre a Vaga
Na Abacus Insights, estamos construindo plataformas com IA que ficam no centro de decisões críticas de saúde — onde confiabilidade, correção e confiança importam tanto quanto inovação. À medida que nosso uso de sistemas agênticos, impulsionados por LLM, escala, garantir que esses sistemas se comportem de forma segura e previsível em ambientes do mundo real não é opcional — é fundamental.
O(A) Engenheiro(a) de Qualidade Sênior de Sistemas de IA desempenha um papel crítico em tornar nossos sistemas de IA prontos para produção, operacionais e confiáveis. Este não é um papel tradicional de QA. Em vez disso, você ajudará a definir como a qualidade é projetada em sistemas agênticos desde o início — incorporando salvaguardas, sinais de avaliação e comportamento de falha segura diretamente em como esses sistemas são projetados, construídos e implantados. Nesta função, você também ajudará a projetar e possuir uma plataforma de teste de IA que opera nativamente dentro de nossa arquitetura Medallion Databricks — alavancando ferramentas como MLflow para permitir avaliação, linhagem, rastreabilidade e auditabilidade em escala. Este é um papel orientado a plataforma, focado em estabelecer práticas de qualidade repetíveis e escaláveis, em vez de validação em ponto no tempo.
Se você acredita que qualidade é uma disciplina de engenharia central — não um ponto de verificação downstream — esta função oferece a oportunidade de moldar como IA agêntica confiável, governada e escalável é construída do zero.
Você fará parceria próxima com Engenheiros de IA, equipes de plataforma e stakeholders de entrega para projetar frameworks de avaliação personalizados, pipelines de validação e harnesses de teste automatizados que refletem como os sistemas agênticos se comportam em produção. Você se concentrará em validar a lógica de orquestração, gerenciar comportamento não determinístico e garantir que os sistemas de IA degradem com segurança sob incerteza, escala e falha.
Este papel é automação-primeiro por design. Você construirá testes automatizados de ponta a ponta de IA integrados ao ciclo de vida de desenvolvimento, onde a validação é continuamente aplicada — não revisada manualmente após o fato. Seu trabalho influenciará diretamente a prontidão de lançamento, a confiança operacional e a capacidade da Abacus de implantar IA avançada de forma responsável em ambientes de saúde de missão crítica.
Seu dia a dia *
- Construir e entregar frameworks de validação automatizados de nível de produção, harnesses de teste e pipelines de avaliação em todo o ciclo de vida da IA (design → deploy). *
- Projetar e evoluir uma plataforma de teste de IA integrada com Databricks e MLflow, permitindo testes repetíveis, rastreabilidade e auditabilidade. *
- Criar suítes de teste em larga escala baseadas em cenários (centenas a milhares de casos) para validar fluxos de trabalho agênticos de ponta a ponta, incluindo casos de borda, cenários de cauda longa e modos de falha. *
- Validar o comportamento de orquestração (uso de ferramentas, memória, lógica de decisão) e testar o comportamento não determinístico do sistema sob estresse antes da produção. *
- Incorporar qualidade por design: definir contratos de sistema, salvaguardas e padrões de degradação segura em limites chave. *
- Definir sinais de qualidade mensuráveis para sistemas LLM (grounding, alucinações, relevância, latência, custo) e integrá-los em pipelines de CI/CD como portões de qualidade automatizados. *
- Garantir que a validação de IA seja executada automaticamente em mudanças de modelo, prompt e código — permitindo a aplicação contínua de qualidade. *
- Construir bibliotecas e componentes reutilizáveis para que as equipes possam adotar práticas consistentes de qualidade de IA rapidamente. *
- Possuir aspectos da prontidão de lançamento de IA, incluindo a definição de critérios de go/no-go com base em limiares de qualidade mensuráveis. *
- Fazer parceria com equipes de IA, plataforma, segurança e entrega para traduzir necessidades da missão em critérios de qualidade claros, trade-offs e níveis de confiança.
Requisitos mínimos
O que você traz para a equipe *
- 7+ anos de experiência em engenharia de software, principalmente em sistemas backend ou de plataforma.
- Experiência comprovada em projetar e implementar automação de testes de IA em ambientes de produção, não apenas em executar testes. *
- Capacidade demonstrada de construir frameworks personalizados de validação, avaliação ou teste para sistemas complexos e distribuídos. *
- Forte proficiência em Python e/ou TypeScript dentro de pilhas modernas de engenharia de IA. *
- Experiência prática com sistemas baseados em IA, incluindo fluxos de trabalho baseados em LLM ou agênticos e comportamento não determinístico. *
- Experiência em projetar ou contribuir para testes de IA em escala, incluindo frameworks de regressão, avaliação de cauda longa e cobertura de teste em larga escala. *
- Profundo entendimento da integração de CI/CD, incluindo a incorporação de testes automatizados e portões de qualidade em pipelines de implantação. *
- Sólido entendimento de arquiteturas nativas da nuvem AWS. *
- Histórico de engenharia para qualidade, confiabilidade, governança e segurança como princípios de design de sistema centrais. *
- Conhecimento prático de segurança, privacidade e risco operacional em ambientes regulamentados ou de missão crítica, incluindo modos de falha e recuperação. *
- Experiência com metodologias de teste de IA, incluindo avaliação de saídas não determinísticas, detecção de drift, teste de viés/justiça e estratégias de regressão robustas. *
- Capacidade comprovada de estabelecer limiares de confiança mensuráveis para sistemas de IA, incluindo a definição e operacionalização de métricas de sucesso como precisão de consulta, limites de alucinação, explicabilidade e comportamento seguro de PHI como critérios de lançamento aplicáveis. *
- Experiência trabalhando com especialistas de domínio para definir cenários de correção e validação do mundo real, permitindo cobertura de teste em larga escala e relevante para negócios que reflete casos de uso de produção reais, em vez de perspectivas apenas de engenharia.
O que gostaríamos de ver, mas não é obrigatório *
- Experiência com ambientes nativos Databricks e arquitetura Medallion. *
- Experiência usando MLflow para avaliação de modelos, rastreamento de linhagem e auditabilidade. *
- Exposição a ferramentas de observabilidade (por exemplo, Datadog, Prometheus, Grafana) para fluxos de trabalho de IA distribuídos. *
- Familiaridade com técnicas de avaliação de LLM, salvaguardas e frameworks de aplicação de políticas. *
- Experiência avaliando regressões de desempenho, latência ou custo em sistemas de IA. *
- Capacidade de documentar claramente o comportamento do sistema e os trade-offs de qualidade para públicos técnicos e de negócios. *
- Treinamento formal ou certificação em sistemas de IA/ML (por exemplo, ISTQB AI Testing, Especialidade ML AWS, Engenheiro de ML do Google). *
- Experiência em projetar e iterar em prompts, comportamentos de agente e lógica de orquestração como artefatos versionados e testáveis, permitindo o refinamento rápido do comportamento do sistema de IA (frequentemente referido como “vibe coding”) sem forte dependência de mudanças de código tradicionais. *
- Familiaridade com o uso de sistemas de IA para gerar e expandir cenários de teste, incluindo a criação de conjuntos de dados de teste em larga escala, diversos e adversariais para melhorar significativamente a cobertura e a profundidade de validação.
Nosso Compromisso como Empregador que Oferece Igualdade de Oportunidades
Remuneração: A remuneração para esta função é baseada na experiência, habilidades e localização, e inclui salário base mais elegibilidade para bônus de desempenho e concessões de ações.
Como uma empresa de tecnologia orientada por missão que ajuda a impulsionar melhores resultados de saúde, a Abacus Insights acredita que a melhor inovação e valor que podemos trazer aos nossos clientes vêm de diversas ideias, pensamentos, experiências e perspectivas.
Portanto, dedicamos recursos para construir equipes diversas e oferecer oportunidades iguais de emprego a todos os candidatos. A Abacus proíbe discriminação e assédio em relação a raça, cor, religião, idade, sexo, origem nacional, status de deficiência, genética, status de veterano protegido, orientação sexual, identidade ou expressão de gênero, ou qualquer outra característica protegida por leis federais, estaduais ou locais.
No cerne do que somos está o compromisso de construir continuamente e intencionalmente uma cultura inclusiva — uma que capacita cada membro da equipe em todo o mundo a fazer seu melhor trabalho e ser autêntico. Levamos esse mesmo compromisso para nosso processo de contratação, visando criar uma experiência de entrevista onde você se sinta confortável e confiante para mostrar seus pontos fortes. Se houver algo que possamos fazer para apoiar isso — grande ou pequeno — por favor, nos avise.
Uso de IA no Recrutamento
Usamos ferramentas baseadas em IA em todo o nosso processo de recrutamento. Isso inclui a Tecnologia Real Talent Matching da Greenhouse, que ajuda a priorizar candidaturas com base em critérios relacionados ao trabalho, bem como ferramentas de IA adicionais usadas para apoiar sourcing, preparação de entrevistas e outras tarefas de recrutamento. Não removemos o elemento humano — nossos recrutadores e equipes de contratação revisam todas as candidaturas e tomam todas as decisões relacionadas à progressão e contratação de candidatos, independentemente das ferramentas usadas para apoiar esse processo.
Verificação de Identidade e Localização
Para proteger a integridade do nosso processo de contratação, todas as entrevistas são conduzidas por vídeo ao vivo com sua câmera ligada. Fundos virtuais ou desfocados e headsets não são permitidos, a menos que haja uma acomodação aprovada, e você deve estar em um espaço bem iluminado e privado onde seu rosto e arredores sejam claramente visíveis.
Candidatos que avançarem também podem ser solicitados a completar a verificação de identidade e localização, que pode incluir verificar sua identidade, histórico de trabalho e confirmar que você está localizado onde sua candidatura indica.
Candidaturas contendo informações conscientemente falsas ou materialmente deturpadas, incluindo identidade, localização ou credenciais, podem ser desqualificadas, e qualquer oferta pode ser rescindida se uma deturpação material for descoberta em qualquer ponto do processo.
Se você precisar de uma acomodação para qualquer parte do processo de entrevista, por favor, informe seu recrutador com antecedência.
Ao se candidatar, você reconhece que coletaremos e processaremos suas informações pessoais para fins de recrutamento, de acordo com as leis de proteção de dados aplicáveis, incluindo para as etapas de verificação descritas acima. Por favor, revise nosso Aviso de Privacidade do Candidato nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fabacusinsights.com%2Fapplicant-privacy-policy%2F&data=05%7C02%7Cheidi.weinstein%40abacusinsights.com%7C7d44e83a2b7f4081beae08df23b25d49%7C0819ed188d9747bb930bec1982f9aa76%7C0%7C0%7C639268921130656820%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C4000%7C%7C%7C&sdata=d%2BoHUdDyVi5syk0k8eO7f73azMYj8kBhPCDKTMK%2Fcvo%3D&reserved=0 para mais informações, incluindo seus direitos.
O que você receberá em troca: *
- Licença remunerada ilimitada — recarregue quando precisar *
- Trabalhe de qualquer lugar — flexibilidade para se adequar à sua vida *
- Cobertura de saúde abrangente — múltiplas opções de planos para escolher *
- Ações para todos os funcionários — compartilhe nosso sucesso *
- Ambiente focado em crescimento — seu desenvolvimento importa aqui *
- Subsídio para configuração de home office — suporte único para começar *
- Subsídio mensal para celular — mantenha-se conectado com facilidade
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil