Estados Unidos
CONCEPT SOLUTIONS LLC
ServiceNow
Engenheiro(a) de Software Sênior, Plataforma de Avaliação de Agentes
Estados Unidos
Mountain View, California, Estados Unidos
PythonGo
Tradução automática. Consulte o original.
Sobre a Empresa
Quem somos
Moveworks: o Assistente de IA Agente que capacita toda a força de trabalho. Nossa plataforma permite que os funcionários conversem com todos os seus sistemas de negócios por meio de linguagem natural para encontrar rapidamente respostas e automatizar tarefas. Impulsionados pelos LLMs mais avançados do mundo, nossos modelos proprietários e uma sofisticada plataforma de IA Agente, estamos transformando a forma como o trabalho é feito, permitindo que a IA tome a iniciativa, otimize fluxos de trabalho complexos e aprenda e se adapte continuamente.
Moveworks é confiável por mais de 5.5 milhão de funcionários em mais de 350 das maiores empresas do mundo, incluindo 10% das empresas da Fortune 500, para automatizar tarefas diárias e otimizar operações de negócios. Reconhecida nas listas Forbes Cloud 100 e AI 50, Moveworks também foi nomeada uma das 2025 Empresas Mais Inovadoras da Fast Company e Best in Business da Inc., na categoria Best in Innovation. Moveworks também foi reconhecida como Parceira do Ano da Microsoft em 2025 e em 2024, recebeu o AI Breakthrough Award.
Em dezembro de 2025, Moveworks foi adquirida pela ServiceNow, marcando um marco fundamental em nossa jornada para criar uma única porta de entrada para o trabalho para todos os sistemas de negócios. Ao combinar a automação de fluxo de trabalho líder da ServiceNow com o Reasoning Engine e as capacidades de linguagem natural da Moveworks, entregamos a plataforma de IA para cada pessoa e cada fluxo de trabalho. Construída para ir além de resumos básicos para entregar impacto comercial significativo. Juntos, nossa IA atua em sistemas corporativos para transformar conversas em trabalho concluído.
Ao ingressar em nossa equipe, você estará na vanguarda da transformação da IA, apoiado pela escala global da ServiceNow e pela agilidade de uma empresa de alto crescimento. Estamos procurando talentos de classe mundial para nos ajudar a estender a IA agente para todos os funcionários em todos os cantos do negócio. Venha se juntar a nós!
Descrição da Vaga
A Função
Os agentes de IA da Moveworks não apenas geram texto — eles agem. Eles planejam, chamam ferramentas e alteram o estado real em sistemas corporativos em nome de 5.5 milhão de funcionários. Isso torna o problema central de nossa equipe um problema de medição incomumente difícil: como você pontua o que um agente fez — através de uma trajetória de várias etapas em um mundo que ele alterou — com precisão suficiente para que a pontuação o ensine a fazer melhor?
Esse sinal é o que esta função possui. Você construirá a camada de julgamento de nossa plataforma de avaliação de agentes: as rubricas, os juízes, a calibração com rótulos humanos, a metodologia que faz uma pontuação ter significado. E a recompensa é maior do que um boletim — um juiz bom o suficiente para avaliar uma trajetória é um juiz bom o suficiente para treinar contra. O mesmo sinal calibrado que explica por que um agente falhou se torna o sinal de recompensa que o impede de falhar.
Este não é um papel de pré-treinamento, nem um papel de teste. É ML aplicado em um ponto onde a metodologia genuinamente não está definida: LLMs julgando LLMs é um problema de pesquisa aberto, e estamos trabalhando nisso contra agentes que tomam ações reais e irreversíveis em ambientes corporativos com estado e multilocatários.
ServiceNow: tudo começou na ensolarada San Diego, Califórnia, em 2004, quando um engenheiro visionário, Fred Luddy, viu o potencial de transformar a forma como trabalhamos. Avançando para hoje — a ServiceNow se destaca como líder de mercado global, trazendo tecnologia inovadora aprimorada por IA para mais de 8,100 clientes, incluindo 85% das Fortune 500®. Nossa plataforma inteligente baseada em nuvem conecta perfeitamente pessoas, sistemas e processos para capacitar as organizações a encontrar maneiras mais inteligentes, rápidas e melhores de trabalhar. Mas este é apenas o começo de nossa jornada. Junte-se a nós enquanto buscamos nosso propósito de tornar o mundo do trabalho melhor para todos.
O que você fará nesta função
Estamos contratando em três áreas. Você se concentrará em uma e tocará nas outras; qual delas é uma conversa que temos com você, não um espaço onde o colocamos.
Orquestração de avaliação em escala
- O tempo de execução que executa cenários de agentes multissessão de ponta a ponta — configurar o ambiente e o simulador de usuário, conduzir o loop usuário↔agente↔mundo, coletar transcrições, rastros e estado final, executar validadores e pontuação, desmontar
- Agendamento, novas tentativas, execução de alta concorrência e isolamento de execução em tamanhos de conjunto de dados de produção
- Especificações, conjuntos de dados e relatórios versionados, com comparação de execução para execução como uma operação de primeira classe
- Consolidar avaliações que são executadas hoje como fluxos de trabalho pontuais em um único serviço de orquestração — uma fonte de verdade, um lugar para agendar e tentar novamente
- Estabelecer um piso de confiabilidade e um SLO para o próprio harness
- Alcançar o autoatendimento, para que qualquer equipe execute uma avaliação sem integração personalizada
Observabilidade e rastreamento de agentes
- Liderar a mudança para observabilidade nativa OpenTelemetry para a plataforma de agentes, substituindo os mecanismos paralelos de log, correlação e redação por serviço em uso hoje
- O modelo de dados de rastreamento para trajetórias de agentes — prompts, chamadas de ferramentas, atualizações de plano, resultados — para que uma trajetória seja consultável, não reconstruída manualmente a partir de arquivos de log
- Propagação de contexto de rastreamento entre limites assíncronos e sessões que permanecem ativas por minutos ou horas
- Fazer com que prompts e conclusões completos sobrevivam ao pipeline intactos e impedir que o tráfego de avaliação contamine seus próprios dados
- Atribuição de falhas e diferenciação entre execuções: qual componente realmente quebrou e o que mudou desde a última execução bem-sucedida
- O suporte de superfície de depuração e os engenheiros de harness usam, e o contrato de rastreamento com a equipe que constrói o agente
Simulação com estado
- O próprio ambiente de simulação: falsificações com estado dos sistemas corporativos que os agentes chamam — ITSM, RH, bases de conhecimento, inventário — apoiadas por um banco de dados real que persiste alterações durante uma execução, para que um ticket criado seja visível para uma leitura posterior
- Injeção de dados por execução e configuração/desmontagem programática para que cada execução seja hermética e repetível
- Simuladores de usuário baseados em LLM para personas abertas e simuladores de máquina de estado scriptados para fluxos determinísticos
- Testes de contrato de mocks contra esquemas de API reais em CI, para que a fidelidade da simulação não possa se desviar silenciosamente à medida que as APIs do fornecedor mudam
- À nossa frente: ambientes de sandbox isolados reproduzindo a configuração, identidade, conteúdo de pesquisa e permissões que um agente realmente lê — provisionados a partir de uma linha de base idêntica e desmontados a cada execução
Em todas as três áreas: lançar as bases para usar o sinal de avaliação para otimizar o agente, não apenas medi-lo.
Qualificações
Para ter sucesso nesta função, você precisa ter:
Experiência em pelo menos 3 destes:
- Sistemas distribuídos: idempotência, garantias de entrega, isolamento e — incomumente central aqui — determinismo e reprodutibilidade
- Orquestração e tempos de execução de fluxo de trabalho: execução de DAG, agendamento, novas tentativas, backfills, sistemas de jobs de alta concorrência (Temporal, Airflow, Argo ou algo que você mesmo construiu)
- Internos de observabilidade como construtor, não apenas como usuário: SDKs OpenTelemetry e coletores, convenções semânticas, propagação de contexto de span, dados de rastreamento de alta cardinalidade
- Programação concorrente e assíncrona: Python asyncio, concorrência Go, cancelamento estruturado
- Pipelines intensivos em dados: ingestão de alto volume, evolução de esquema, trade-offs de amostragem e retenção
- Design de serviço e interface gRPC/protobuf
Obrigatório
- 5+ anos construindo sistemas de backend ou infraestrutura de produção
- Forte em Python ou Go (idealmente ambos)
- Experiência em projetar e operar sistemas que lidam com tráfego real em escala
- Confortável em tornar um sistema não determinístico mensurável. Você não precisa de um background em ML — mas deve achar interessante transformar o comportamento difuso do agente em um sinal que os engenheiros estão dispostos a usar para liberar lançamentos
- Confortável com ambiguidade; estes são problemas novos sem soluções de livro-texto
Para posições nesta localidade, oferecemos um salário base de $161,300-274,200, mais ações (quando aplicável), remuneração variável/incentivo e benefícios. Posições de vendas geralmente oferecem uma estrutura de remuneração de incentivo competitiva On Target Earnings (OTE). Por favor, note que o salário base mostrado é uma diretriz, e a remuneração total individual variará com base em fatores como qualificações, nível de habilidade, competências e local de trabalho. Também oferecemos planos de saúde, incluindo contas de gastos flexíveis, um plano 401(k) com contrapartida da empresa, ESPP, doações correspondentes, um plano flexível de tempo livre e programas de licença familiar.
A remuneração é baseada na localização geográfica em que a função está localizada e está sujeita a alterações com base no local de trabalho.
Informações Adicionais
Personas de Trabalho
Abordamos nosso mundo de trabalho distribuído com flexibilidade e confiança. Personas de trabalho (flexível, remoto ou exigido no escritório) são categorias que são atribuídas aos funcionários da ServiceNow dependendo da natureza de seu trabalho e de seu local de trabalho atribuído. Saiba mais aqui. Para determinar a elegibilidade para uma persona de trabalho, a ServiceNow pode confirmar a distância entre sua residência principal e o escritório ServiceNow mais próximo usando um serviço de terceiros.
Empregador com Igualdade de Oportunidades
ServiceNow é um empregador com igualdade de oportunidades. Todos os candidatos qualificados receberão consideração para emprego sem distinção de raça, cor, credo, religião, sexo, orientação sexual, origem nacional ou nacionalidade, ancestralidade, idade, deficiência, identidade ou expressão de gênero, estado civil, status de veterano ou qualquer outra categoria protegida por lei. Além disso, todos os candidatos qualificados com registros de prisão ou condenação serão considerados para emprego de acordo com os requisitos legais.
Acomodações
Nós nos esforçamos para criar uma experiência acessível e inclusiva para todos os candidatos. Se você precisar de uma acomodação razoável para concluir qualquer parte do processo de inscrição, ou for incapaz de usar esta inscrição online e precisar de um método alternativo para se inscrever, entre em contato com [email protected] para obter assistência.
Regulamentos de Controle de Exportação
Para posições que exigem acesso a tecnologia controlada sujeita a regulamentos de controle de exportação, incluindo os Regulamentos de Administração de Exportação dos EUA (EAR), a ServiceNow pode ser obrigada a obter aprovação de controle de exportação de autoridades governamentais para certos indivíduos. Todo emprego está condicionado à obtenção pela ServiceNow de qualquer licença de exportação ou outra aprovação que possa ser exigida pelas autoridades de controle de exportação relevantes.
Da Fortune. ©2025 Fortune Media IP Limited. Todos os direitos reservados. Usado sob licença.
Tipo de Empregado: Regular
Região: AMS - América do Norte e Canadá
Persona de Trabalho: Exigido no Escritório
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil