Estados Unidos
CONCEPT SOLUTIONS LLC
ServiceNow
Ingeniero/a de Software Senior, Plataforma de Evaluación de Agentes
Estados Unidos
Mountain View, California, Estados Unidos
PythonGo
Traducción automática. Consulta el original.
Descripción de la empresa
Quiénes somos
Moveworks: el asistente de IA Agentic que potencia a toda la fuerza laboral. Nuestra plataforma permite a los empleados conversar con todos sus sistemas empresariales a través del lenguaje natural para encontrar rápidamente respuestas y automatizar tareas. Impulsados por los LLMs más avanzados del mundo, nuestros modelos propietarios y una sofisticada plataforma de IA Agentic, estamos transformando la forma en que se realiza el trabajo al permitir que la IA tome la iniciativa, optimice flujos de trabajo complejos y aprenda y se adapte continuamente.
Más de 5.5 millones de empleados en más de 350 de las empresas más grandes del mundo, incluido el 10% de las Fortune 500, confían en Moveworks para automatizar tareas cotidianas y optimizar las operaciones empresariales. Reconocida en las listas Forbes Cloud 100 y AI 50, Moveworks también fue nombrada una de las empresas más innovadoras de 2025 por Fast Company y una de las mejores empresas por Inc., en la categoría de mejor innovación. Moveworks también fue reconocida como Microsoft’s 2025 Partner of the Year y, en 2024, recibió el AI Breakthrough Award.
En diciembre de 2025, Moveworks fue adquirida por ServiceNow, marcando un hito fundamental en nuestro viaje para crear una única puerta de entrada al trabajo para todos los sistemas empresariales. Al combinar la automatización de flujos de trabajo líder de ServiceNow con el Motor de Razonamiento y las capacidades de lenguaje natural de Moveworks, ofrecemos la plataforma de IA para cada persona y cada flujo de trabajo. Diseñada para ir más allá de los resúmenes básicos para ofrecer un impacto empresarial significativo. Juntos, nuestra IA actúa en todos los sistemas empresariales para convertir conversaciones en trabajo completado.
Al unirte a nuestro equipo, estarás a la vanguardia de la transformación de la IA, respaldado por la escala global de ServiceNow y la agilidad de una empresa de alto crecimiento. Buscamos talento de clase mundial para ayudarnos a extender la IA agentic a cada empleado en cada rincón del negocio. ¡Únete a nosotros!
Descripción del puesto
El puesto
Los agentes de IA de Moveworks no solo generan texto, sino que actúan. Planifican, llaman a herramientas y cambian el estado real en los sistemas empresariales en nombre de 5.5 millones de empleados. Eso convierte el problema central de nuestro equipo en un problema de medición inusualmente difícil: ¿cómo se puntúa lo que hizo un agente, a través de una trayectoria de varios pasos en un mundo que cambió, con la precisión suficiente para que la puntuación le enseñe a hacerlo mejor?
Esa señal es de lo que se encarga este puesto. Construirás la capa de juicio de nuestra plataforma de evaluación de agentes: los baremos, los jueces, la calibración con etiquetas humanas, la metodología que hace que una puntuación signifique algo. Y la recompensa es mayor que un boletín de notas: un juez lo suficientemente bueno como para calificar una trayectoria es un juez lo suficientemente bueno como para entrenar contra él. La misma señal calibrada que explica por qué un agente falló se convierte en la señal de recompensa que evita que falle.
Este no es un puesto de preentrenamiento, ni un puesto de pruebas. Es ML aplicado en un punto donde la metodología genuinamente no está definida: LLMs juzgando a LLMs es un problema de investigación abierto, y lo estamos abordando contra agentes que toman acciones reales e irreversibles en entornos empresariales con estado y multi-inquilino.
ServiceNow: todo comenzó en la soleada San Diego, California, en 2004, cuando un ingeniero visionario, Fred Luddy, vio el potencial de transformar la forma en que trabajamos. Hoy en día, ServiceNow se erige como líder del mercado mundial, aportando tecnología innovadora mejorada por IA a más de 8,100 clientes, incluidas 85% de las Fortune 500®. Nuestra plataforma inteligente basada en la nube conecta sin problemas a personas, sistemas y procesos para capacitar a las organizaciones a encontrar formas más inteligentes, rápidas y mejores de trabajar. Pero esto es solo el comienzo de nuestro viaje. Únete a nosotros mientras perseguimos nuestro propósito de hacer que el mundo funcione mejor para todos.
Lo que harás en este puesto
Estamos contratando en tres áreas. Te centrarás en una y tocarás las otras; cuál es una conversación que tenemos contigo, no una casilla en la que te colocamos.
Orquestación de evaluación a escala
- El tiempo de ejecución que ejecuta escenarios de agentes multivuelta de extremo a extremo: configurar el entorno y el simulador de usuario, impulsar el bucle usuario↔agente↔mundo, recopilar transcripciones, rastreos y estado final, ejecutar validadores y puntuaciones, desmontar
- Programación, reintentos, ejecución de alta concurrencia y aislamiento de ejecución a tamaños de conjunto de datos de producción
- Especificaciones, conjuntos de datos e informes versionados, con comparación de ejecución a ejecución como operación de primera clase
- Consolidar las evaluaciones que se ejecutan hoy como flujos de trabajo puntuales en un único servicio de orquestación: una fuente de verdad, un lugar para programar y reintentar
- Establecer un nivel de fiabilidad y un SLO para el propio arnés
- Lograr el autoservicio, para que cualquier equipo ejecute una evaluación sin integración a medida
Observabilidad y rastreo de agentes
- Liderar el cambio a la observabilidad nativa de OpenTelemetry para la plataforma de agentes, reemplazando los mecanismos paralelos de registro, correlación y redacción por servicio que se utilizan hoy en día
- El modelo de datos de spans para trayectorias de agentes — prompts, llamadas a herramientas, actualizaciones de planes, resultados — para que una trayectoria sea consultable, no reconstruida a mano a partir de archivos de registro
- Propagación del contexto de rastreo a través de límites asíncronos y sesiones que se mantienen activas durante minutos u horas
- Hacer que los prompts completos y las finalizaciones sobrevivan intactos en el pipeline, y evitar que el tráfico de evaluación contamine sus propios datos
- Atribución de fallos y diff entre ejecuciones: qué componente se rompió realmente y qué cambió desde la última ejecución correcta
- El soporte de la superficie de depuración y el arnés que utilizan los ingenieros, y el contrato de rastreo con el equipo que construye el agente
Simulación con estado
- El propio entorno de simulación: falsificaciones con estado de los sistemas empresariales a los que llaman los agentes — ITSM, RR. HH., bases de conocimiento, inventario — respaldadas por una base de datos real que persiste los cambios durante una ejecución, de modo que un ticket creado sea visible para una lectura posterior
- Inyección de datos por ejecución y configuración/desmontaje programático para que cada ejecución sea hermética y repetible
- Simuladores de usuario impulsados por LLM para personas abiertas, y simuladores de máquina de estados para flujos deterministas
- Pruebas de contrato de mocks contra esquemas de API reales en CI, para que la fidelidad de la simulación no pueda desviarse silenciosamente a medida que cambian las APIs de los proveedores
- Por delante: entornos de sandbox aislados que reproducen la configuración, la identidad, el contenido de búsqueda y los permisos que un agente lee realmente — aprovisionados a partir de una línea base idéntica y desmontados en cada ejecución
Y en las tres áreas: sentar las bases para utilizar la señal de evaluación para optimizar el agente, no solo para medirlo.
Cualificaciones
Para tener éxito en este puesto, necesitas:
Experiencia en al menos 3 de los siguientes puntos:
- Sistemas distribuidos: idempotencia, garantías de entrega, aislamiento y, de forma inusualmente central aquí, determinismo y reproducibilidad
- Orquestación y tiempos de ejecución de flujos de trabajo: ejecución de DAG, programación, reintentos, backfills, sistemas de trabajos de alta concurrencia (Temporal, Airflow, Argo o algo que hayas creado tú mismo)
- Internacionalidad de la observabilidad como constructor, no solo como usuario: SDKs y colectores de OpenTelemetry, convenciones semánticas, propagación del contexto de span, datos de rastreo de alta cardinalidad
- Programación concurrente y asíncrona: asyncio de Python, concurrencia de Go, cancelación estructurada
- Pipelines intensivos en datos: ingesta de alto volumen, evolución de esquemas, compensaciones de muestreo y retención
- Diseño de servicios e interfaces gRPC/protobuf
Requerido
- 5+ años construyendo sistemas de backend o infraestructura en producción
- Sólidos conocimientos en Python o Go (idealmente ambos)
- Experiencia en el diseño y operación de sistemas que manejan tráfico real a escala
- Comodidad al hacer medible un sistema no determinista. No necesitas experiencia en ML, pero deberías encontrar interesante convertir el comportamiento difuso de un agente en una señal con la que los ingenieros estén dispuestos a basar los lanzamientos.
- Comodidad con la ambigüedad; estos son problemas novedosos sin soluciones de libro de texto
Para los puestos en esta ubicación, ofrecemos un salario base de $161,300-274,200, más acciones (cuando corresponda), compensación variable/incentivos y beneficios. Los puestos de ventas generalmente ofrecen una estructura de compensación de incentivos competitiva On Target Earnings (OTE). Tenga en cuenta que el salario base mostrado es una guía, y la compensación total individual variará según factores como las cualificaciones, el nivel de habilidad, las competencias y la ubicación de trabajo. También ofrecemos planes de salud, que incluyen cuentas de gastos flexibles, un Plan 401(k) con aportación de la empresa, ESPP, donaciones a juego, un plan de tiempo libre flexible y programas de licencia familiar.
La compensación se basa en la ubicación geográfica en la que se encuentra el puesto y está sujeta a cambios según la ubicación de trabajo.
Información adicional
Perfiles de trabajo
Abordamos nuestro mundo de trabajo distribuido con flexibilidad y confianza. Los perfiles de trabajo (flexibles, remotos o requeridos en la oficina) son categorías que se asignan a los empleados de ServiceNow según la naturaleza de su trabajo y su ubicación de trabajo asignada. Obtenga más información aquí. Para determinar la elegibilidad para un perfil de trabajo, ServiceNow puede confirmar la distancia entre su residencia principal y la oficina de ServiceNow más cercana utilizando un servicio de terceros.
Empleador con igualdad de oportunidades
ServiceNow es un empleador con igualdad de oportunidades. Todos los solicitantes cualificados recibirán consideración para el empleo sin distinción de raza, color, credo, religión, sexo, orientación sexual, origen nacional o nacionalidad, ascendencia, edad, discapacidad, identidad o expresión de género, estado civil, condición de veterano o cualquier otra categoría protegida por la ley. Además, todos los solicitantes cualificados con antecedentes penales o de detención serán considerados para el empleo de acuerdo con los requisitos legales.
Acomodaciones
Nos esforzamos por crear una experiencia accesible e inclusiva para todos los candidatos. Si necesita una adaptación razonable para completar cualquier parte del proceso de solicitud, o si no puede utilizar esta solicitud en línea y necesita un método alternativo para presentar su solicitud, póngase en contacto con [email protected] para obtener ayuda.
Regulaciones de control de exportaciones
Para los puestos que requieren acceso a tecnología controlada sujeta a regulaciones de control de exportaciones, incluidas las Regulaciones de Administración de Exportaciones de EE. UU. (EAR), ServiceNow puede estar obligada a obtener la aprobación de control de exportaciones de las autoridades gubernamentales para ciertos individuos. Todo empleo está sujeto a que ServiceNow obtenga cualquier licencia de exportación u otra aprobación que puedan requerir las autoridades de control de exportaciones pertinentes.
De Fortune. ©2025 Fortune Media IP Limited. Todos los derechos reservados. Usado bajo licencia.
Tipo de empleado: Regular
Región: AMS - América del Norte y Canadá
Perfil de trabajo: Requerido en la oficina
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil