Estados Unidos
B&A
Abacus Insights
Ingeniero Senior de Calidad de Sistemas de IA
Estados Unidos
Boston, Massachusetts, Estados Unidos
TypeScriptPythonAWSGo
Traducción automática. Consulta el original.
Sobre Nosotros
Abacus Insights está transformando la forma en que los datos y la IA funcionan para los planes de salud. Nuestra misión es simple: hacer que los datos de atención médica sean utilizables, para que las personas responsables de las decisiones de atención y costos puedan actuar más rápido y con confianza.
Como Plataforma de IA y Datos para Inteligencia de Pagadores, ayudamos a los planes de salud a derribar los silos de datos para crear una base de datos única y confiable. Esa base potencia mejores decisiones, para que los planes puedan mejorar los resultados, reducir el desperdicio y ofrecer mejores experiencias tanto para los miembros como para los proveedores. Respaldados por $100M de los principales inversores, estamos abordando grandes desafíos en una industria que está lista para el cambio. Nuestra plataforma permite casos de uso de GenAI al entregar datos de atención médica limpios, conectados y confiables para respaldar la automatización, la priorización y los flujos de trabajo de toma de decisiones, y es por eso que estamos liderando el camino.
Nuestra innovación comienza con las personas. Somos audaces, curiosos y colaborativos, porque las mejores ideas provienen del trabajo en equipo. Adoptamos el uso reflexivo de la IA y la automatización para impulsar la innovación y la eficiencia, y buscamos personas curiosas y adaptables, aquellas entusiasmadas por aprovechar las tecnologías emergentes para mejorar nuestra forma de trabajar, manteniendo al mismo tiempo la visión humana, la conexión y a nuestros clientes en el centro de cada decisión.
¿Listo para generar un impacto? Únete a nosotros y construyamos el futuro juntos.
Sobre el Puesto
En Abacus Insights, estamos construyendo plataformas impulsadas por IA que se encuentran en el centro de las decisiones críticas de atención médica, donde la confiabilidad, la corrección y la confianza son tan importantes como la innovación. A medida que nuestro uso de sistemas agénticos impulsados por LLM escala, garantizar que estos sistemas se comporten de manera segura y predecible en entornos del mundo real no es opcional, es fundamental.
El Ingeniero Senior de Calidad de Sistemas de IA desempeña un papel fundamental para que nuestros sistemas de IA estén listos para producción, sean operables y confiables. Este no es un rol tradicional de QA. En cambio, ayudará a definir cómo se integra la calidad en los sistemas agénticos desde el principio, incorporando salvaguardas, señales de evaluación y comportamiento de fallo seguro directamente en cómo se diseñan, construyen y despliegan estos sistemas. En este rol, también ayudará a diseñar y poseer una plataforma de pruebas de IA que opera de forma nativa dentro de nuestra arquitectura Medallion de Databricks, aprovechando herramientas como MLflow para permitir la evaluación, el linaje, la trazabilidad y la auditabilidad a escala. Este es un rol orientado a la plataforma, centrado en establecer prácticas de calidad repetibles y escalables en lugar de validación en un momento dado.
Si cree que la calidad es una disciplina de ingeniería fundamental, no un punto de control posterior, este rol le brinda la oportunidad de dar forma a cómo se construye la IA agéntica confiable, gobernada y escalable desde cero.
Colaborará estrechamente con Ingenieros de IA, equipos de plataforma y partes interesadas de entrega para diseñar marcos de evaluación personalizados, canalizaciones de validación y arneses de prueba automatizados que reflejen cómo se comportan los sistemas agénticos en producción. Se centrará en validar la lógica de orquestación, gestionar el comportamiento no determinista y garantizar que los sistemas de IA fallen de forma segura bajo incertidumbre, escala y fallo.
Este rol está diseñado para la automatización como prioridad. Creará pruebas automatizadas de IA de extremo a extremo integradas en el ciclo de vida del desarrollo, donde la validación se aplica continuamente, no se revisa manualmente después del hecho. Su trabajo influirá directamente en la preparación para el lanzamiento, la confianza operativa y la capacidad de Abacus para desplegar IA avanzada de manera responsable en entornos de atención médica de misión crítica.
Tu día a día *
- Construir y desplegar marcos de validación automatizados de nivel de producción, arneses de prueba y canalizaciones de evaluación en todo el ciclo de vida de la IA (diseño → despliegue).
- Diseñar y evolucionar una plataforma de pruebas de IA integrada con Databricks y MLflow, que permita pruebas repetibles, trazabilidad y auditabilidad.
- Crear conjuntos de pruebas a gran escala basados en escenarios (cientos a miles de casos) para validar flujos de trabajo agénticos de extremo a extremo, incluidos casos límite, escenarios de cola larga y modos de fallo.
- Validar el comportamiento de orquestación (uso de herramientas, memoria, lógica de decisión) y probar el comportamiento no determinista del sistema antes de la producción.
- Integrar la calidad desde el diseño: definir contratos de sistema, salvaguardas y patrones de degradación segura en límites clave.
- Definir señales de calidad medibles para sistemas LLM (grounding, alucinaciones, relevancia, latencia, costo) e integrarlas en canalizaciones de CI/CD como puertas de calidad automatizadas.
- Garantizar que la validación de IA se ejecute automáticamente en cambios de modelo, prompt y código, lo que permite la aplicación continua de la calidad.
- Construir bibliotecas y componentes reutilizables para que los equipos puedan adoptar rápidamente prácticas de calidad de IA consistentes.
- Ser responsable de aspectos de la preparación para el lanzamiento de IA, incluida la definición de criterios de aprobación/rechazo basados en umbrales de calidad medibles.
- Colaborar con los equipos de IA, plataforma, seguridad y entrega para traducir las necesidades de la misión en criterios de calidad claros, compensaciones y niveles de confianza.
Requisitos mínimos
Lo que aportas al equipo *
- +7 años de experiencia en ingeniería de software, principalmente en sistemas backend o de plataforma.
- Experiencia demostrada en el diseño e implementación de automatización de pruebas de IA en entornos de producción, no solo en la ejecución de pruebas.
- Capacidad demostrada para construir marcos personalizados de validación, evaluación o pruebas para sistemas complejos y distribuidos.
- Sólida competencia en Python y/o TypeScript dentro de pilas modernas de ingeniería de IA.
- Experiencia práctica con sistemas impulsados por IA, incluidos flujos de trabajo basados en LLM o agénticos y comportamiento no determinista.
- Experiencia en el diseño o contribución a pruebas de IA a escala, incluidos marcos de regresión, evaluación de cola larga y amplia cobertura de pruebas.
- Profundo conocimiento de la integración de CI/CD, incluida la incorporación de pruebas automatizadas y puertas de calidad en las canalizaciones de despliegue.
- Sólida comprensión de las arquitecturas nativas de la nube de AWS.
- Historial de ingeniería para la calidad, la confiabilidad, la gobernanza y la seguridad como principios de diseño de sistemas centrales.
- Conocimiento práctico de seguridad, privacidad y riesgo operativo en entornos regulados o de misión crítica, incluidos modos de fallo y recuperación.
- Experiencia con metodologías de pruebas de IA, incluida la evaluación de salidas no deterministas, detección de deriva, pruebas de sesgo/equidad y estrategias de regresión robustas.
- Capacidad demostrada para establecer umbrales de confianza medibles para sistemas de IA, incluida la definición y operacionalización de métricas de éxito como precisión de consulta, límites de alucinación, explicabilidad y comportamiento seguro para PHI como criterios de lanzamiento aplicables.
- Experiencia trabajando con expertos del dominio para definir la corrección y escenarios de validación del mundo real, permitiendo una cobertura de pruebas a gran escala y relevante para el negocio que refleje casos de uso de producción reales en lugar de perspectivas exclusivas de ingeniería.
Lo que nos gustaría ver, pero no es obligatorio *
- Experiencia con entornos nativos de Databricks y arquitectura Medallion.
- Experiencia utilizando MLflow para la evaluación de modelos, el seguimiento de linaje y la auditabilidad.
- Exposición a herramientas de observabilidad (por ejemplo, Datadog, Prometheus, Grafana) para flujos de trabajo de IA distribuidos.
- Familiaridad con técnicas de evaluación de LLM, salvaguardas y marcos de aplicación de políticas.
- Experiencia en la evaluación de regresiones de rendimiento, latencia o costo en sistemas de IA.
- Capacidad para documentar claramente el comportamiento del sistema y las compensaciones de calidad para audiencias técnicas y de negocios.
- Formación formal o certificación en sistemas de IA/ML (por ejemplo, ISTQB AI Testing, Especialidad ML de AWS, Ingeniero ML de Google).
- Experiencia en el diseño y la iteración de prompts, comportamientos de agentes y lógica de orquestación como artefactos versionados y probables, lo que permite una rápida refinación del comportamiento del sistema de IA (a menudo denominado "vibe coding") sin una gran dependencia de cambios de código tradicionales.
- Familiaridad con el uso de sistemas de IA para generar y expandir escenarios de prueba, incluida la creación de conjuntos de datos de prueba a gran escala, diversos y adversarios para mejorar significativamente la cobertura y la profundidad de la validación.
Nuestro Compromiso como Empleador que Ofrece Igualdad de Oportunidades
Compensación: La compensación para este puesto se basa en la experiencia, las habilidades y la ubicación, e incluye salario base más elegibilidad para bonificaciones por desempeño y concesiones de acciones.
Como empresa de tecnología impulsada por una misión que ayuda a mejorar los resultados de atención médica, Abacus Insights cree que la mejor innovación y valor que podemos aportar a nuestros clientes proviene de diversas ideas, pensamientos, experiencias y perspectivas.
Por lo tanto, dedicamos recursos a la construcción de equipos diversos y a la provisión de igualdad de oportunidades de empleo para todos los solicitantes. Abacus prohíbe la discriminación y el acoso en relación con la raza, el color, la religión, la edad, el sexo, el origen nacional, el estado de discapacidad, la genética, el estado de veterano protegido, la orientación sexual, la identidad o expresión de género, o cualquier otra característica protegida por las leyes federales, estatales o locales.
En el corazón de lo que somos se encuentra un compromiso de construir continua e intencionalmente una cultura inclusiva, una que empodere a cada miembro del equipo en todo el mundo para hacer su mejor trabajo y ser auténtico. Llevamos ese mismo compromiso a nuestro proceso de contratación, con el objetivo de crear una experiencia de entrevista en la que te sientas cómodo y seguro mostrando tus fortalezas. Si hay algo que podamos hacer para apoyar eso, grande o pequeño, por favor háznoslo saber.
Uso de IA en la Contratación
Utilizamos herramientas impulsadas por IA en todo nuestro proceso de contratación. Esto incluye la Tecnología Real Talent Matching de Greenhouse, que ayuda a priorizar las solicitudes basándose en criterios relacionados con el puesto, así como herramientas de IA adicionales utilizadas para apoyar la búsqueda, la preparación de entrevistas y otras tareas de reclutamiento. No eliminamos el elemento humano: nuestros reclutadores y equipos de contratación revisan todas las solicitudes y toman todas las decisiones relacionadas con la progresión y contratación de candidatos, independientemente de las herramientas utilizadas para apoyar ese proceso.
Verificación de Identidad y Ubicación
Para proteger la integridad de nuestro proceso de contratación, todas las entrevistas se realizan por video en vivo con la cámara encendida. No se permiten fondos virtuales o difuminados y auriculares, a menos que se haya aprobado una adaptación, y debe estar en un espacio privado y bien iluminado donde su rostro y alrededores sean claramente visibles.
A los candidatos que avancen también se les puede pedir que completen la verificación de identidad y ubicación, lo que puede incluir la verificación de su identidad, historial laboral y la confirmación de que se encuentra donde su solicitud indica.
Las solicitudes que contengan información falsas o materialmente tergiversadas a sabiendas, incluida la identidad, la ubicación o las credenciales, pueden ser descalificadas, y cualquier oferta puede ser rescindida si se descubre una tergiversación material en cualquier momento del proceso.
Si necesita una adaptación para cualquier parte del proceso de entrevista, por favor informe a su reclutador con anticipación.
Al postularse, usted reconoce que recopilaremos y procesaremos su información personal para fines de reclutamiento de acuerdo con las leyes de protección de datos aplicables, incluso para los pasos de verificación descritos anteriormente. Por favor, revise nuestro Aviso de Privacidad del Solicitante nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fabacusinsights.com%2Fapplicant-privacy-policy%2F&data=05%7C02%7Cheidi.weinstein%40abacusinsights.com%7C7d44e83a2b7f4081beae08df23b25d49%7C0819ed188d9747bb930bec1982f9aa76%7C0%7C0%7C639268921130656820%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C4000%7C%7C%7C&sdata=d%2BoHUdDyVi5syk0k8eO7f73azMYj8kBhPCDKTMK%2Fcvo%3D&reserved=0 para obtener más información, incluidos sus derechos.
Lo que obtendrás a cambio: *
- Tiempo libre remunerado ilimitado: recarga cuando lo necesites.
- Trabaja desde cualquier lugar: flexibilidad para adaptarse a tu vida.
- Cobertura médica integral: múltiples opciones de planes para elegir.
- Acciones para cada empleado: comparte nuestro éxito.
- Entorno centrado en el crecimiento: tu desarrollo importa aquí.
- Subsidio para la configuración de la oficina en casa: apoyo único para empezar.
- Subsidio mensual para teléfono móvil: mantente conectado con facilidad.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil