Brasil
C6 Bank
Circle
Ingeniero/a Líder, Plataforma de IA
RemotoBrasil
Brasil
PythonRuby
Traducción automática. Consulta el original.
Sobre nosotros
Circle está construyendo la plataforma todo en uno líder mundial impulsada por IA para negocios digitales. Hacemos posible que creadores, coaches, educadores y empresas reúnan a su audiencia con debates atractivos, transmisiones en vivo, eventos, chat, cursos y pagos, todo en un solo lugar, todo bajo su propia marca.
Estamos orgullosos de ser una empresa totalmente remota con alrededor de 270 (¡y en crecimiento!) miembros del equipo de más de 30 países de todo el mundo. Buscamos personas excepcionales en todo el mundo, las preparamos para hacer el mejor trabajo de sus vidas y, a cambio, creamos un impacto significativo en sus propias vidas. No hacemos un seguimiento de las horas, pero sí gestionamos las altas expectativas muy de cerca. Colaboramos entre zonas horarias, somos muy asíncronos y nos gusta documentar mucho.
Dos veces al año, reunimos a toda la empresa en lugares hermosos de todo el mundo para nuestras reuniones generales. Hasta ahora, hemos organizado reuniones en Turquía, Portugal, México, Tailandia, Colombia, Italia, Irlanda y más, ¡y aún quedan más por venir!
Consulta nuestra página de empleo para obtener más información sobre cómo trabajar en Circle.
Sobre el puesto
El equipo de ingeniería de calidad de IA en Circle es responsable de la base para medir, diagnosticar y mejorar la calidad de las funciones impulsadas por IA de Circle. Este equipo se enfoca en construir la infraestructura para medir, diagnosticar y mejorar los sistemas de IA en producción, en lugar de la investigación de ML o el entrenamiento de modelos.
Estamos buscando un/a Ingeniero/a Líder para ayudarnos a construir los marcos de evaluación, las herramientas de observabilidad y la infraestructura de diagnóstico que nos indiquen si nuestros Agentes de IA están funcionando bien, dónde mejorarlos y cómo hacerlos más rápidos y eficientes en cuanto a costes.
Este es un puesto práctico de jugador-entrenador. También liderarás y gestionarás el equipo de ingeniería de calidad de IA, con una hoja de ruta ambiciosa y en crecimiento.
Si te entusiasma hacer que los sistemas de IA funcionen de manera fiable, eficiente y a escala, este puesto es para ti.
Qué harás
- Construir y ser propietario de nuestra infraestructura de evaluación. Diseñar los pipelines CI/CD, los puntuadores y los conjuntos de datos que nos dicen si los agentes de IA de Circle (planificadores, llamadores de herramientas y subagentes) están funcionando realmente, desde una sola llamada a una herramienta hasta una conversación completa de varios turnos.
- Diagnosticar exactamente dónde falla la calidad. Rastrear fallos en todo el pipeline del agente, incluida la creación vs. ejecución del plan, la selección de herramientas, la trayectoria de la herramienta en áreas complejas como flujos de trabajo, el constructor de sitios y la analítica. Convierte lo que encuentres en prototipos que resuelvan el problema o identifica prioridades para que el equipo de ingeniería central de IA pueda ayudar.
- Crecer los conjuntos de datos que hacen posible la evaluación. Poner en marcha flujos de trabajo de anotación y construir conversaciones simuladas y generadas por IA para que podamos cubrir más producto más rápido que con el etiquetado manual solamente.
- Ejecutar experimentos estructurados en prompts, modelos y el framework del agente. Evaluar modelos nuevos y de código abierto frente a nuestra línea base de producción, construir el marco que utilizamos para decidir cuándo cambiar de modelo y perseguir mejoras en costes y latencia a través de cambios de modelo, caché y enrutamiento por complejidad del plan.
- Liderar y hacer crecer el equipo de ingeniería de calidad de IA. Establecer la dirección técnica y gestionar las prioridades del día a día, todo ello mientras te mantienes práctico/a en el código.
- Colaborar estrechamente con ingeniería central de IA. Trabajar con los ingenieros que construyen los productos de IA de Circle para que tengan una confianza real en que sus cambios están mejorando la calidad, no solo enviando código.
Qué necesitarás para tener éxito
- 7+ años de experiencia construyendo y lanzando software de producción, idealmente incluyendo agentes impulsados por LLM que realizan acciones reales en un producto. Has trabajado en sistemas complejos que utilizan herramientas (múltiples herramientas, planificación u orquestación, subagentes) no solo asistentes simples de un solo turno, y puedes explicarnos algo que lanzaste y cómo supiste que estaba funcionando realmente.
- Cómodo/a en Ruby on Rails / Python o dispuesto/a a aprenderlos rápidamente. Ruby on Rails es nuestro sistema de producción y la base sobre la que se construyen los Agentes de IA de Circle, y la competencia en Python es una gran ventaja, especialmente para el lado de datos y evaluación del trabajo.
- Experiencia en la construcción de infraestructura de evaluación u observabilidad para sistemas de ML/IA. Has construido pipelines de evaluación, puntuadores, paneles o CI/CD para evaluaciones anteriormente y tienes experiencia con marcos de evaluación como Braintrust, LangSmith o similares.
- Experiencia en el diseño de conjuntos de datos, flujos de trabajo de anotación o pipelines de etiquetado para la evaluación de ML/IA. Sabes cómo convertir ejemplos brutos en un conjunto de datos en el que puedes confiar a través de anotaciones humanas, datos generados por IA o simulación.
- Aprende rápido, experimenta agresivamente y prospera en un entorno muy dinámico. Necesitarás sentirte cómodo/a ejecutando muchos experimentos y dejando que los resultados resuelvan la discusión, incluidos aquellos que no funcionan (que serán muchos al principio).
- Cómodo/a en un entorno de ritmo rápido con ambigüedad. Necesitarás aprender y adoptar nuevas tecnologías cuando los proyectos lo requieran.
- Fuerte alineación con nuestros valores de empresa.
- Dominas el inglés (hablado, escrito y leído) a nivel CEFR C2 / ILR 5.
Compensación y beneficios
Circle ofrece compensación global comparada con la de EE. UU., acciones en la empresa con concesiones continuas y 35 días de tiempo libre remunerado cada año.
Somos un equipo exclusivamente remoto que se reúne dos veces al año para retiros de empresa en destinos increíbles de todo el mundo. Junto con una increíble flexibilidad y autonomía, ofrecemos un paquete de beneficios que apoya la salud, el bienestar y el crecimiento profesional. Obtén más información en nuestro Centro de Candidatos.
Más información
Aviso sobre seguridad del candidato y proceso de entrevista
Diversidad, Equidad e Inclusión
Cómo utilizamos los datos de los candidatos
Igualdad de Oportunidades de Empleo
Visita nuestro Centro de Candidatos para obtener más información sobre cómo trabajar en Circle, nuestros beneficios y nuestro proceso de contratación.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil