Brasil
C6 Bank
Circle
Engenheiro(a) Líder, Plataforma de IA
RemotoBrasil
Brasil
PythonRuby
Tradução automática. Consulte o original.
Sobre Nós
Circle está construindo a plataforma unificada e líder mundial em IA para negócios digitais. Tornamos possível para criadores, coaches, educadores e empresas reunirem seu público com discussões envolventes, transmissões ao vivo, eventos, chat, cursos e pagamentos — tudo em um só lugar, sob sua própria marca.
Temos orgulho de ser uma empresa totalmente remota com cerca de 270 (e crescendo!) membros de equipe de mais de 30 países ao redor do mundo. Buscamos indivíduos excepcionais em todo o mundo, os preparamos para fazer o melhor trabalho de suas vidas e, em troca, criamos um impacto significativo em suas próprias vidas. Não monitoramos horas, mas gerenciamos altas expectativas de perto. Colaboramos entre fusos horários, somos altamente assíncronos e gostamos de documentar muito.
Duas vezes por ano, reunimos toda a empresa em lugares bonitos ao redor do mundo para nossos retiros. Até agora, realizamos retiros na Turquia, Portugal, México, Tailândia, Colômbia, Itália, Irlanda e mais, com ainda mais por vir!
Confira nossa página de Carreiras para saber mais sobre trabalhar na Circle.
Sobre a Vaga
A equipe de engenharia de Qualidade de IA na Circle é responsável pela base para medir, diagnosticar e melhorar a qualidade dos recursos com IA da Circle. Esta equipe se concentra em construir a infraestrutura para medir, diagnosticar e melhorar sistemas de IA em produção, em vez de pesquisa de ML ou treinamento de modelos.
Estamos procurando um(a) Engenheiro(a) Líder para nos ajudar a construir os frameworks de avaliação, ferramentas de observabilidade e infraestrutura de diagnóstico que nos dizem se nossos Agentes de IA estão funcionando bem, onde melhorá-los e como torná-los mais rápidos e eficientes em termos de custo.
Esta é uma função prática de "player-coach". Você também liderará e gerenciará a equipe de engenharia de Qualidade de IA, com um roadmap ambicioso e em crescimento.
Se você está animado(a) em fazer sistemas de IA funcionarem de forma confiável, eficiente e escalável, esta vaga é para você.
O que você fará
- Construir e ser responsável pela nossa infraestrutura de avaliação. Projetar os pipelines de CI/CD, pontuadores e conjuntos de dados que nos dizem se os agentes de IA da Circle (planejadores, chamadores de ferramentas e sub-agentes) estão realmente funcionando, desde uma única chamada de ferramenta até uma conversa completa de múltiplos turnos.
- Diagnosticar exatamente onde a qualidade falha. Rastrear falhas em todo o pipeline do agente, incluindo criação de plano vs. execução, seleção de ferramenta, trajetória da ferramenta em áreas complexas como fluxos de trabalho, construtor de sites e análise. Transformar o que você encontrar em protótipos que resolvam o problema ou identificar prioridades para a engenharia central de IA ajudar.
- Expandir os conjuntos de dados que tornam a avaliação possível. Implementar fluxos de trabalho de anotação e construir conversas geradas por IA e simuladas para que possamos cobrir mais do produto mais rapidamente do que apenas com rotulagem manual.
- Executar experimentos estruturados em prompts, modelos e o harness do agente. Avaliar modelos novos e de código aberto em comparação com nossa linha de base de produção, construir o framework que usamos para decidir quando mudar de modelos e buscar vitórias de custo e latência através de trocas de modelos, cache e roteamento por complexidade do plano.
- Liderar e desenvolver a equipe de engenharia de Qualidade de IA. Definir a direção técnica e gerenciar as prioridades do dia a dia, tudo isso enquanto permanece prático(a) no código.
- Colaborar estreitamente com a engenharia central de IA. Trabalhar com os engenheiros que constroem os produtos de IA da Circle para que eles tenham confiança real de que suas mudanças estão realmente melhorando a qualidade, não apenas sendo lançadas.
O que você precisará para ter sucesso
- 7+ anos de experiência construindo e lançando software de produção, idealmente incluindo agentes com LLM que realizam ações reais em um produto. Você trabalhou em sistemas complexos que usam ferramentas (múltiplas ferramentas, planejamento ou orquestração, sub-agentes) não apenas assistentes simples de turno único, e você pode nos contar sobre algo que lançou e como soube que estava realmente funcionando.
- Confortável em Ruby on Rails / Python ou pronto(a) para aprendê-los rapidamente. Ruby on Rails é nosso sistema de produção e a base sobre a qual os Agentes de IA da Circle são construídos, e proficiência em Python é um forte diferencial, especialmente para o lado de dados e avaliação do trabalho.
- Experiência em construir infraestrutura de avaliação ou observabilidade para sistemas de ML/IA. Você construiu pipelines de avaliação, pontuadores, dashboards ou CI/CD para avaliações antes e tem experiência com frameworks de avaliação como Braintrust, LangSmith ou similares.
- Experiência em projetar conjuntos de dados, fluxos de trabalho de anotação ou pipelines de rotulagem para avaliação de ML/IA. Você sabe como transformar exemplos brutos em um conjunto de dados confiável através de anotação humana, dados gerados por IA ou simulação.
- Aprenda rápido, experimente agressivamente e prospere em um ambiente altamente dinâmico. Você precisará se sentir confortável em executar muitos experimentos e deixar os resultados resolverem a discussão, incluindo aqueles que não funcionam (que serão muitos no início).
- Confortável em um ambiente acelerado com ambiguidade. Você precisará aprender e adquirir novas tecnologias quando os projetos exigirem.
- Forte alinhamento com nossos valores da empresa.
- Você é proficiente em inglês (falado, escrito e leitura) no Nível CEFR C2 / Nível ILR 5.
Remuneração e Benefícios
Circle oferece remuneração global comparada aos EUA, participação acionária na empresa com concessões de atualização contínuas e 35 dias de folga remunerada a cada ano.
Somos uma equipe exclusivamente remota que se reúne duas vezes por ano para retiros da empresa em destinos incríveis ao redor do mundo. Além de incrível flexibilidade e autonomia, oferecemos um pacote de benefícios que apoia saúde, bem-estar e crescimento profissional. Saiba mais em nosso Candidate Hub.
Saiba Mais
Aviso de Segurança do Candidato e Processo de Entrevista
Diversidade, Equidade e Inclusão
Como Usamos os Dados do Candidato
Igualdade de Oportunidades de Emprego
Visite nosso Candidate Hub para saber mais sobre trabalhar na Circle, nossos benefícios e nosso processo de contratação.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil