Brésil
C6 Bank
Circle
Ingénieur Principal, Plateforme IA
À distanceBrésil
Brésil
PythonRuby
Traduction automatique. Consultez l’original.
À propos de nous
Circle construit la plateforme tout-en-un leader mondial, basée sur l'IA, pour les entreprises numériques. Nous permettons aux créateurs, coachs, éducateurs et entreprises de réunir leur public grâce à des discussions engageantes, des diffusions en direct, des événements, des chats, des cours et des paiements — le tout au même endroit, sous leur propre marque.
Nous sommes fiers d'être une entreprise entièrement à distance comptant environ 270 (et en croissance !) membres d'équipe originaires de plus de 30 pays à travers le monde. Nous recherchons des individus exceptionnels, leur donnons les moyens de faire le meilleur travail de leur vie et, par conséquent, d'avoir un impact significatif dans leur propre vie. Nous ne suivons pas les heures, mais nous gérons les attentes élevées de très près. Nous collaborons entre les fuseaux horaires, sommes très asynchrones et aimons beaucoup documenter.
Deux fois par an, nous réunissons toute l'entreprise dans de beaux endroits du monde entier pour nos séminaires d'entreprise. Jusqu'à présent, nous avons organisé des séminaires en Turquie, au Portugal, au Mexique, en Thaïlande, en Colombie, en Italie, en Irlande, et plus encore, avec encore plus à venir !
Consultez notre page Carrières pour en savoir plus sur le travail chez Circle.
À propos du poste
L'équipe d'ingénierie de la qualité IA chez Circle est responsable des fondations pour mesurer, diagnostiquer et améliorer la qualité des fonctionnalités basées sur l'IA de Circle. Cette équipe se concentre sur la construction de l'infrastructure pour mesurer, diagnostiquer et améliorer les systèmes IA en production, plutôt que sur la recherche ML ou l'entraînement de modèles.
Nous recherchons un Ingénieur Principal pour nous aider à construire les cadres d'évaluation, les outils d'observabilité et l'infrastructure de diagnostic qui nous indiquent si nos Agents IA fonctionnent bien, où les améliorer, et comment les rendre plus rapides et plus rentables.
Il s'agit d'un rôle pratique de joueur-entraîneur. Vous dirigerez et gérerez également l'équipe d'ingénierie de la qualité IA, avec une feuille de route ambitieuse et croissante.
Si vous êtes passionné par le fait de rendre les systèmes IA fiables, efficaces et évolutifs, ce poste est pour vous.
Ce que vous ferez
- Construire et posséder notre infrastructure d'évaluation. Concevoir les pipelines CI/CD, les évaluateurs et les ensembles de données qui nous indiquent si les agents IA de Circle (planificateurs, appelants d'outils et sous-agents) fonctionnent réellement, d'un simple appel d'outil à une conversation complète multi-tours.
- Diagnostiquer précisément où la qualité se dégrade. Tracer les échecs à travers le pipeline de l'agent, y compris la création de plan par rapport à l'exécution, la sélection d'outils, la trajectoire des outils dans des domaines complexes tels que les flux de travail, le constructeur de site et l'analyse. Transformer ce que vous trouvez en prototypes qui résolvent le problème ou identifier les priorités pour l'ingénierie IA de base afin d'aider.
- Développer les ensembles de données qui rendent l'évaluation possible. Mettre en place des flux de travail d'annotation et construire des conversations générées par IA et simulées afin que nous puissions couvrir plus de produits plus rapidement qu'avec l'étiquetage manuel seul.
- Exécuter des expériences structurées sur les invites, les modèles et le harnais d'agent. Évaluer les modèles nouveaux et open-source par rapport à notre base de référence de production, construire le cadre que nous utilisons pour décider quand changer de modèle, et rechercher des gains de coût et de latence grâce aux échanges de modèles, à la mise en cache et au routage par complexité de plan.
- Diriger et développer l'équipe d'ingénierie de la qualité IA. Définir la direction technique et gérer les priorités quotidiennes, tout en restant impliqué dans le code vous-même.
- Collaborer étroitement avec l'ingénierie IA de base. Travailler avec les ingénieurs qui construisent les produits IA de Circle afin qu'ils aient une réelle confiance dans le fait que leurs changements améliorent réellement la qualité, et ne font pas que livrer.
Ce dont vous aurez besoin pour réussir
- + de 7 ans d'expérience dans la construction et la livraison de logiciels de production, y compris idéalement des agents basés sur LLM qui effectuent des actions réelles dans un produit. Vous avez travaillé sur des systèmes complexes utilisant des outils (outils multiples, planification ou orchestration, sous-agents) et pas seulement des assistants simples à tour unique, et vous pouvez nous décrire quelque chose que vous avez livré et comment vous saviez que cela fonctionnait réellement.
- À l'aise avec Ruby on Rails / Python ou prêt à les apprendre rapidement. Ruby on Rails est notre système de production et la base sur laquelle les agents IA de Circle sont construits, et la maîtrise de Python est un atout majeur, en particulier pour le côté données et évaluation du travail.
- Expérience dans la construction d'une infrastructure d'évaluation ou d'observabilité pour les systèmes ML/IA. Vous avez déjà construit des pipelines d'évaluation, des évaluateurs, des tableaux de bord ou des CI/CD pour des évaluations et avez de l'expérience avec des cadres d'évaluation tels que Braintrust, LangSmith ou similaires.
- Expérience dans la conception d'ensembles de données, de flux de travail d'annotation ou de pipelines d'étiquetage pour l'évaluation ML/IA. Vous savez comment transformer des exemples bruts en un ensemble de données fiable grâce à l'annotation humaine, aux données générées par IA ou à la simulation.
- Apprenez vite, expérimentez agressivement et prospérez dans un environnement très dynamique. Vous devrez être à l'aise pour exécuter de nombreuses expériences et laisser les résultats trancher, y compris celles qui ne fonctionnent pas (ce qui sera le cas de nombreuses au début).
- À l'aise dans un environnement rapide avec de l'ambiguïté. Vous devrez apprendre et adopter de nouvelles technologies lorsque les projets l'exigeront.
- Fort alignement avec nos valeurs d'entreprise.
- Vous maîtrisez l'anglais (parlé, écrit et lu) au niveau CEFR C2 / ILR 5.
Rémunération et avantages
Circle offre une rémunération indexée sur les États-Unis à l'échelle mondiale, des actions de l'entreprise avec des attributions de renouvellement continues, et 35 jours de congés payés chaque année.
Nous sommes une équipe exclusivement à distance qui se réunit deux fois par an pour des retraites d'entreprise dans des destinations incroyables à travers le monde. Outre une flexibilité et une autonomie incroyables, nous offrons un ensemble d'avantages qui soutiennent la santé, le bien-être et la croissance professionnelle. En savoir plus dans notre Centre Candidats.
En savoir plus
Avis sur la sécurité des candidats et le processus d'entretien
Diversité, Équité et Inclusion
Comment nous utilisons les données des candidats
Égalité des chances en matière d'emploi
Visitez notre Centre Candidats pour en savoir plus sur le travail chez Circle, nos avantages et notre processus d'embauche.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil