Brasilien
C6 Bank
Circle
Lead Engineer, AI Platform
RemoteBrasilien
Brasilien
PythonRuby
Automatische Übersetzung. Prüfe das Original.
Über uns
Circle baut die weltweit führende KI-gestützte All-in-One-Plattform für digitale Unternehmen auf. Wir ermöglichen es Kreativen, Coaches, Pädagogen und Unternehmen, ihr Publikum mit ansprechenden Diskussionen, Live-Streams, Events, Chat, Kursen und Zahlungen zusammenzubringen – alles an einem Ort, unter ihrer eigenen Marke.
Wir sind stolz darauf, ein vollständig Remote-Unternehmen mit rund 270 (und wachsenden!) Teammitgliedern aus über 30 Ländern weltweit zu sein. Wir suchen außergewöhnliche Individuen auf der ganzen Welt, statten sie dafür aus, die beste Arbeit ihres Lebens zu leisten, und schaffen damit einen sinnvollen Einfluss auf ihr eigenes Leben. Wir erfassen keine Stunden, aber wir managen hohe Erwartungen sehr eng. Wir arbeiten über Zeitzonen hinweg zusammen, sind stark asynchron und dokumentieren gerne viel.
Zweimal im Jahr bringen wir das gesamte Unternehmen an wunderschöne Orte auf der ganzen Welt für unsere Firmen-Offsites zusammen. Bisher haben wir Offsites in der Türkei, Portugal, Mexiko, Thailand, Kolumbien, Italien, Irland und mehr veranstaltet, und es kommen noch weitere hinzu!
Besuchen Sie unsere Karriereseite für weitere Informationen über die Arbeit bei Circle.
Über die Rolle
Das KI-Qualitätssicherungs-Team bei Circle ist verantwortlich für die Grundlage zur Messung, Diagnose und Verbesserung der Qualität der KI-gestützten Funktionen von Circle. Dieses Team konzentriert sich auf den Aufbau der Infrastruktur zur Messung, Diagnose und Verbesserung von Produktions-KI-Systemen, anstatt auf ML-Forschung oder Modelltraining.
Wir suchen einen Lead Engineer, der uns beim Aufbau der Evaluierungs-Frameworks, Observability-Tools und Diagnose-Infrastruktur hilft, die uns sagen, ob unsere KI-Agenten gut funktionieren, wo wir sie verbessern können und wie wir sie schneller und kosteneffizienter machen können.
Dies ist eine hands-on Player-Coach-Rolle. Sie werden auch das KI-Qualitätssicherungs-Team mit einer ehrgeizigen und wachsenden Roadmap leiten und managen.
Wenn Sie begeistert davon sind, KI-Systeme zuverlässig, effizient und in großem Maßstab zum Laufen zu bringen, ist dies das Richtige für Sie.
Was Sie tun werden
- Bauen und verantworten Sie unsere Evaluierungs-Infrastruktur. Entwerfen Sie die CI/CD-Pipelines, Scorer und Datensätze, die uns sagen, ob die KI-Agenten von Circle (Planer, Tool-Aufrufer und Sub-Agenten) tatsächlich funktionieren, von einem einzelnen Tool-Aufruf bis zu einer vollständigen Multi-Turn-Konversation.
- Diagnostizieren Sie genau, wo die Qualität zusammenbricht. Verfolgen Sie Fehler über die Agenten-Pipeline hinweg, einschließlich Planerstellung vs. Ausführung, Tool-Auswahl, Tool-Trajektorie in komplexen Bereichen wie Workflows, Site Builder und Analysen. Wandeln Sie Ihre Erkenntnisse in Prototypen um, die das Problem lösen, oder identifizieren Sie Prioritäten, bei denen die KI-Kernentwicklung helfen kann.
- Erweitern Sie die Datensätze, die die Evaluierung ermöglichen. Richten Sie Annotations-Workflows ein und erstellen Sie KI-generierte und simulierte Konversationen, damit wir mehr vom Produkt abdecken können, als es mit manueller Kennzeichnung allein möglich wäre.
- Führen Sie strukturierte Experimente mit Prompts, Modellen und dem Agenten-Harness durch. Bewerten Sie neue und Open-Source-Modelle im Vergleich zu unserer Produktions-Baseline, bauen Sie das Framework auf, mit dem wir entscheiden, wann Modelle gewechselt werden, und jagen Sie Kosten- und Latenzgewinne durch Modellwechsel, Caching und Routing nach Plan-Komplexität.
- Leiten und entwickeln Sie das KI-Qualitätssicherungs-Team. Legen Sie die technische Richtung fest und managen Sie die täglichen Prioritäten, während Sie selbst hands-on am Code bleiben.
- Arbeiten Sie eng mit der KI-Kernentwicklung zusammen. Arbeiten Sie mit den Ingenieuren zusammen, die die KI-Produkte von Circle entwickeln, damit diese echtes Vertrauen haben, dass ihre Änderungen tatsächlich die Qualität verbessern und nicht nur ausgeliefert werden.
Was Sie für den Erfolg benötigen
- 7+ Jahre Erfahrung im Aufbau und der Auslieferung von Produktionssoftware, idealerweise einschließlich LLM-gestützter Agenten, die reale Aktionen in einem Produkt ausführen. Sie haben an komplexen, werkzeugnutzenden Systemen gearbeitet (mehrere Tools, Planung oder Orchestrierung, Sub-Agenten) und nicht nur an einfachen Single-Turn-Assistenten, und Sie können uns durch etwas führen, das Sie ausgeliefert haben, und wie Sie wussten, dass es tatsächlich funktionierte.
- Komfortabel in Ruby on Rails / Python oder bereit, diese schnell zu erlernen. Ruby on Rails ist unser Produktionssystem und die Grundlage, auf der die KI-Agenten von Circle aufgebaut sind, und Kenntnisse in Python sind ein starkes Plus, insbesondere für die Daten- und Evaluierungsseite der Arbeit.
- Erfahrung im Aufbau von Evaluierungs- oder Observability-Infrastrukturen für ML/KI-Systeme. Sie haben bereits Eval-Pipelines, Scorer, Dashboards oder CI/CD für Evals erstellt und verfügen über Erfahrung mit Evaluierungs-Frameworks wie Braintrust, LangSmith oder ähnlichen.
- Erfahrung im Design von Datensätzen, Annotations-Workflows oder Labeling-Pipelines für ML/KI-Evaluierung. Sie wissen, wie man Rohbeispiele durch menschliche Annotation, KI-generierte Daten oder Simulation in einen vertrauenswürdigen Datensatz verwandelt.
- Schnell lernen, aggressiv experimentieren und in einer hochdynamischen Umgebung erfolgreich sein. Sie müssen sich wohl fühlen, viele Experimente durchzuführen und die Ergebnisse die Argumente entscheiden zu lassen, auch die, die am Anfang nicht funktionieren (und das werden viele sein).
- Komfortabel in einem schnelllebigen Umfeld mit Ambiguität. Sie müssen neue Technologien lernen und anwenden, wenn Projekte dies erfordern.
- Starke Übereinstimmung mit unseren Unternehmenswerten.
- Sie beherrschen Englisch (gesprochen, geschrieben und gelesen) auf CEFR-Niveau C2 / ILR-Niveau 5.
Vergütung & Leistungen
Circle bietet global eine an US-Benchmarks angelehnte Vergütung, Unternehmensanteile mit laufenden Auffrischungszuschüssen und 35 Tage bezahlten Urlaub pro Jahr.
Wir sind ein reines Remote-Team, das sich zweimal im Jahr zu Firmen-Retreats an unglaublichen Orten auf der ganzen Welt trifft. Neben unglaublicher Flexibilität und Autonomie bieten wir ein Leistungspaket, das Gesundheit, Wohlbefinden und berufliches Wachstum unterstützt. Erfahren Sie mehr in unserem Candidate Hub.
Mehr erfahren
Hinweis zur Kandidatensicherheit & zum Interviewprozess
Vielfalt, Gerechtigkeit & Inklusion
Wie wir Kandidatendaten verwenden
Chancengleichheit im Beschäftigungsverhältnis
Besuchen Sie unseren Candidate Hub, um mehr über die Arbeit bei Circle, unsere Leistungen und unseren Einstellungsprozess zu erfahren.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen