Vereinigtes Königreich
Proximie
Nebius
Staff / Senior Software Engineer (Agentic Search) - Crawler
Vereinigtes Königreich
Amsterdam, North Holland, Vereinigtes Königreich · London, England, Vereinigtes Königreich
C++Go
Automatische Übersetzung. Prüfe das Original.
Über Nebius
Nebius leitet eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine full-stack KI-Cloud-Plattform, die Entwickler und Unternehmen vom Training der Daten und Modelle bis zur Produktionsbereitstellung unterstützt, ohne die Kosten und Komplexität des Aufbaus großer interner KI/ML-Infrastrukturen.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung – wir lösen die schwierigen Probleme in den Bereichen Compute, Storage, Networking und angewandte KI.
An der Nasdaq (NBIS) notiert und mit Hauptsitz in Amsterdam, verfügen wir über eine globale Präsenz mit F&E-Zentren in Europa, Großbritannien, Nordamerika und Israel. Unser Team von über 1,500 Personen umfasst Hunderte von Ingenieuren mit tiefgreifender Expertise in Hardware, Software und KI-F&E.
Das Produkt
In einer sich schnell entwickelnden Welt hängt das Vertrauen in KI davon ab, dass KI-Agenten auf aktuellen, verifizierten Echtzeitdaten basieren. Suche ist die Grundlage, die dies möglich macht.
Wir bauen eine agenten-native Suchplattform, die speziell für KI-Systeme und nicht für menschliche Benutzer entwickelt wurde. Unser Produkt bietet programmatische, latenzarme und beobachtbare Such-APIs, die KI-Agenten verwenden, um Echtzeitinformationen im großen Maßstab abzurufen, zu filtern und zu verarbeiten.
DIE ROLLE
Wir suchen einen Senior Software Engineer, der an der Content-Akquise- und Crawling-Infrastruktur einer neuartigen Suchmaschine für den Agentic-KI-Konsum arbeitet.
In dieser Rolle konzentrieren Sie sich auf den Aufbau von Systemen, die Inhalte aus dem offenen Web und anderen groß angelegten Datenquellen entdecken, abrufen und kontinuierlich aktualisieren. Sie entwerfen verteilte Crawling-, Scheduling- und Ingestionsinfrastrukturen, die in der Lage sind, im Internet-Maßstab zu operieren, und dabei Abdeckung, Aktualität, Ressourceneffizienz und Zuverlässigkeit ausbalancieren. Sie arbeiten an Systemen, die Milliarden von URLs verarbeiten, hohe Datendurchsätze verwalten und sicherstellen, dass qualitativ hochwertige Inhalte für nachgelagerte Indexierungs- und Abrufsysteme konsistent verfügbar sind.
Wie ist es, bei Nebius zu arbeiten
Schnelllebig – Kühnes Denken – Ständiges Wachstum – Bedeutsame Wirkung – Vertrauen und echte Eigenverantwortung – Möglichkeit, die Zukunft der KI zu gestalten
In dieser Position sind Sie verantwortlich für: *
- Entwurf, Implementierung und Betrieb von Crawling-Systemen im Web-Maßstab zur Akquise von Inhalten aus dem Internet *
- Aufbau von Ingestions-Workflows für interne und externe Datenquellen, einschließlich Crawlers, strukturierter Feeds und Partnerintegrationen *
- Entwicklung von Crawl-Scheduling, Priorisierung, Re-Crawl-Richtlinien und Aktualitätsstrategien *
- Aufbau von Systemen für URL-Entdeckung, Deduplizierung, Content-Extraktion und Crawl-Orchestrierung *
- Sicherstellung des zuverlässigen Betriebs der Crawling-Infrastruktur unter Bedingungen mit hohem Durchsatz *
- Definition von Beobachtbarkeits- und Qualitätsmetriken für Crawl-Abdeckung, Aktualität, Durchsatz und Content-Qualität *
- Überwachung des Ressourcenverbrauchs, des Bandbreitenverbrauchs und der Infrastrukturkosten *
- Zusammenarbeit mit Indexierungs- und ML-Teams, um sicherzustellen, dass die erworbenen Inhalte die Anforderungen an Abruf und Ranking erfüllen *
- Ermöglichung sicherer Experimente mit Crawling-Strategien und Content-Akquise-Richtlinien
Mindestanforderungen
Sie passen gut zu uns, wenn Sie: *
- Mindestens 5 Jahre Erfahrung im Aufbau von backend oder verteilten Systemen *
- Starke Expertise in Go oder C++ *
- Erfahrung mit verteilten Systemen im großen Maßstab (10k+ RPS, Milliarden von URLs, Hochdurchsatz-Pipelines) *
- Verständnis von Webprotokollen (HTTP, DNS, TLS), Crawling, Scraping und Content-Extraktion *
- Erfahrung im Betrieb von Produktionssystemen und der Fehlerbehebung in verteilten Umgebungen *
- Starkes Verständnis von Skalierbarkeit, Fehlertoleranz und Ressourcenmanagement
Starke Kandidaten haben möglicherweise auch Erfahrung mit: *
- Web-Crawling *
- Aufbau von Streaming-Datenpipelines und ereignisgesteuerten Systemen *
- Kafka, Pulsar, NATS, RabbitMQ oder ähnliche Messaging-Plattformen *
- Entwurf von verteilten Schedulern, Queues und asynchronen Verarbeitungssystemen *
- Spark, Flink, Beam oder MapReduce *
- Ad-Tech, soziale Netzwerke, Suchmaschinen oder andere groß angelegte Content- Plattformen
Erklärung zu Chancengleichheit
Wir führen im Rahmen des Prozesses Coding-Interviews durch.
Nebius ist ein Arbeitgeber, der Chancengleichheit fördert. Wir sind bestrebt, ein inklusives und vielfältiges Arbeitsumfeld zu schaffen und gleiche Beschäftigungschancen in allen Aspekten der Beschäftigung zu bieten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder anderen Merkmalen, die durch geltendes Recht geschützt sind.
Bewerber müssen berechtigt sein, in dem Land zu arbeiten, in dem sie sich bewerben, und müssen als Bedingung für die Einstellung einen Nachweis der Beschäftigungsberechtigung erbringen.
Wenn Sie während des Bewerbungsprozesses Unterkünfte benötigen, teilen Sie uns dies bitte mit.
Vorteile & Vergünstigungen: *
- Wettbewerbsfähige Vergütung *
- Karrierewachstum und Lernmöglichkeiten *
- Flexibilität und Eigenverantwortung *
- Kollaborative und innovative Kultur *
- Möglichkeit, an wirkungsvollen KI-Projekten zu arbeiten *
- Internationales Umfeld und talentierte Teams
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen