Proximie
Nebius
Ingénieur Logiciel Staff / Senior (Recherche Agentique) - Crawler
À propos de Nebius
Nebius ouvre une nouvelle ère dans l'infrastructure cloud pour l'économie mondiale de l'IA. Nous construisons une plateforme cloud IA full-stack qui soutient les développeurs et les entreprises, de l'entraînement des données et des modèles au déploiement en production, sans les coûts et la complexité liés à la construction d'une infrastructure IA/ML interne.
Conçu par des ingénieurs, pour des ingénieurs. De l'orchestration GPU à grande échelle à l'optimisation de l'inférence, nous maîtrisons les défis complexes liés au calcul, au stockage, au réseau et à l'IA appliquée.
Coté au Nasdaq (NBIS) et basé à Amsterdam, nous avons une présence mondiale avec des centres de R&D en Europe, au Royaume-Uni, en Amérique du Nord et en Israël. Notre équipe de plus de 1,500 personnes comprend des centaines d'ingénieurs possédant une expertise approfondie en matériel, logiciels et R&D en IA.
Le Produit
Dans un monde en évolution rapide, la confiance dans l'IA dépend de la capacité des agents IA à s'appuyer sur des données réelles, fraîches et vérifiées. La recherche est le fondement qui rend cela possible.
Nous construisons une plateforme de recherche native pour agents, conçue spécifiquement pour la consommation par les systèmes IA plutôt que par les utilisateurs humains. Notre produit fournit des APIs de recherche programmatiques, à faible latence et observables que les agents IA utilisent pour récupérer, filtrer et raisonner sur des informations du monde réel à grande échelle.
LE POSTE
Nous recherchons un Ingénieur Logiciel Senior pour travailler sur l'infrastructure d'acquisition de contenu et de crawling d'un moteur de recherche novateur, adapté à la consommation par l'IA agentique.
Dans ce rôle, vous vous concentrerez sur la construction de systèmes qui découvrent, récupèrent et actualisent en continu le contenu du web ouvert et d'autres sources de données à grande échelle. Vous concevrez une infrastructure distribuée de crawling, de planification et d'ingestion capable de fonctionner à l'échelle d'Internet, tout en équilibrant la couverture, la fraîcheur, l'efficacité des ressources et la fiabilité. Vous travaillerez sur des systèmes qui traitent des milliards d'URL, gèrent des flux de données à haut débit et garantissent que le contenu de haute qualité est constamment disponible pour les systèmes d'indexation et de récupération en aval.
Comment se déroule une journée chez Nebius
Rythme rapide - Pensée audacieuse - Croissance constante - Impact significatif - Confiance et réelle autonomie - Opportunité de façonner l'avenir de l'IA
Dans ce poste, votre responsabilité sera de :
- Concevoir, implémenter et exploiter des systèmes de crawling à l'échelle du web pour acquérir du contenu sur Internet
- Construire des flux d'ingestion pour des sources de données internes et externes, y compris des crawlers, des flux structurés et des intégrations partenaires
- Développer des stratégies de planification, de priorisation, de politique de recrawl et de fraîcheur du crawl
- Construire des systèmes pour la découverte d'URL, la déduplication, l'extraction de contenu et l'orchestration du crawl
- Assurer le fonctionnement fiable de l'infrastructure de crawling dans des conditions de haut débit
- Définir des métriques d'observabilité et de qualité pour la couverture du crawl, la fraîcheur, le débit et la qualité du contenu
- Surveiller l'utilisation des ressources, la consommation de bande passante et les coûts d'infrastructure
- Collaborer avec les équipes d'indexation et de ML pour garantir que le contenu acquis répond aux exigences de récupération et de classement
- Permettre l'expérimentation sécurisée avec les stratégies de crawling et les politiques d'acquisition de contenu
Prérequis
Vous pourriez être un bon candidat si vous avez :
- + de 5 ans d'expérience dans la construction de systèmes backend ou distribués
- Une solide expertise en Go ou C++
- Expérience avec des systèmes distribués à grande échelle (10k+ RPS, des milliards d'URL, des pipelines à haut débit)
- Compréhension des protocoles web (HTTP, DNS, TLS), du crawling, du scraping et de l'extraction de contenu
- Expérience dans l'exploitation de systèmes de production et le débogage de défaillances dans des environnements distribués
- Une solide compréhension de la scalabilité, de la tolérance aux pannes et de la gestion des ressources
Les candidats les plus qualifiés pourraient également avoir de l'expérience avec :
- Le web crawling
- La construction de pipelines de données en streaming et de systèmes événementiels
- Kafka, Pulsar, NATS, RabbitMQ, ou des plateformes de messagerie similaires
- La conception de planificateurs distribués, de files d'attente et de systèmes de traitement asynchrone
- Spark, Flink, Beam, ou MapReduce
- La publicité technologique, les réseaux sociaux, les moteurs de recherche ou d'autres plateformes de contenu à grande échelle
Déclaration d'égalité des chances
Nous effectuons des entretiens de codage dans le cadre du processus.
Nebius est un employeur qui respecte l'égalité des chances. Nous nous engageons à favoriser un lieu de travail inclusif et diversifié et à offrir des opportunités d'emploi égales dans tous les aspects de l'emploi. Nous ne faisons aucune discrimination fondée sur la race, la couleur, la religion, le sexe (y compris la grossesse), l'origine nationale, l'ascendance, l'âge, le handicap, les informations génétiques, l'état civil, le statut d'ancien combattant, l'orientation sexuelle, l'identité ou l'expression de genre, ou toute autre caractéristique protégée par la loi applicable.
Les candidats doivent être autorisés à travailler dans le pays où ils postulent et devront fournir une preuve d'éligibilité à l'emploi comme condition d'embauche.
Si vous avez besoin d'aménagements pendant le processus de candidature, veuillez nous en informer.
Avantages et Perks : *
- Rémunération compétitive
- Opportunités de carrière et d'apprentissage
- Flexibilité et autonomie
- Culture collaborative et innovante
- Opportunité de travailler sur des projets IA impactants
- Environnement international et équipes talentueuses
