Reino Unido
Proximie
Nebius
Staff / Engenheiro(a) de Software Sênior (Busca Agentiva) - Crawler
Reino Unido
Amsterdam, North Holland, Reino Unido · London, England, Reino Unido
C++Go
Tradução automática. Consulte o original.
Sobre a Nebius
A Nebius está liderando uma nova era em infraestrutura de nuvem para a economia global de IA. Estamos construindo uma plataforma de nuvem de IA full-stack que suporta desenvolvedores e empresas desde o treinamento de dados e modelos até a implantação em produção, sem o custo e a complexidade de construir uma infraestrutura interna de IA/ML.
Construído por engenheiros, para engenheiros. Desde a orquestração de GPU em larga escala até a otimização de inferência, nós resolvemos os problemas difíceis em computação, armazenamento, rede e IA aplicada.
Listada na Nasdaq (NBIS) e sediada em Amsterdã, temos uma presença global com hubs de P&D na Europa, Reino Unido, América do Norte e Israel. Nossa equipe de mais de 1,500 inclui centenas de engenheiros com profundo conhecimento em hardware, software e P&D de IA.
O Produto
Em um mundo em rápida evolução, a confiança na IA depende de agentes de IA estarem fundamentados em dados frescos e verificados do mundo real. A busca é a base que torna isso possível.
Estamos construindo uma plataforma de busca nativa para agentes, projetada especificamente para o consumo de sistemas de IA, em vez de usuários humanos. Nosso produto fornece APIs de busca programáticas, de baixa latência e observáveis que os agentes de IA usam para recuperar, filtrar e raciocinar sobre informações do mundo real em escala.
A VAGA
Estamos procurando um(a) Engenheiro(a) de Software Sênior para trabalhar na infraestrutura de aquisição de conteúdo e crawling de um motor de busca inovador, adaptado para consumo por IA agentiva.
Nesta função, você se concentrará na construção de sistemas que descobrem, buscam e atualizam continuamente conteúdo da web aberta e de outras fontes de dados em larga escala. Você projetará infraestrutura distribuída de crawling, agendamento e ingestão capaz de operar na escala da internet, equilibrando cobertura, atualidade, eficiência de recursos e confiabilidade. Você trabalhará em sistemas que processam bilhões de URLs, gerenciam fluxos de dados de alta vazão e garantem que conteúdo de alta qualidade esteja consistentemente disponível para os sistemas downstream de indexação e recuperação.
Como é trabalhar na Nebius
Rápido avanço - Pensamento ousado - Crescimento constante - Impacto significativo - Confiança e autonomia real - Oportunidade de moldar o futuro da IA
Nesta posição, sua responsabilidade será: *
- Projetar, implementar e operar sistemas de crawling em escala web para aquisição de conteúdo da internet *
- Construir fluxos de trabalho de ingestão para fontes de dados internas e externas, incluindo crawlers, feeds estruturados e integrações com parceiros *
- Desenvolver políticas de agendamento de crawling, priorização, recrawl e estratégias de atualidade *
- Construir sistemas para descoberta de URLs, deduplicação, extração de conteúdo e orquestração de crawling *
- Garantir a operação confiável da infraestrutura de crawling sob condições de alta vazão *
- Definir métricas de observabilidade e qualidade para cobertura de crawling, atualidade, vazão e qualidade do conteúdo *
- Monitorar o uso de recursos, consumo de largura de banda e custo da infraestrutura *
- Colaborar com as equipes de indexação e ML para garantir que o conteúdo adquirido atenda aos requisitos de recuperação e ranqueamento *
- Permitir experimentação segura com estratégias de crawling e políticas de aquisição de conteúdo
Requisitos mínimos
Você pode ser um bom candidato(a) se você: *
- Mais de 5 anos de experiência construindo sistemas backend ou distribuídos *
- Forte expertise em Go ou C++ *
- Experiência com sistemas distribuídos em larga escala (10k+ RPS, bilhões de URLs, pipelines de alta vazão) *
- Compreensão de protocolos web (HTTP, DNS, TLS), crawling, scraping e extração de conteúdo *
- Experiência operando sistemas de produção e depurando falhas em ambientes distribuídos *
- Forte compreensão de escalabilidade, tolerância a falhas e gerenciamento de recursos
Candidatos fortes também podem ter experiência com: *
- Web crawling *
- Construção de pipelines de dados de streaming e sistemas orientados a eventos *
- Kafka, Pulsar, NATS, RabbitMQ, ou plataformas de mensagens similares *
- Projeto de schedulers distribuídos, filas e sistemas de processamento assíncrono *
- Spark, Flink, Beam, ou MapReduce *
- Ad tech, redes sociais, motores de busca ou outras plataformas de conteúdo em larga escala
Declaração de Igualdade de Oportunidades
Realizamos entrevistas de codificação como parte do processo.
A Nebius é um empregador que oferece igualdade de oportunidades. Estamos comprometidos em promover um ambiente de trabalho inclusivo e diversificado e em fornecer oportunidades de emprego iguais em todos os aspectos do emprego. Não discriminamos com base em raça, cor, religião, sexo (incluindo gravidez), origem nacional, ancestralidade, idade, deficiência, informação genética, estado civil, status de veterano, orientação sexual, identidade ou expressão de gênero, ou qualquer outra característica protegida pela lei aplicável.
Os candidatos devem ter autorização para trabalhar no país em que se candidatam e serão obrigados a fornecer prova de elegibilidade de emprego como condição de contratação.
Se você precisar de acomodações durante o processo de inscrição, por favor, nos informe.
Benefícios e Vantagens: *
- Remuneração competitiva *
- Oportunidades de crescimento e aprendizado na carreira *
- Flexibilidade e autonomia *
- Cultura colaborativa e inovadora *
- Oportunidade de trabalhar em projetos de IA impactantes *
- Ambiente internacional e equipes talentosas
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil