Reino Unido
Proximie
Nebius
Staff / Ingeniero/a de Software Senior (Búsqueda Agentiva) - Crawler
Reino Unido
Amsterdam, North Holland, Reino Unido · London, England, Reino Unido
C++Go
Traducción automática. Consulta el original.
Acerca de Nebius
Nebius está liderando una nueva era en infraestructura de nube para la economía global de IA. Estamos construyendo una plataforma de nube de IA full-stack que soporta a desarrolladores y empresas desde el entrenamiento de datos y modelos hasta el despliegue en producción, sin el coste y la complejidad de construir una infraestructura interna de IA/ML.
Construido por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de inferencia, abordamos los problemas difíciles en cómputo, almacenamiento, redes e IA aplicada.
Cotizada en Nasdaq (NBIS) y con sede en Ámsterdam, tenemos una presencia global con centros de I+D en Europa, Reino Unido, Norteamérica e Israel. Nuestro equipo de más de 1,500 incluye cientos de ingenieros con profunda experiencia en hardware, software e I+D de IA.
El Producto
En un mundo en rápida evolución, la confianza en la IA depende de que los agentes de IA estén fundamentados en datos frescos y verificados del mundo real. La búsqueda es la base que hace esto posible.
Estamos construyendo una plataforma de búsqueda nativa para agentes diseñada específicamente para sistemas de IA en lugar de usuarios humanos. Nuestro producto proporciona APIs de búsqueda programáticas, de baja latencia y observables que los agentes de IA utilizan para recuperar, filtrar y razonar sobre información del mundo real a escala.
EL ROL
Buscamos un/a Ingeniero/a de Software Senior para trabajar en la infraestructura de adquisición y rastreo de contenido de un motor de búsqueda novedoso adaptado al consumo de IA agentiva.
En este rol, te centrarás en la construcción de sistemas que descubren, obtienen y refrescan continuamente contenido de la web abierta y otras fuentes de datos a gran escala. Diseñarás infraestructura distribuida de rastreo, programación e ingesta capaz de operar a escala de internet, equilibrando cobertura, frescura, eficiencia de recursos y fiabilidad. Trabajarás en sistemas que procesan miles de millones de URLs, gestionan flujos de datos de alto rendimiento y aseguran que el contenido de alta calidad esté consistentemente disponible para los sistemas de indexación y recuperación posteriores.
Cómo es trabajar en Nebius
Movimiento rápido - Pensamiento audaz - Crecimiento constante - Impacto significativo - Confianza y propiedad real - Oportunidad de dar forma al futuro de la IA
En esta posición, tu responsabilidad será: *
- Diseñar, implementar y operar sistemas de rastreo a escala web para adquirir contenido de internet *
- Construir flujos de trabajo de ingesta para fuentes de datos internas y externas, incluyendo crawlers, feeds estructurados e integraciones con socios *
- Desarrollar políticas de programación, priorización, re-rastreo y frescura del rastreo *
- Construir sistemas para el descubrimiento de URLs, deduplicación, extracción de contenido y orquestación del rastreo *
- Asegurar la operación fiable de la infraestructura de rastreo bajo condiciones de alto rendimiento *
- Definir métricas de observabilidad y calidad para la cobertura del rastreo, frescura, rendimiento y calidad del contenido *
- Monitorizar el uso de recursos, el consumo de ancho de banda y el coste de la infraestructura *
- Colaborar con los equipos de indexación y ML para asegurar que el contenido adquirido cumpla con los requisitos de recuperación y ranking *
- Permitir la experimentación segura con estrategias de rastreo y políticas de adquisición de contenido
Requisitos mínimos
Puedes ser un buen candidato/a si: *
- Tienes más de 5 años de experiencia construyendo sistemas backend o distribuidos *
- Tienes una sólida experiencia en Go o C++ *
- Experiencia con sistemas distribuidos a gran escala (10k+ RPS, miles de millones de URLs, flujos de alto rendimiento) *
- Comprensión de protocolos web (HTTP, DNS, TLS), rastreo, scraping y extracción de contenido *
- Experiencia operando sistemas en producción y depurando fallos en entornos distribuidos *
- Sólida comprensión de escalabilidad, tolerancia a fallos y gestión de recursos
Los candidatos/as fuertes también pueden tener experiencia en: *
- Rastreo web *
- Construcción de flujos de datos de streaming y sistemas basados en eventos *
- Kafka, Pulsar, NATS, RabbitMQ, o plataformas de mensajería similares *
- Diseño de planificadores distribuidos, colas y sistemas de procesamiento asíncrono *
- Spark, Flink, Beam o MapReduce *
- Ad tech, redes sociales, motores de búsqueda u otras plataformas de contenido a gran escala
Declaración de Igualdad de Oportunidades
Realizamos entrevistas de codificación como parte del proceso.
Nebius es un empleador que ofrece igualdad de oportunidades. Estamos comprometidos a fomentar un entorno de trabajo inclusivo y diverso y a proporcionar igualdad de oportunidades de empleo en todos los aspectos. No discriminamos por motivos de raza, color, religión, sexo (incluyendo embarazo), origen nacional, ascendencia, edad, discapacidad, información genética, estado civil, condición de veterano, orientación sexual, identidad o expresión de género, o cualquier otra característica protegida por la ley aplicable.
Los/as solicitantes deben estar autorizados/as para trabajar en el país en el que solicitan y se les requerirá que proporcionen prueba de elegibilidad de empleo como condición de contratación.
Si necesita adaptaciones durante el proceso de solicitud, por favor háganoslo saber.
Beneficios y Ventajas: *
- Compensación competitiva *
- Oportunidades de crecimiento profesional y aprendizaje *
- Flexibilidad y propiedad *
- Cultura colaborativa e innovadora *
- Oportunidad de trabajar en proyectos de IA de impacto *
- Entorno internacional y equipos talentosos
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil