Estados Unidos
MANTECH
Wynd Labs
Ingeniero de Rastreo de Investigación
Estados Unidos
Estados Unidos
PythonJavaC++RustGo
Traducción automática. Consulta el original.
Quiénes Somos
Construimos la infraestructura que entrega cantidades masivas de datos web a las empresas que entrenan los modelos de IA más potentes del mundo.
Somos el equipo que ayuda a potenciar y dar soporte a Grass, una red de intercambio de ancho de banda que nos permite operar un rastreador distribuido masivo, dándonos acceso único a datos web públicos de alta calidad a escala global. Además de eso, hemos construido pipelines para ingerir, segmentar y anotar miles de millones de vídeos, transcripciones y archivos de audio, potenciando la creación de conjuntos de datos para laboratorios de vanguardia.
Somos un equipo ágil, técnico y que se mueve rápido. Sin burocracia, sin toma de decisiones lenta; solo un equipo de constructores que se esfuerzan por expandir lo que es posible para los datos de la web abierta y la IA.
Descripción General
Como Ingeniero de Rastreo de Investigación, diseñarás y operarás sistemas de adquisición de datos web a gran escala para investigación y desarrollo de modelos. Tu trabajo abarcará sistemas distribuidos, infraestructura de scraping y pipelines de datos.
Por qué Trabajar con Nosotros
Oportunidad. Estamos a la vanguardia del desarrollo de un rastreador y un grafo de conocimiento a escala web que mejora el acceso a los datos públicos de la web y extiende el valor de la IA a las personas.
Cultura. Somos un equipo ágil con un alto nivel. Venimos a trabajar no para estar cómodos, sino para descubrir de qué somos capaces y hacer un trabajo que importe. No llamamos a personas que mantienen las cosas en movimiento. Llamamos a personas que hacen que todos a su alrededor mejoren.
Priorizamos el bajo ego y la alta producción. Este es un equipo totalmente remoto.
Requisitos
Tenga en cuenta: Este puesto requiere un horario de trabajo que se solape suficientemente con el horario comercial EST para colaborar eficazmente con el equipo.
- Sólida experiencia en programación en uno o más de los siguientes: Go, Rust, Python, Java, o C++
- Experiencia en la construcción de rastreadores web o pipelines de datos a gran escala
- Sólida comprensión de HTTP, redes y comportamiento del navegador
- Familiaridad con sistemas distribuidos y procesamiento paralelo
- Experiencia trabajando con grandes conjuntos de datos (preferiblemente de escala TB–PB)
- Capacidad para depurar entornos inestables o adversarios
Responsabilidades
- Construir y mantener rastreadores web a gran escala en diversos dominios
- Diseñar sistemas de alta capacidad y tolerancia a fallos para la recopilación de datos (millones a miles de millones de URLs/día)
- Manejar sistemas anti-bots, límites de tasa y sitios dinámicos/con mucho JavaScript
- Desarrollar pipelines para limpieza, deduplicación, filtrado y normalización
- Construir y mantener conjuntos de datos para investigación y entrenamiento de modelos
- Monitorizar el rendimiento del rastreo, la cobertura y la calidad de los datos; iterar rápidamente
- Colaborar con equipos de investigación para alinear la recopilación de datos con las necesidades de modelado
- Optimizar la infraestructura en cuanto a coste, latencia y fiabilidad
Preferible / Bonus
- Experiencia con pipelines de NLP o curación de conjuntos de datos para ML
- Familiaridad con datos de preentrenamiento de LLM o sistemas de recuperación
- Experiencia con navegadores sin cabeza (por ejemplo, Chrome DevTools Protocol, Playwright, Puppeteer)
- Conocimiento de sistemas de proxy, rotación de IP y orquestación de solicitudes a gran escala
- Experiencia en evaluación de calidad de datos o benchmarking
- Experiencia ejecutando cargas de trabajo en infraestructura en la nube o bare-metal
Qué Implica Este Puesto
- Operar en el límite de la escala y la fiabilidad
- Adaptarse a entornos web en constante cambio
- Equilibrar el rendimiento, la cobertura y la calidad de los datos
- Ser responsable de los pipelines de adquisición de datos de extremo a extremo
Criterios de Evaluación
- Capacidad para diseñar sistemas que escalen sin degradar la calidad
- Resolución práctica de problemas bajo restricciones del mundo real
- Velocidad de iteración y propiedad
- Mejoras medibles en la cobertura, calidad o eficiencia de los datos
Proyectos de Ejemplo
- Construir un rastreador distribuido para un proyecto web de alta calidad y actualizado continuamente
- Diseñar un sistema para clasificar y filtrar miles de millones de páginas para preentrenamiento
- Extraer datos estructurados de sitios dinámicos con mucho JavaScript a escala
- Mejorar la deduplicación y la puntuación de calidad en conjuntos de datos multimodales
Compensación
Basado en la experiencia y la capacidad demostrada para operar a escala
Compensación. Recibirás un salario y beneficios competitivos.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil