Estados Unidos
MANTECH
Wynd Labs
Engenheiro(a) de Crawling para Pesquisa
Estados Unidos
Estados Unidos
PythonJavaC++RustGo
Tradução automática. Consulte o original.
Quem Somos
Construímos infraestrutura que entrega enormes volumes de dados da web para empresas que treinam os modelos de IA mais poderosos do mundo.
Somos a equipe que ajuda a impulsionar e dar suporte ao Grass, uma rede de compartilhamento de largura de banda que nos permite operar um crawler distribuído massivo, nos dando acesso único a dados públicos da web de alta qualidade em escala global. Além disso, construímos pipelines para ingestão, segmentação e anotação de bilhões de vídeos, transcrições e arquivos de áudio, impulsionando a criação de datasets para laboratórios de ponta.
Somos enxutos, técnicos e agimos rápido. Sem burocracia, sem tomada de decisão lenta; apenas uma equipe de construtores se esforçando para expandir o que é possível para dados abertos da web e IA.
Visão Geral
Como Engenheiro(a) de Crawling para Pesquisa, você projetará e operará sistemas de aquisição de dados da web em larga escala para pesquisa e desenvolvimento de modelos. Seu trabalho abrangerá sistemas distribuídos, infraestrutura de scraping e pipelines de dados.
Por Que Trabalhar Conosco
Oportunidade. Estamos na vanguarda do desenvolvimento de um crawler e grafo de conhecimento em escala web que melhora o acesso a dados públicos da web e estende o valor da IA às pessoas.
Cultura. Somos uma equipe enxuta com um alto padrão. Viemos para o trabalho não para ficar confortáveis, mas para descobrir do que somos capazes e para fazer um trabalho que importa. Não estamos chamando pessoas que mantêm as coisas em movimento. Estamos chamando pessoas que tornam todos ao seu redor melhores.
Priorizamos baixo ego e alta produtividade. Esta é uma equipe totalmente remota.
Requisitos
Observação: Esta função exige um horário de trabalho que se sobreponha suficientemente ao horário comercial EST para colaborar efetivamente com a equipe.
- Forte experiência em programação em uma ou mais das seguintes linguagens: Go, Rust, Python, Java, ou C++
- Experiência na construção de crawlers web ou pipelines de dados em larga escala
- Sólido entendimento de HTTP, redes e comportamento de navegador
- Familiaridade com sistemas distribuídos e processamento paralelo
- Experiência trabalhando com grandes datasets (preferencialmente escala TB–PB)
- Capacidade de depurar ambientes instáveis ou adversários
Responsabilidades
- Construir e manter crawlers web em larga escala em diversos domínios
- Projetar sistemas de alta taxa de transferência e tolerantes a falhas para coleta de dados (milhões a bilhões de URLs/dia)
- Lidar com sistemas anti-bot, limites de taxa e sites dinâmicos/pesados em JavaScript
- Desenvolver pipelines para limpeza, deduplicação, filtragem e normalização
- Construir e manter datasets para pesquisa e treinamento de modelos
- Monitorar o desempenho do crawling, cobertura e qualidade dos dados; iterar rapidamente
- Colaborar com equipes de pesquisa para alinhar a coleta de dados com as necessidades de modelagem
- Otimizar a infraestrutura para custo, latência e confiabilidade
Preferencial / Bônus
- Experiência com pipelines de NLP ou curadoria de datasets para ML
- Familiaridade com dados de pré-treinamento de LLM ou sistemas de recuperação
- Experiência com navegadores headless (por exemplo, Chrome DevTools Protocol, Playwright, Puppeteer)
- Conhecimento de sistemas de proxy, rotação de IP e orquestração de requisições em larga escala
- Histórico em avaliação de qualidade de dados ou benchmarking
- Experiência executando cargas de trabalho em infraestrutura cloud ou bare-metal
O Que Esta Função Envolve
- Operar na fronteira entre escala e confiabilidade
- Adaptar-se a ambientes web em constante mudança
- Equilibrar taxa de transferência, cobertura e qualidade dos dados
- Ser o(a) responsável por pipelines de aquisição de dados de ponta a ponta
Critérios de Avaliação
- Capacidade de projetar sistemas que escalam sem degradar a qualidade
- Resolução prática de problemas sob restrições do mundo real
- Velocidade de iteração e senso de propriedade
- Melhorias mensuráveis na cobertura, qualidade ou eficiência dos dados
Exemplos de Projetos
- Construir um crawler distribuído para um projeto web de alta qualidade e atualizado continuamente
- Projetar um sistema para classificar e filtrar bilhões de páginas para pré-treinamento
- Extrair dados estruturados de sites dinâmicos e pesados em JavaScript em escala
- Melhorar a deduplicação e a pontuação de qualidade em datasets multimodais
Remuneração
Com base na experiência e na capacidade demonstrada de operar em escala
Remuneração. Você receberá um salário e benefícios competitivos.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil