Estados Unidos
MANTECH
Anthropic
Engenheiro(a) de Performance, Sistemas de Inferência
Estados Unidos
Seattle, Washington, Estados Unidos · San Francisco, California, Estados Unidos · New York, New York, Estados Unidos
PythonSQL
Tradução automática. Consulte o original.
Sobre a Anthropic
A missão da Anthropic é criar sistemas de IA confiáveis, interpretáveis e direcionáveis. Queremos que a IA seja segura e benéfica para nossos usuários e para a sociedade como um todo. Nossa equipe é um grupo em rápido crescimento de pesquisadores, engenheiros, especialistas em políticas e líderes empresariais comprometidos, trabalhando juntos para construir sistemas de IA benéficos.
Sobre a Vaga
A frota de inferência da Anthropic atende o Claude para milhões de usuários em nossos próprios produtos e nas maiores plataformas de nuvem do mundo. A pilha que torna isso possível é profunda e rigidamente acoplada: kernels de acelerador, servidores de modelo, roteamento distribuído, autoescalonamento, gerenciamento de capacidade. Cada camada afeta as outras, muitas vezes de maneiras difíceis de ver isoladamente.
A equipe de Dinâmica de Sistemas de Inferência é responsável por entender todo o sistema e mantê-lo em um alto padrão em quatro dimensões: throughput, latência, confiabilidade e correção. Medimos o desempenho da frota em relação à sua fronteira de desempenho teórica, realizamos investigações entre camadas para explicar as lacunas e garantimos as verificações de correção que asseguram que as saídas do Claude estejam corretas, não apenas rápidas, em todas as plataformas de hardware e configurações de serviço. Não somos donos dos componentes individuais. Nós os instrumentamos e modelamos, encontramos as oportunidades de maior alavancagem entre eles e fazemos parceria com as equipes proprietárias para obter os ganhos.
Você trabalhará em todas as quatro áreas. Uma semana pode significar rastrear uma regressão de latência de cauda desde o tempo de requisição até o roteamento e o batching, passando por sobrecarga de kernel; na semana seguinte, pode significar apertar uma avaliação de correção para que ela capture uma regressão de saída introduzida por uma mudança de quantização. Estamos procurando engenheiros de performance que tratam a correção como parte da performance.
Principais Responsabilidades
- Realizar investigações de performance entre camadas em throughput, latência e confiabilidade, dimensionando a lacuna entre o desempenho real da frota e os limites teóricos, identificando as causas raiz e quantificando o valor de fechá-las
- Ser o(a) responsável e aprimorar o pipeline de avaliação de correção que valida a qualidade da saída do modelo em plataformas de hardware, numéricas e configurações de serviço, e liderar a investigação quando ele detectar uma regressão
- Construir a observabilidade, dashboards e ferramentas de modelagem que tornam o throughput, latência, custo, confiabilidade, correção e suas interações legíveis em toda a pilha
- Fazer parceria com as equipes de kernel, serviço, roteamento, autoescalonamento e capacidade para priorizar e implementar as otimizações de maior impacto que sua análise revelar
- Classificar implacavelmente uma grande área de oportunidades por impacto e esforço, e dizer não àquelas que não forem aprovadas
Qualificações Mínimas
- Experiência prática em engenharia de performance: profiling, análise de roofline, otimização de latência/throughput e investigação de causa raiz em sistemas de produção complexos
- Proficiência em Python, com a capacidade de ler, instrumentar e contribuir para grandes bases de código de produção que você não escreveu
- Sólidas habilidades de análise de dados (por exemplo, SQL, pandas ou similar) suficientes para transformar telemetria bruta em descobertas claras
- Capacidade de comunicar resultados quantitativos claramente por escrito para influenciar prioridades em equipes que você não gerencia
- Interesse genuíno em correção como disciplina de engenharia: numéricas, design de avaliação, detecção de regressão
Logística
- Educação mínima: Bacharelado ou uma combinação equivalente de educação, treinamento e/ou experiência
- Área de estudo exigida: Uma área relevante para a função, demonstrada através de cursos, treinamento ou experiência profissional
- Anos mínimos de experiência: Os anos de experiência exigidos correlacionarão com os requisitos de nível de cargo interno para a posição
Qualificações Preferenciais
- Experiência com sistemas de ML, especialmente infraestrutura de treinamento ou inferência ou pilhas de serviço de LLM em geral. Experiência direta em inferência em larga escala é um forte diferencial
- Familiaridade com conceitos de performance de GPU/TPU/aceleradores (largura de banda de memória, sobrecargas de kernel, quantização, comunicação coletiva). Raciocinar sobre essas questões é mais importante do que ter escrito kernels você mesmo
- Experiência com engenharia de confiabilidade para serviços de alto throughput: autoescalonamento, balanceamento de carga, roteamento de requisições, latência de cauda
- Experiência com avaliação de modelos ou pipelines de detecção de regressão numérica
- Experiência na construção de observabilidade ou telemetria para sistemas distribuídos
- Confortável em ter impacto através de influência e evidências, em vez de propriedade direta
Projetos Representativos
- Rastrear uma lacuna de latência de 350ms em uma nova plataforma de acelerador, desde o tempo de requisição de ponta a ponta até uma sobrecarga de agendamento do servidor, quantificar o ganho e implementar a correção diretamente ou com a equipe proprietária
- Redesenhar o portão de avaliação de correção: determinar quais sinais capturam de forma confiável regressões reais na saída do modelo versus ruído, e torná-lo o critério de liberação confiável em todos os backends de hardware
- Construir um funil de FLOPs que detalhe onde a computação realmente vai em toda a frota, expondo a lacuna entre o throughput alcançado e os limites dos kernels
- Identificar a causa raiz de uma divergência numérica entre duas plataformas de hardware para uma mudança específica de kernel e definir o limite de aceitação daqui para frente
- Modelar o impacto latência-custo de alterar os alvos de dimensionamento de batch e utilização, e transformar o resultado no sinal que o autoescalonador usa em produção
Prazo para inscrição: Nenhum. As candidaturas serão revisadas continuamente.
A faixa de remuneração anual para esta função é listada abaixo.
Para funções de vendas, a faixa fornecida é a faixa de "On Target Earnings" (OTE) da função, o que significa que a faixa inclui tanto as comissões de vendas/bônus de vendas quanto o salário base anual para a função.
Salário Anual
$350,000—$850,000 USD
- Política híbrida baseada em localização: Atualmente, esperamos que todos os funcionários estejam em um de nossos escritórios pelo menos 25% do tempo. No entanto, algumas funções podem exigir mais tempo em nossos escritórios.
- Patrocínio de visto: Nós patrocinamos vistos! No entanto, não conseguimos patrocinar vistos com sucesso para todas as funções e todos os candidatos. Mas se fizermos uma oferta, faremos todos os esforços razoáveis para conseguir um visto para você, e mantemos um advogado de imigração para ajudar com isso.
Encorajamos você a se candidatar, mesmo que não acredite que atende a todas as qualificações. Nem todos os candidatos fortes atenderão a todas as qualificações listadas. Pesquisas mostram que pessoas que se identificam como pertencentes a grupos sub-representados são mais propensas a experimentar a síndrome do impostor e duvidar da força de sua candidatura, por isso pedimos que você não se exclua prematuramente e envie uma candidatura se estiver interessado(a) neste trabalho. Acreditamos que sistemas de IA como os que estamos construindo têm enormes implicações sociais e éticas. Acreditamos que isso torna a representação ainda mais importante, e nos esforçamos para incluir uma variedade de perspectivas diversas em nossa equipe.
Sua segurança é importante para nós. Para se proteger de possíveis golpes, lembre-se de que os recrutadores da Anthropic entram em contato apenas a partir de endereços de e-mail @anthropic.com. Em alguns casos, podemos fazer parceria com agências de recrutamento verificadas que se identificarão como trabalhando em nome da Anthropic. Tenha cuidado com e-mails de outros domínios. Recrutadores legítimos da Anthropic nunca pedirão dinheiro, taxas ou informações bancárias antes do seu primeiro dia. Se você tiver alguma dúvida sobre uma comunicação, não clique em nenhum link – acesse anthropic.com/careers diretamente para ver as vagas confirmadas.
Venha trabalhar conosco!
A Anthropic é uma corporação de benefício público com sede em São Francisco. Oferecemos remuneração e benefícios competitivos, doação opcional de ações com contrapartida, férias generosas e licença parental, horários de trabalho flexíveis e um espaço de escritório agradável para colaborar com colegas. Orientações sobre o Uso de IA por Candidatos: Saiba mais sobre nossa política para o uso de IA em nosso processo de candidatura.
Como somos diferentes
Acreditamos que a pesquisa de IA de maior impacto será "big science". Na Anthropic, trabalhamos como uma única equipe coesa em apenas alguns esforços de pesquisa em larga escala. E valorizamos o impacto – avançar em nossos objetivos de longo prazo de IA direcionável e confiável – em vez de trabalhar em quebra-cabeças menores e mais específicos. Vemos a pesquisa de IA como uma ciência empírica, que tem tanto em comum com a física e a biologia quanto com os esforços tradicionais em ciência da computação. Somos um grupo extremamente colaborativo e realizamos discussões de pesquisa frequentes para garantir que estamos buscando o trabalho de maior impacto em qualquer momento. Como tal, valorizamos muito as habilidades de comunicação.
A maneira mais fácil de entender nossas direções de pesquisa é ler nossa pesquisa recente. Esta pesquisa continua muitas das direções em que nossa equipe trabalhou antes da Anthropic, incluindo: GPT-3, Interpretabilidade Baseada em Circuitos, Neurônios Multimodais, Leis de Escala, IA e Computação, Problemas Concretos em Segurança de IA e Aprendizado com Preferências Humanas.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil