Estados Unidos
B&A
Together AI
Engenheiro Sênior de Backend, Plataforma de Inferência
Estados Unidos
San Francisco, California, Estados Unidos
TypeScriptPythonKubernetesRustGo
Tradução automática. Consulte o original.
SOBRE A VAGA
Together AI está construindo a Plataforma de Inferência que traz os modelos de IA generativa mais avançados para o mundo. Nossa plataforma suporta cargas de trabalho serverless multi-tenant e endpoints dedicados, permitindo que desenvolvedores, empresas e pesquisadores aproveitem os mais recentes LLMs, modelos multimodais, de imagem, áudio, vídeo e voz em escala.
Se você se empolga em otimizar a latência até o último milissegundo, este é o seu playground. Você trabalhará diretamente com dezenas de milhares de GPUs (H100s, H200s, GB200s e além), descobrindo como utilizar completamente cada FLOP e cada gigabyte de memória.
Você colaborará diretamente com equipes de pesquisa para colocar modelos de ponta em produção, tornando os avanços utilizáveis no mundo real. Nossa equipe também trabalha em estreita colaboração com a comunidade de código aberto, contribuindo e aproveitando projetos como SGLang, vLLM e NVIDIA Dynamo para expandir os limites do desempenho e eficiência da inferência.
RESPONSABILIDADES
- Moldar o backbone de inferência central que impulsiona os modelos de ponta da Together AI.
- Resolver desafios críticos de desempenho em roteamento global de requisições, balanceamento de carga e alocação de recursos em larga escala.
- Trabalhar com aceleradores de última geração (H100s, H200s, GB200s) em escala global.
- Ser parceiro de pesquisadores de classe mundial para colocar novas arquiteturas de modelos em produção.
- Colaborar e contribuir com a comunidade de código aberto, moldando as ferramentas que impulsionam a indústria.
- Construir e otimizar o roteamento global e local de requisições, garantindo balanceamento de carga de baixa latência entre data centers e pods do motor de modelo.
- Desenvolver sistemas de auto-scaling para alocar dinamicamente recursos e atender a SLOs rigorosos em dezenas de data centers.
- Projetar sistemas para modelagem de tráfego multi-tenant, ajustando tanto a alocação de recursos quanto o tratamento de requisições — incluindo limitação inteligente de taxa e regulação — para garantir justiça e experiência consistente para todos os usuários.
- Engenharia de trade-offs entre latência e throughput para servir diversas cargas de trabalho de forma eficiente.
- Otimizar o cache de prefixo para reduzir a computação do modelo e acelerar as respostas.
- Colaborar com pesquisadores de ML para colocar novas arquiteturas de modelos em produção em escala.
- Continuamente perfilar e analisar o desempenho em nível de sistema para identificar gargalos e implementar otimizações.
REMUNERAÇÃO
- Uma cultura de profunda propriedade técnica e alto impacto — onde seu trabalho torna os modelos mais rápidos, mais baratos e mais acessíveis.
- Remuneração competitiva, participação acionária e benefícios.
Oferecemos remuneração competitiva, participação acionária em startup, plano de saúde e outros benefícios competitivos. A faixa salarial base nos EUA para esta posição em tempo integral é:
$200,000 - $290,000 + equity + benefícios.
Nossas faixas salariais são determinadas por localização, nível e cargo. A remuneração individual será determinada pela experiência, habilidades e conhecimento relacionado à função.
REQUISITOS
- 5+ anos de experiência comprovada na construção de sistemas distribuídos e microsserviços API de larga escala e tolerantes a falhas.
- Forte background no projeto, análise e melhoria da eficiência, escalabilidade e estabilidade de sistemas complexos.
- Excelente compreensão de conceitos de baixo nível do sistema operacional: multithreading, gerenciamento de memória, redes e desempenho de armazenamento.
- Proficiência em nível de especialista em uma ou mais das seguintes linguagens: Rust, Go, Python ou TypeScript.
- Bacharelado ou Mestrado em Ciência da Computação, Engenharia da Computação ou área relacionada, ou experiência prática equivalente.
- Conhecimento de LLMs modernos e modelos generativos e como eles são servidos em produção é um diferencial.
- Experiência trabalhando com o ecossistema de código aberto em torno de inferência é altamente valiosa; familiaridade com SGLang, vLLM ou NVIDIA Dynamo será especialmente útil.
- Experiência com Kubernetes ou orquestração de contêineres é um forte diferencial.
- Familiaridade com stacks de software de GPU (CUDA, Triton, NCCL) e tecnologias HPC (InfiniBand, NVLink, MPI) é um diferencial.
SOBRE A TOGETHER AI
Together AI, a AI Native Cloud, é construída especificamente para engenheiros de IA. Desenvolvedores de aplicações de IA obtêm inferência de alto desempenho que escala de forma confiável, fine-tuning e aprendizado por reforço para criar modelos especializados de ponta, e pré-treinamento em escala massiva para inteligência totalmente customizada, tudo em torno de um marketplace de modelos abertos líderes que as equipes podem executar, adaptar e possuir.
Confiável por Cursor, Decagon, ElevenLabs, Salesforce e Zoom, a Together serve 400+ trilhões de tokens por mês.
IGUALDADE DE OPORTUNIDADES
Together AI é um Empregador de Igualdade de Oportunidades e se orgulha de oferecer igualdade de oportunidades de emprego a todos, independentemente de raça, cor, ascendência, religião, sexo, origem nacional, orientação sexual, idade, cidadania, estado civil, deficiência, identidade de gênero, status de veterano e muito mais.
Por favor, consulte nossa política de privacidade em together.ai/privacy
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil