Estados Unidos
B&A
Sciforium
Engenheiro(a) de Treinamento e Inferência Distribuída
Estados Unidos
San Francisco, California, Estados Unidos
PythonC++
Tradução automática. Consulte o original.
Sobre a oportunidade
Sciforium é uma empresa de infraestrutura de IA desenvolvendo modelos de IA multimodais de próxima geração e uma plataforma proprietária de serving de alta eficiência. Apoiada por financiamento de vários milhões de dólares e patrocínio direto da AMD com suporte prático de engenheiros da AMD, a equipe está crescendo rapidamente para construir o full stack que impulsiona modelos de IA de ponta e aplicações em tempo real.
Sobre a vaga
Sciforium está buscando um(a) Engenheiro(a) de Treinamento e Inferência Distribuída altamente qualificado(a) para construir, otimizar e manter a pilha de software crítica que impulsiona nossas cargas de trabalho de treinamento e serving de IA em larga escala. Nesta função, você trabalhará em toda a infraestrutura de machine learning desde runtimes de baixo nível CUDA/ROCm até frameworks de alto nível como JAX e PyTorch para garantir que nossos sistemas de treinamento distribuído sejam rápidos, escaláveis, estáveis e eficientes.
Esta posição é ideal para alguém que adora engenharia de sistemas profunda, depuração de interações complexas entre hardware e software, e otimização de desempenho em todas as camadas da pilha de ML. Você desempenhará um papel fundamental na viabilização do treinamento e implantação de LLMs de próxima geração e modelos de IA generativa.
O que você fará
- Manutenção da Pilha de Software: Manter, atualizar e otimizar bibliotecas e frameworks críticos de ML, incluindo JAX, PyTorch, CUDA e ROCm em múltiplos ambientes e configurações de hardware.
- Propriedade da Pilha de Ponta a Ponta: Construir, manter e melhorar continuamente toda a pilha de software de ML, desde drivers ROCm/CUDA até ferramentas de alto nível JAX/PyTorch.
- Otimização de Sistemas Distribuídos: Garantir que todas as implementações de modelos sejam eficientemente particionadas (sharded), divididas e configuradas para treinamento e serving distribuídos em larga escala.
- Integração de Sistemas: Integrar e validar continuamente módulos para correção de runtime, eficiência de memória e escalabilidade em clusters multi-nó de GPUs/aceleradores.
- Profiling e Análise de Desempenho: Realizar profiling detalhado de grafos de compilação, cargas de trabalho de treinamento e execução de runtime para otimizar o desempenho e eliminar gargalos.
- Depuração e Confiabilidade: Solucionar problemas complexos de interação hardware-software, incluindo falhas de compilação do vLLM em ROCm, vazamentos de memória CUDA, falhas de runtime distribuído e inconsistências em nível de kernel.
Colaborar com as equipes de pesquisa, infraestrutura e engenharia de kernel para melhorar a taxa de transferência do sistema, a estabilidade e a experiência do desenvolvedor.
Perfil do candidato ideal
- 5+ anos de experiência na indústria em sistemas de ML, treinamento distribuído ou áreas relacionadas.
- Bacharelado ou Mestrado em Ciência da Computação, Engenharia da Computação, Engenharia Elétrica ou áreas técnicas relacionadas.
- Forte experiência em programação em Python, C++, e familiaridade com ferramentas de ML e sistemas distribuídos.
- Profundo entendimento de ferramentas de profiling (por exemplo, Nsight, ROCm Profiler, XLA profiler, ferramentas TPU).
- Profunda expertise com configuração de particionamento em frameworks modernos de ML como PyTorch e JAX.
- Experiência com sistemas de treinamento distribuído multi-nó e frameworks de orquestração (DTensor, GSPMD, etc.).
- Experiência prática na manutenção ou construção de pilhas de treinamento de ML envolvendo CUDA, ROCm, NCCL, XLA ou tecnologias similares.
Diferenciais
- Extensa experiência com a pilha XLA/JAX, incluindo internals de compilação e caminhos de lowering customizados.
- Familiaridade com serving distribuído ou frameworks de inferência em larga escala (por exemplo, vLLM, TensorRT, FasterTransformer).
- Experiência em otimização de kernels de GPU ou particionamento de modelos ciente do acelerador.
- Forte entendimento dos blocos de construção de baixo nível de C++ usados em frameworks de ML (por exemplo, XLA, kernels CUDA, ops customizados).
Benefícios incluem
- Plano de saúde, odontológico e oftalmológico
- Plano 401k
- Almoço, lanches e bebidas diários
- Férias flexíveis
- Salário e participação acionária competitivos
Oportunidade igual
Sciforium é um empregador que oferece igualdade de oportunidades. Todos os candidatos serão considerados para emprego sem atenção à raça, cor, religião, sexo, orientação sexual, identidade de gênero, origem nacional, status de veterano ou deficiência.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil