Estados Unidos
Idaho Health Insurance Exchange
d-Matrix
Engenheiro(a) de Inferência de LLM - Senior Staff
RemotoEstados Unidos
Santa Clara, California, Estados Unidos
PythonC++
Tradução automática. Consulte o original.
Esta Posição
Na d-Matrix, estamos focados em liberar o potencial da IA generativa para impulsionar a transformação da tecnologia. Estamos na vanguarda da inovação em software e hardware, expandindo os limites do que é possível. Nossa cultura é de respeito e colaboração.
Valorizamos a humildade e acreditamos na comunicação direta. Nossa equipe é inclusiva, e nossas diferentes perspectivas permitem melhores soluções. Buscamos indivíduos apaixonados por enfrentar desafios e impulsionados pela execução. Pronto(a) para encontrar seu playground? Juntos, podemos ajudar a moldar as infinitas possibilidades da IA.
O D-Matrix Frontier Group está na vanguarda do que é possível com inferência de LLM em hardware heterogêneo. Nosso escopo abrange o full stack: desde a prospecção de casos de uso emergentes e padrões de implantação inovadores até a otimização profunda de kernels de inferência e a construção de sistemas de prova de conceito que exibem o tecido computacional único do D-Matrix. Somos uma equipe de pesquisa aplicada e engenharia que se move rapidamente, entrega sistemas reais e trabalha diretamente com as equipes de produto e hardware para moldar o roadmap.
Construímos as ferramentas, runtimes e frameworks que permitem que modelos de IA de ponta rodem de forma eficiente e econômica em implantações heterogêneas, combinando silício D-Matrix com CPUs, GPUs e aceleradores personalizados. Nosso trabalho impulsiona tudo, desde pipelines de benchmarking e avaliação até o serviço de inferência em nível de produção.
Estamos contratando engenheiros(as) de inferência de ponta a ponta que se sintam confortáveis em ir de uma ideia de pesquisa inovadora a um sistema implantado e otimizado. Você trabalhará em todas as camadas da pilha de inferência, desde a otimização em nível de kernel até a orquestração distribuída e APIs de serviço de alto nível.
Esta posição pode ser uma ótima oportunidade para você se:
Qualificações Necessárias
- Possui uma intuição profunda sobre arquiteturas modernas de IA generativa e como extrair o máximo de desempenho delas no momento da inferência.
- Está familiarizado(a) com os detalhes internos de frameworks de inferência de código aberto (vLLM, SGLang, TensorRT-LLM, etc.) e pode estendê-los ou substituí-los quando necessário.
- Gosta de prospectar novos casos de uso — explorando topologias de implantação heterogêneas e construindo POCs (Provas de Conceito) de estágio inicial que validam novas ideias.
- É orientado(a) a resultados com forte viés para ação; você assume a responsabilidade por problemas de ponta a ponta, desde o protótipo até a otimização e entrega.
- Sente-se energizado(a) por trabalhar na interseção de hardware inovador e modelos de ponta e deseja que seu trabalho influencie diretamente como o silício de IA de próxima geração é utilizado.
- Valoriza a comunicação clara e prospera em um ambiente de equipe pequeno e de alta responsabilidade.
- Bacharelado em Ciência da Computação, Engenharia Elétrica ou área relacionada, e 10+ anos de experiência relevante em engenharia ou experiência demonstrada equivalente.
- Forte proficiência em Python e C/C++.
- Experiência prática na otimização de inferência de LLM — kernels de atenção, cache KV, estratégias de batching, quantização (INT8/FP8/INT4).
- Experiência com pelo menos um framework de inferência principal (vLLM, SGLang, TensorRT-LLM, ONNX Runtime ou similar) em nível de contribuidor.
- Familiaridade com programação de kernels de GPU (CUDA/Triton) e ferramentas de profiling de desempenho.
Responsabilidades
- Identificar e prototipar casos de uso emergentes de inferência de LLM adequados para implantações em hardware heterogêneo.
- Construir sistemas de prova de conceito convincentes que demonstrem as capacidades do D-Matrix para clientes, parceiros e stakeholders internos.
- Desenvolver e ajustar kernels personalizados e otimizações em nível de operador para maximizar a taxa de transferência e minimizar a latência.
- Impulsionar estratégias de quantização, esparsidade e batching adaptadas ao modelo computacional do D-Matrix.
- Construir e manter runtimes de inferência, frameworks de serviço e ferramentas de avaliação.
- Contribuir para sistemas de inferência distribuída: paralelismo de tensor/pipeline, pré-preenchimento/decodificação desagregados, gerenciamento de cache KV.
- Trabalhar em estreita colaboração com arquitetos de hardware para fornecer insights acionáveis de cargas de trabalho de inferência às equipes de firmware e compiladores.
- Colaborar com desenvolvimento de produto e negócios para traduzir POCs em demonstrações voltadas para o cliente.
- Contribuir para publicações técnicas, whitepapers e projetos de código aberto que promovam a visibilidade do D-Matrix.
Qualificações Preferenciais
- Mestrado ou Doutorado em Ciência da Computação, Engenharia Elétrica ou área relacionada é preferível, com 6+ anos de experiência relevante na indústria.
- Experiência com implantações de computação heterogênea — agendamento de cargas de trabalho de inferência em hardware dissimilar (aceleradores, CPUs, GPUs).
- Familiaridade com inferência baseada em silício personalizado ou ASIC (além de ambientes apenas de GPU).
- Experiência com inferência distribuída: paralelismo de tensor, paralelismo de pipeline, serviço desagregado.
- Contribuições para projetos de inferência ou sistemas de ML de código aberto.
- Experiência com serviço de inferência em produção em escala (SLOs de latência, batching contínuo, serviço multi-modelo).
- Familiaridade com decodificação especulativa, roteamento de mistura de especialistas (mixture-of-experts) ou técnicas de serviço de contexto longo.
- Familiaridade prática com o material do JAX Scaling Book ou entendimento equivalente em nível de sistema de treinamento e inferência de LLM modernos.
Por que o D-Matrix Frontier Group
- Trabalhe com hardware genuinamente inovador: a arquitetura de computação em memória do D-Matrix abre problemas de otimização de inferência que não existem em nenhum outro lugar.
- Propriedade de ponta a ponta, da ideia ao sistema implantado, com um ciclo de feedback curto entre seu trabalho e o hardware real.
- Equipe pequena e sênior com alta autonomia e influência direta na direção do produto.
- Remuneração competitiva, participação acionária (equity) e benefícios em Santa Clara, CA.
Política de Igualdade de Oportunidades de Emprego
A d-Matrix se orgulha de ser um local de trabalho que oferece igualdade de oportunidades e empregador de ação afirmativa. Estamos comprometidos em promover um ambiente inclusivo onde todos se sintam bem-vindos e capacitados a fazer o seu melhor trabalho. Contratamos os melhores talentos para nossas equipes, independentemente de raça, religião, cor, idade, deficiência, sexo, identidade de gênero, orientação sexual, ancestralidade, informações genéticas, estado civil, origem nacional, afiliação política ou status de veterano. Nosso foco é contratar colegas com expertise humilde, gentileza, dedicação e vontade de abraçar desafios e aprender juntos todos os dias.
A d-Matrix não aceita currículos ou submissões de candidatos de agências externas. Agradecemos o interesse e o esforço das empresas de recrutamento, mas solicitamos gentilmente que os indivíduos interessados em oportunidades na d-Matrix se candidatem diretamente através de nossos canais oficiais. Essa abordagem nos permite otimizar nossos processos de contratação e manter uma avaliação consistente e justa de todos os candidatos. Obrigado(a) pela sua compreensão e cooperação.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil