Alemanha
Eco Plus Solutions AB
Tensordyne
Estudante Estagiário - Desempenho de Inferência de LLM
Alemanha
Munich, Bavaria, Alemanha
PythonC++Rust
Tradução automática. Consulte o original.
Sobre a Tensordyne
A IA está transformando o nosso mundo. Ela pode realizar funções cognitivas que anteriormente apenas humanos conseguiam, como perceber interações entre diferentes modalidades e ambientes - com a capacidade de aprender rapidamente e, então, resolver problemas complexos. A Tensordyne é uma empresa de soluções de sistemas de IA que constrói sistemas de inferência de IA generativa de altíssimo desempenho e baixo consumo de energia. Nossa missão, por meio da criação de silício, hardware e software personalizados, é permitir a aceleração de inferência de IA Generativa multimodal em escala, com sistemas seguros, sustentáveis e de alto desempenho para nossos clientes de data centers de hiperescala e neocloud. Estamos na vanguarda do avanço das pesquisas mais recentes e melhorias de produtos para soluções de inferência de IA generativa que tornarão a IA ainda mais vantajosa para novas e atraentes aplicações de IA generativa. A Tensordyne é uma startup bem financiada e de ritmo acelerado, com sedes em Sunnyvale, CA, e Munique, Alemanha. Também temos muitos membros talentosos na equipe trabalhando remotamente em toda a América do Norte e Europa. Cuidamos de nosso pessoal e de suas famílias com benefícios abrangentes, remuneração competitiva, opções de gastos flexíveis e programas de reconhecimento, porque construir tecnologia que define categorias começa com uma equipe saudável e apoiada. Venha se juntar a nós enquanto moldamos o futuro da inteligência artificial generativa multimodal!
Sobre a Vaga
Quão rápido um bloco de construção de LLM deve rodar em nosso hardware? Quão rápido ele realmente roda e o que o tornaria mais rápido? Como Estudante Estagiário em Desempenho de Inferência de LLM, você ajudará a responder a essas perguntas trabalhando diretamente com nossas equipes de engenharia de hardware e software. Você escreverá e otimizará kernels de baixo nível, fará benchmarking de desempenho em silício real e desenvolverá ferramentas de perfil que ajudam os engenheiros a entender e melhorar o desempenho de inferência de LLM. Você ganhará experiência prática com nossa stack de programação Rust e Python SDK, usará agentes de codificação de IA como parte de seu fluxo de trabalho de desenvolvimento e colaborará estreitamente com engenheiros que trabalham em compiladores, runtimes e otimização de kernel. Esta é uma oportunidade de aplicar seu conhecimento acadêmico a desafios reais de hardware de IA enquanto assume a responsabilidade por projetos técnicos significativos.
O que você fará
- Entender nosso hardware: Aprender como o silício da Tensordyne processa dados, gerencia memória e sincroniza operações, e como componentes-chave de LLM como atenção, MLP e roteamento de Mixture-of-Experts (MoE) são mapeados na arquitetura.
- Desenvolver e otimizar kernels: Implementar, testar e ajustar kernels de baixo nível para melhorar o desempenho de cargas de trabalho de inferência de LLM.
- Analisar desempenho: Construir modelos analíticos e de desempenho roofline, comparar previsões com medições de simulador e de silício real, e investigar gargalos de desempenho.
- Construir ferramentas de benchmarking e profiling: Desenvolver harnesses de benchmark, scripts de profiling e visualizações de rastreamento que tornem o desempenho mais fácil de medir, entender e melhorar.
- Trabalhar com agentes de codificação de IA: Explorar fluxos de trabalho onde agentes de IA auxiliam no desenvolvimento, otimização e benchmarking de kernel, e identificar as ferramentas e o contexto de que precisam para trabalhar de forma eficaz.
- Colaborar entre equipes de engenharia: Trabalhar estreitamente com engenheiros de compiladores, runtime e kernel para traduzir insights de desempenho em melhorias práticas.
- Projeto de exemplo: Desenvolver um harness de benchmarking e profiling para um bloco de construção de LLM, como decode attention, em dois níveis de abstração. Comparar o desempenho medido com estimativas teóricas e tornar as ferramentas acessíveis para agentes de codificação de IA.
O que buscamos
- Estar atualmente matriculado em um programa de mestrado em Ciência da Computação, Engenharia Elétrica, Matemática ou área técnica relacionada.
- Fortes habilidades de programação em Python e pelo menos uma das linguagens C, C++ ou Rust.
- Compreensão de arquitetura de computadores, sistemas de memória, largura de banda e computação paralela por meio de cursos acadêmicos ou projetos pessoais.
- Interesse em programação de baixo nível, desempenho de hardware e otimização.
- Experiência prática no uso de agentes de codificação de IA em fluxos de trabalho de desenvolvimento, com a capacidade de avaliar e melhorar sua produção.
- Mentalidade experimental, com a capacidade de formar hipóteses, analisar medições e comunicar descobertas técnicas claramente.
- Curiosidade, iniciativa e entusiasmo por aprender novas tecnologias.
Diferenciais
Experiência em uma ou mais das seguintes áreas será um diferencial:
- Programação de GPU ou aceleradores de IA.
- Sistemas embarcados ou programação bare-metal.
- Profiling de desempenho, benchmarking ou otimização.
- Fundamentos e arquiteturas de inferência de LLM.
Por que se juntar à Tensordyne?
- Trabalhe com tecnologia de IA de ponta: Contribua para o desenvolvimento de hardware e software de inferência de IA de próxima geração.
- Ganhe experiência prática: Aplique seu conhecimento universitário em silício real e problemas de engenharia desafiadores.
- Seja dono de projetos significativos: Construa ferramentas e soluções que apoiem diretamente nossas equipes de engenharia.
- Aprenda com engenheiros experientes: Trabalhe ao lado de especialistas em arquitetura de hardware, compiladores, runtimes e otimização de desempenho.
- Explore o desenvolvimento assistido por IA: Ganhe experiência prática construindo com agentes de codificação de IA e moldando como eles interagem com sistemas de hardware avançados.
- Cause um impacto duradouro: Ajude a desenvolver ferramentas de desempenho e fluxos de trabalho que apoiarão as gerações atuais e futuras da tecnologia da Tensordyne.
A cultura da Tensordyne foi construída sobre os seguintes valores
- Coloque as pessoas em primeiro lugar. Só temos sucesso quando nosso pessoal tem sucesso.
- Ética e integridade sempre. Seja aberto, honesto e respeitoso com todos.
- Pense grande. Seja ambicioso e tenha metas audaciosas.
- Busque a excelência. Qualidade e excelência contam em tudo o que fazemos.
- Assuma a responsabilidade e faça acontecer. Resultados importam!
- Torne cada pessoa melhor em conjunto do que seria individualmente.
- Abrace as diferenças uns dos outros e aceite que haverá diferenças.
A Tensordyne é um empregador que oferece oportunidades iguais. Acreditamos que equipes diversas estão mais bem equipadas para resolver problemas complexos e construir tecnologia excepcional. Todos os candidatos qualificados receberão consideração para emprego sem distinção de idade, cor, identidade ou expressão de gênero, estado civil, origem nacional, deficiência, status de veterano protegido, raça, religião, gravidez, orientação sexual ou qualquer outra característica protegida pelas leis, regulamentos e decretos aplicáveis.
Uma nota para agências de recrutamento: Por favor, não entrem em contato com funcionários ou líderes da Tensordyne a respeito desta vaga. Não aceitamos currículos de agências não solicitados e não somos responsáveis por taxas associadas a envios não solicitados.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil