Alemania
Eco Plus Solutions AB
Tensordyne
Estudiante en prácticas - Rendimiento de inferencia de LLM
Alemania
Munich, Bavaria, Alemania
PythonC++Rust
Traducción automática. Consulta el original.
Sobre Tensordyne
La IA está transformando nuestro mundo. Puede realizar funciones cognitivas que antes solo podían hacer los humanos, como percibir interacciones a través de diferentes modalidades y entornos, con la capacidad de aprender rápidamente y luego resolver problemas complejos. Tensordyne es una empresa de soluciones de sistemas de IA que construye sistemas de inferencia de IA generativa de muy alto rendimiento y bajo consumo. Nuestra misión, a través de la creación de silicio, hardware y software personalizados, es permitir la aceleración de la inferencia de IA generativa multimodal a escala, con sistemas seguros, sostenibles y de alto rendimiento para nuestros clientes de centros de datos de hiperescala y neocloud. Estamos a la vanguardia del avance de las últimas investigaciones y mejoras de productos para soluciones de inferencia de IA generativa que harán que la IA sea aún más ventajosa para nuevas y atractivas aplicaciones de IA generativa. Tensordyne es una empresa emergente bien financiada y de ritmo rápido con sede tanto en Sunnyvale, CA, como en Múnich, Alemania. También contamos con muchos miembros del equipo con talento que trabajan de forma remota en toda América del Norte y Europa. Cuidamos de nuestra gente y de sus familias con beneficios integrales, compensación competitiva, opciones de gasto flexible y programas de reconocimiento, porque construir tecnología que define una categoría comienza con un equipo saludable y apoyado. ¡Únete a nosotros mientras damos forma al futuro de la inteligencia artificial generativa multimodal!
Sobre el puesto
¿Qué tan rápido debería ejecutarse un bloque de construcción de LLM en nuestro hardware? ¿Qué tan rápido se ejecuta realmente y qué lo haría más rápido? Como estudiante en prácticas de Rendimiento de inferencia de LLM, ayudarás a responder estas preguntas trabajando directamente con nuestros equipos de ingeniería de hardware y software. Escribirás y optimizarás kernels de bajo nivel, evaluarás el rendimiento en silicio real y desarrollarás herramientas de perfilado que ayuden a los ingenieros a comprender y mejorar el rendimiento de la inferencia de LLM. Obtendrás experiencia práctica con nuestra pila de programación Rust y el SDK de Python, utilizarás agentes de codificación de IA como parte de tu flujo de trabajo de desarrollo y colaborarás estrechamente con ingenieros que trabajan en compiladores, tiempos de ejecución y optimización de kernels. Esta es una oportunidad para aplicar tus conocimientos académicos a desafíos de hardware de IA del mundo real mientras asumes la responsabilidad de proyectos técnicos significativos.
Qué harás
- Comprender nuestro hardware: Aprender cómo el silicio de Tensordyne procesa los datos, gestiona la memoria y sincroniza las operaciones, y cómo los componentes clave de LLM como la atención, MLP y el enrutamiento de Mixture-of-Experts (MoE) se asignan a la arquitectura.
- Desarrollar y optimizar kernels: Implementar, probar y ajustar kernels de bajo nivel para mejorar el rendimiento de las cargas de trabajo de inferencia de LLM.
- Analizar el rendimiento: Construir modelos de rendimiento analíticos y de tipo roofline, comparar predicciones con mediciones de simulador y de silicio real, e investigar cuellos de botella en el rendimiento.
- Construir herramientas de evaluación comparativa y perfilado: Desarrollar arneses de evaluación comparativa, scripts de perfilado y visualizaciones de seguimiento que faciliten la medición, comprensión y mejora del rendimiento.
- Trabajar con agentes de codificación de IA: Explorar flujos de trabajo donde los agentes de IA ayuden con el desarrollo, la optimización y la evaluación comparativa de kernels, e identificar las herramientas y el contexto que necesitan para trabajar de manera efectiva.
- Colaborar entre equipos de ingeniería: Trabajar estrechamente con ingenieros de compiladores, tiempos de ejecución y kernels para traducir los conocimientos de rendimiento en mejoras prácticas.
- Proyecto de ejemplo: Desarrollar un arnés de evaluación comparativa y perfilado para un bloque de construcción de LLM, como la atención de decodificación, en dos niveles de abstracción. Comparar el rendimiento medido con las estimaciones teóricas y hacer que las herramientas sean accesibles para los agentes de codificación de IA.
Qué buscamos
- Actualmente matriculado en un programa de maestría en Ciencias de la Computación, Ingeniería Eléctrica, Matemáticas o un campo técnico relacionado.
- Sólidas habilidades de programación en Python y al menos uno de C, C++ o Rust.
- Comprensión de la arquitectura de computadoras, sistemas de memoria, ancho de banda y computación paralela a través de cursos académicos o proyectos personales.
- Interés en la programación de bajo nivel, el rendimiento del hardware y la optimización.
- Experiencia práctica en el uso de agentes de codificación de IA en flujos de trabajo de desarrollo, con la capacidad de evaluar y mejorar su producción.
- Mentalidad experimental, con la capacidad de formar hipótesis, analizar mediciones y comunicar hallazgos técnicos con claridad.
- Curiosidad, iniciativa y entusiasmo por aprender nuevas tecnologías.
Deseable
La experiencia en una o más de las siguientes áreas sería una ventaja:
- Programación de GPU o aceleradores de IA.
- Sistemas embebidos o programación bare-metal.
- Perfilado de rendimiento, evaluación comparativa u optimización.
- Fundamentos y arquitecturas de inferencia de LLM.
¿Por qué unirse a Tensordyne?
- Trabajar en tecnología de IA de vanguardia: Contribuir al desarrollo de hardware y software de inferencia de IA de próxima generación.
- Obtener experiencia práctica: Aplicar tus conocimientos universitarios a silicio real y problemas de ingeniería desafiantes.
- Ser dueño de proyectos significativos: Construir herramientas y soluciones que apoyen directamente a nuestros equipos de ingeniería.
- Aprender de ingenieros experimentados: Trabajar junto a especialistas en arquitectura de hardware, compiladores, tiempos de ejecución y optimización del rendimiento.
- Explorar el desarrollo asistido por IA: Obtener experiencia práctica construyendo con agentes de codificación de IA y dando forma a cómo interactúan con sistemas de hardware avanzados.
- Lograr un impacto duradero: Ayudar a desarrollar herramientas de rendimiento y flujos de trabajo que apoyarán tanto a las generaciones actuales como a las futuras de la tecnología de Tensordyne.
La cultura de Tensordyne se construyó sobre los siguientes valores
- Poner a las personas primero. Solo tenemos éxito cuando nuestra gente tiene éxito.
- Ética e integridad siempre. Sé abierto, honesto y respetuoso con todos.
- Piensa en grande. Sé ambicioso y ten objetivos audaces.
- Apunta a la excelencia. La calidad y la excelencia cuentan en todo lo que hacemos.
- Hazte cargo y hazlo realidad. ¡Los resultados importan!
- Haz que cada persona sea mejor junta de lo que sería como individuo.
- Acepta las diferencias de los demás y acepta que habrá diferencias.
Tensordyne es un empleador que ofrece igualdad de oportunidades. Creemos que los equipos diversos están mejor equipados para resolver problemas complejos y construir tecnología excepcional. Todos los solicitantes calificados recibirán consideración para el empleo sin distinción de edad, color, identidad o expresión de género, estado civil, origen nacional, discapacidad, estatus de veterano protegido, raza, religión, embarazo, orientación sexual o cualquier otra característica protegida por las leyes, regulaciones y ordenanzas aplicables.
Una nota para las agencias de contratación: Por favor, no contacten a los empleados o líderes de Tensordyne con respecto a este puesto. No aceptamos currículos de agencias no solicitados y no somos responsables de las tarifas asociadas con presentaciones no solicitadas.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil