Estados Unidos
Idaho Health Insurance Exchange
d-Matrix
Ingeniero Senior Staff de Inferencia LLM
RemotoEstados Unidos
Santa Clara, California, Estados Unidos
PythonC++
Traducción automática. Consulta el original.
Este Puesto
En d-Matrix, estamos enfocados en liberar el potencial de la IA generativa para impulsar la transformación de la tecnología. Estamos a la vanguardia de la innovación en software y hardware, superando los límites de lo posible. Nuestra cultura es de respeto y colaboración.
Valoramos la humildad y creemos en la comunicación directa. Nuestro equipo es inclusivo y nuestras diferentes perspectivas permiten mejores soluciones. Buscamos personas apasionadas por abordar desafíos y motivadas por la ejecución. ¿Listo para encontrar tu espacio de juego? Juntos, podemos ayudar a dar forma a las infinitas posibilidades de la IA.
El Grupo Frontier de D-Matrix se sitúa en la vanguardia de lo posible con la inferencia LLM en hardware heterogéneo. Nuestra misión abarca el full stack: desde la búsqueda de casos de uso emergentes y patrones de implementación novedosos hasta la optimización profunda de los kernels de inferencia y la creación de sistemas de prueba de concepto que muestren el tejido computacional único de D-Matrix. Somos un equipo de investigación aplicada e ingeniería que se mueve rápido, lanza sistemas reales y trabaja directamente con los equipos de producto y hardware para dar forma a la hoja de ruta.
Construimos las herramientas, los entornos de ejecución y los frameworks que permiten que los modelos de IA de vanguardia se ejecuten de manera eficiente y rentable en implementaciones heterogéneas que combinan silicio de D-Matrix con CPUs, GPUs y aceleradores personalizados. Nuestro trabajo impulsa todo, desde pipelines de benchmarking y evaluación hasta el servicio de inferencia de grado de producción.
Estamos contratando ingenieros de inferencia de extremo a extremo que se sientan cómodos yendo de una idea de investigación novedosa a un sistema optimizado y desplegado. Trabajarás en cada capa de la pila de inferencia, desde la optimización a nivel de kernel hasta la orquestación distribuida y las APIs de servicio de alto nivel.
Este puesto podría ser una gran oportunidad para ti si:
Cualificaciones Requeridas
- Tienes una intuición profunda para las arquitecturas modernas de IA generativa y cómo exprimir el rendimiento de ellas en tiempo de inferencia.
- Estás familiarizado con el funcionamiento interno de los frameworks de inferencia de código abierto (vLLM, SGLang, TensorRT-LLM, etc.) y puedes extenderlos o reemplazarlos cuando sea necesario.
- Disfrutas buscando nuevos casos de uso: explorando topologías de implementación heterogéneas y construyendo POCs en etapas tempranas que demuestren nuevas ideas.
- Estás orientado a resultados con una fuerte tendencia a la acción; te haces cargo de los problemas de principio a fin, desde el prototipo hasta la optimización y la entrega.
- Te energiza trabajar en la intersección de hardware novedoso y modelos de vanguardia y quieres que tu trabajo influya directamente en cómo se utiliza la próxima generación de silicio de IA.
- Valoras la comunicación clara y prosperas en un entorno de equipo pequeño y de alta responsabilidad.
- Título de Grado en Ciencias de la Computación, Ingeniería Eléctrica o un campo relacionado, y 10+ años de experiencia relevante en ingeniería o experiencia demostrada equivalente.
- Sólida competencia en Python y C/C++.
- Experiencia práctica en la optimización de la inferencia LLM — kernels de atención, caché KV, estrategias de lotes, cuantización (INT8/FP8/INT4).
- Experiencia con al menos un framework de inferencia importante (vLLM, SGLang, TensorRT-LLM, ONNX Runtime o similar) a nivel de contribuidor.
- Familiaridad con la programación de kernels de GPU (CUDA/Triton) y herramientas de perfilado de rendimiento.
Responsabilidades
- Identificar y prototipar casos de uso emergentes de inferencia LLM adecuados para implementaciones de hardware heterogéneo.
- Construir sistemas de prueba de concepto convincentes que demuestren las capacidades de D-Matrix a clientes, socios y partes interesadas internas.
- Desarrollar y ajustar kernels personalizados y optimizaciones a nivel de operador para maximizar el rendimiento y minimizar la latencia.
- Impulsar estrategias de cuantización, dispersión y lotes adaptadas al modelo computacional de D-Matrix.
- Construir y mantener entornos de ejecución de inferencia, frameworks de servicio y herramientas de evaluación.
- Contribuir a sistemas de inferencia distribuidos: paralelismo de tensores/pipeline, prefill/decode desagregado, gestión de caché KV.
- Trabajar en estrecha colaboración con arquitectos de hardware para proporcionar a los equipos de firmware y compiladores información procesable sobre cargas de trabajo de inferencia.
- Asociarse con desarrollo de producto y negocio para traducir POCs en demostraciones para clientes.
- Contribuir a publicaciones técnicas, whitepapers y proyectos de código abierto que impulsen la visibilidad de D-Matrix.
Cualificaciones Preferidas
- Se prefiere Máster o Doctorado en Ciencias de la Computación, Ingeniería Eléctrica o un campo relacionado, con 6+ años de experiencia relevante en la industria.
- Experiencia con implementaciones de cómputo heterogéneo — programación de cargas de trabajo de inferencia en hardware disimilar (aceleradores, CPUs, GPUs).
- Familiaridad con silicio personalizado o inferencia basada en ASIC (más allá de entornos solo GPU).
- Experiencia con inferencia distribuida: paralelismo de tensores, paralelismo de pipelines, servicio desagregado.
- Contribuciones a proyectos de código abierto de inferencia o sistemas de ML.
- Experiencia con servicio de inferencia en producción a escala (SLOs de latencia, lotes continuos, servicio multimodelo).
- Familiaridad con decodificación especulativa, enrutamiento de mezcla de expertos o técnicas de servicio de contexto largo.
- Familiaridad práctica con el material del JAX Scaling Book o un entendimiento equivalente a nivel de sistema de entrenamiento e inferencia LLM modernos.
Por qué el Grupo Frontier de D-Matrix
- Trabaja con hardware genuinamente novedoso: la arquitectura de cómputo en memoria de D-Matrix abre problemas de optimización de inferencia que no existen en ningún otro lugar.
- Propiedad de extremo a extremo, desde la idea hasta el sistema desplegado, con un ciclo de retroalimentación corto entre tu trabajo y el hardware real.
- Equipo pequeño y senior con alta autonomía e influencia directa en la dirección del producto.
- Compensación competitiva, acciones y beneficios en Santa Clara, CA.
Política de Igualdad de Oportunidades de Empleo
d-Matrix se enorgullece de ser un lugar de trabajo que ofrece igualdad de oportunidades y un empleador de acción afirmativa. Estamos comprometidos a fomentar un entorno inclusivo donde todos se sientan bienvenidos y empoderados para hacer su mejor trabajo. Contratamos al mejor talento para nuestros equipos, independientemente de su raza, religión, color, edad, discapacidad, sexo, identidad de género, orientación sexual, ascendencia, información genética, estado civil, origen nacional, afiliación política o condición de veterano. Nuestro enfoque es contratar compañeros de equipo con experiencia humilde, amabilidad, dedicación y voluntad de aceptar desafíos y aprender juntos cada día.
d-Matrix no acepta currículums ni envíos de candidatos de agencias externas. Agradecemos el interés y el esfuerzo de las empresas de reclutamiento, pero solicitamos amablemente que las personas interesadas en oportunidades con d-Matrix se postulen directamente a través de nuestros canales oficiales. Este enfoque nos permite agilizar nuestros procesos de contratación y mantener una evaluación coherente y justa de todos los solicitantes. Gracias por su comprensión y cooperación.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil