États-Unis
Deloitte
Normal Computing Corporation
Ingénieur Runtime
À distanceÉtats-Unis
Palo Alto, California, États-Unis
C++Rust
Traduction automatique. Consultez l’original.
Le poste
Normal Computing | Construisez avec nous
Normal est une entreprise d'IA appliquée qui résout les problèmes les plus complexes en matière d'IA et de silicium. Nous concevons du matériel et des logiciels fondamentaux pour l'industrie des semi-conducteurs, les infrastructures d'IA critiques et les systèmes plus larges qui alimentent notre monde, en partenariat avec les institutions les plus avancées au monde. Nous travaillons en une seule équipe répartie entre New York, la Silicon Valley (Mountain View), Londres, Copenhague et Séoul.
Le matériel de Normal exécute les parties les plus gourmandes en mémoire de l'inférence de grands modèles directement dans la mémoire, plutôt que de transférer les poids vers un processeur. Le logiciel qui rend cela programmable n'existe pas encore sous une forme standard. Le runtime est la couche à travers laquelle le reste de ce logiciel s'exécute : c'est ainsi que les programmes compilés sont chargés, planifiés et exécutés sur notre matériel. Vous serez responsable de sa conception, d'une grande partie de sa mise en œuvre et définirez son orientation technique.
Il s'agit d'un poste senior opérationnel. Notre puce étant en phase pré-silicium, vous développerez d'abord le runtime sur nos simulateurs et prototypes FPGA, derrière une interface unique, afin que les logiciels situés au-dessus du runtime ne changent pas lors de l'arrivée du silicium.
Vos responsabilités
- Architecture du runtime : Vous serez responsable de la conception du runtime : gestion des périphériques, allocation mémoire, transferts hôte-périphérique, chargement des exécutables et soumission des commandes. Le succès signifie que le compilateur et les couches de service programment notre matériel via une interface stable unique.
- Abstraction matérielle : Masquer les différences entre les simulateurs, les prototypes FPGA, le silicium et les générations de matériel ultérieures derrière cette interface.
- État du périphérique : Gérer l'état qui réside sur notre matériel entre les requêtes, comme les poids des modèles résidents, afin que la couche de service puisse s'y fier.
- Performance : Maintenir la surcharge du runtime hors du chemin critique pour l'inférence LLM, mesurée par la latence de bout en bout et le débit.
- Interfaces inter-équipes : Définir la limite avec le compilateur au-dessus du runtime, et avec le pilote et le firmware en dessous, dont notre équipe matérielle est responsable.
- Leadership technique : Définir l'orientation technique du runtime, examiner les conceptions qui en dépendent et travailler avec les ingénieurs compilateurs et serveurs pour que l'interface réponde à leurs besoins.
Profil recherché
- Expérience dans la création de runtimes, de pilotes ou de couches d'abstraction matérielle pour des accélérateurs ou d'autres matériels non standard
- Solides compétences en programmation système en C++ ou Rust : gestion de la mémoire, concurrence et performance bas niveau
- Expérience avérée dans la gestion de bout en bout d'un composant système complexe, de la conception à la production, et dans la conduite de décisions techniques entre les équipes
- Compréhension des charges de travail d'inférence LLM et de leurs exigences vis-à-vis d'un runtime
- Aisance dans le développement de logiciels pour du matériel en évolution, de la simulation à la mise en service
Atouts supplémentaires
- Expérience avec des conceptions de runtime ouvertes telles que le HAL d'IREE, ou avec les internes des runtimes CUDA ou ROCm
- Expérience avec le calcul en mémoire ou d'autres matériels non-von-Neumann
- Expérience dans l'intégration d'un runtime avec un serveur d'inférence tel que vLLM
- Contributions à des runtimes open-source ou à des infrastructures système
Déclaration d'égalité des chances en matière d'emploi
Normal Computing est un employeur garantissant l'égalité des chances. Nous célébrons la diversité et nous nous engageons à créer un environnement inclusif pour tous les employés. Tous les candidats qualifiés seront pris en considération pour un emploi sans distinction de race, couleur, religion, sexe, orientation sexuelle, identité de genre, origine nationale, handicap, statut d'ancien combattant ou tout autre statut légalement protégé.
Aménagements pour l'accessibilité
Normal Computing s'engage à fournir des aménagements raisonnables aux personnes en situation de handicap. Si vous avez besoin d'assistance ou d'un aménagement en raison d'un handicap, veuillez nous en informer à accommodations@normalcomputing.com.
Avis de confidentialité
En soumettant votre candidature, vous acceptez que Normal Computing puisse collecter, utiliser et stocker vos informations personnelles à des fins liées à l'emploi, conformément à notre Avis de confidentialité pour les candidats.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil