Estados Unidos
CSC Leasing Co.
Databricks
Staff Software Engineer, AI Runtime
Estados Unidos
Mountain View, California, Estados Unidos · San Francisco, California, Estados Unidos
Traducción automática. Consulta el original.
Transparencia en el rango salarial
1930
Echa un vistazo a nuestra publicación reciente en el blog:
Cómo mantenemos la fiabilidad de las GPU en la IA de Databricks databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai
Entrenamiento rápido y tolerante a fallos de PyTorch en AI Runtime [Fast,%20fault-tolerant%20PyTorch%20training%20on%20AI%20Runtime]
Databricks se compromete a prácticas de compensación justas y equitativas. El rango o rangos salariales para este puesto se enumeran a continuación y representan el rango salarial esperado para puestos no comisionables o las ganancias objetivo para puestos comisionables. Los paquetes de compensación reales se basan en varios factores que son únicos para cada candidato, incluyendo, pero no limitado a, habilidades relacionadas con el trabajo, profundidad de experiencia, certificaciones y formación relevantes, y ubicación de trabajo específica. Basándose en los factores anteriores, Databricks anticipa utilizar toda la amplitud del rango. El paquete de compensación total para este puesto también puede incluir elegibilidad para bonificación anual por desempeño, capital y los beneficios enumerados anteriormente. Para obtener más información sobre en qué rango se encuentra su ubicación, visite nuestra página aquí databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Rango salarial local
$190,000—$265,000 USD
Nuestro compromiso con la diversidad y la inclusión
En Databricks, estamos comprometidos a fomentar una cultura diversa e inclusiva donde todos puedan sobresalir. Nos aseguramos cuidadosamente de que nuestras prácticas de contratación sean inclusivas y cumplan con los estándares de igualdad de oportunidades de empleo. Las personas que buscan empleo en Databricks son consideradas sin distinción de edad, color, discapacidad, etnia, estado familiar o civil, identidad o expresión de género, idioma, origen nacional, capacidad física y mental, afiliación política, raza, religión, orientación sexual, estatus socioeconómico, estatus de veterano y otras características protegidas.
Cumplimiento
Si se requiere acceso a tecnología o código fuente sujeto a control de exportaciones para el desempeño de las funciones del puesto, queda a discreción del empleador solicitar una licencia del gobierno de los EE. UU. para dichos puestos, y el empleador puede decidir no proceder con un solicitante basándose únicamente en este motivo.
En Databricks, nos apasiona permitir que los equipos de datos resuelvan los problemas más difíciles del mundo, desde hacer realidad el próximo medio de transporte hasta acelerar el desarrollo de avances médicos. Lo logramos construyendo y ejecutando la mejor plataforma de infraestructura de datos e IA del mundo para que nuestros clientes puedan utilizar conocimientos profundos de datos para mejorar sus negocios.
Entrenar y personalizar modelos de IA de última generación es una de las cargas de trabajo más exigentes en computación, y se sitúa en el corazón de la misión Mosaic AI de Databricks. AI Runtime (AIR) es nuestra plataforma gestionada para el entrenamiento y ajuste fino de modelos a gran escala mediante GPU. Ofrece a los clientes acceso bajo demanda a flotas de los aceleradores más recientes y una experiencia sin servidor que oculta la complejidad del aprovisionamiento, la programación y la orquestación de trabajos en múltiples nodos, con la resiliencia necesaria para mantener el entrenamiento en funcionamiento durante días o semanas en miles de GPU. AIR impulsa todo el espectro del entrenamiento personalizado, desde el ajuste fino de modelos abiertos hasta el preentrenamiento de modelos fundacionales a escala de frontera, para algunos de los equipos de IA más sofisticados del mundo.
Como ingeniero de software Staff para AI Runtime, desempeñarás un papel fundamental en la construcción y escalado de los sistemas que hacen que el entrenamiento a gran escala sea rápido, fiable y sencillo. Dirigirás la arquitectura y evolución de la pila de entrenamiento gestionada por GPU, abarcando la programación y capacidad, el rendimiento del entrenamiento distribuido, la tolerancia a fallos y la experiencia del desarrollador al lanzar y operar trabajos a escala. Más allá de las contribuciones prácticas a los sistemas centrales, ayudarás a definir la visión técnica a largo plazo para AIR, asesorarás a ingenieros senior, colaborarás con equipos de producto, investigación y plataforma, y liderarás las iniciativas que amplíen el impacto técnico y comercial del entrenamiento personalizado en Databricks.
El impacto que tendrás
- Dirigir la arquitectura y evolución de la plataforma de entrenamiento gestionada por GPU de AIR, ofreciendo un entrenamiento escalable, de alto rendimiento y resiliente en flotas que abarcan miles de aceleradores.
- Resolver los problemas más complejos en el entrenamiento a gran escala, incluyendo la orquestación de múltiples nodos, estrategias de paralelismo distribuido, programación y enrutamiento dinámico de GPU, carga de datos de alto rendimiento, y puntos de control y restauración para trabajos de muy larga duración.
- Impulsar la eficiencia de las GPU y el rendimiento del entrenamiento, aumentando la utilización (como la utilización de FLOPs del modelo y el rendimiento de extremo a extremo) y reduciendo el coste por ejecución de entrenamiento en diversas arquitecturas de modelos y generaciones de hardware.
- Construir los cimientos de resiliencia y observabilidad que mantienen saludables los trabajos en múltiples nodos, detectando y recuperándose de fallos de hardware y software con una interrupción mínima para los clientes.
- Colaborar con equipos de producto, investigación y plataforma para dar forma a las APIs, CLI y la experiencia del desarrollador que facilitan el lanzamiento, monitorización y depuración de trabajos de entrenamiento en producción.
- Liderar esfuerzos de ingeniería de extremo a extremo, desde el diseño hasta el despliegue en producción, manteniendo un alto estándar de rendimiento, corrección y fiabilidad.
- Realizar contribuciones directas y de alto impacto a los sistemas centrales detrás de AIR, y ayudar a implementar el soporte para los aceleradores más recientes y nuevas regiones a medida que la flota crece.
- Promover la excelencia en ingeniería, asesorar a otros ingenieros a través de revisiones de diseño y discusiones técnicas, y ayudar a dar forma a la dirección técnica a largo plazo de Databricks en infraestructura de entrenamiento de IA.
Lo que buscamos
- 10+ años de experiencia construyendo y operando sistemas distribuidos a gran escala, con gran profundidad en infraestructura de entrenamiento de GPU, computación de alto rendimiento o sistemas de ML.
- Experiencia práctica con marcos de entrenamiento distribuido (como PyTorch, FSDP, DeepSpeed o Megatron) y las estrategias de paralelismo (paralelismo de datos, tensor, tubería y secuencia) utilizadas para entrenar modelos grandes.
- Sólida comprensión de los patrones de resiliencia en el entrenamiento, incluyendo puntos de control, detección de fallos y recuperación automática para trabajos de larga duración en múltiples nodos.
- Sólido conocimiento de los fundamentos de rendimiento de GPU, incluyendo arquitectura de aceleradores, interconexiones de alta velocidad (como NVLink e InfiniBand o RoCE), comunicación colectiva y los cuellos de botella que gobiernan el rendimiento y la utilización del entrenamiento.
- Experiencia en la construcción y operación de productos de plataforma gestionados y multiinquilino en la nube, con claros SLA y SLO para disponibilidad, rendimiento y fiabilidad.
- Sólida base en algoritmos, estructuras de datos y diseño de sistemas aplicados a sistemas distribuidos a gran escala sensibles al rendimiento.
- Capacidad demostrada para entregar iniciativas técnicamente complejas y de alto impacto que generen un valor claro para el cliente o el negocio.
- Fuertes habilidades de comunicación y capacidad para colaborar entre equipos de producto, investigación e infraestructura en un entorno de ritmo rápido.
- Mentalidad estratégica orientada al producto con la capacidad de alinear la ejecución técnica con una visión a largo plazo, y pasión por asesorar a ingenieros y fomentar la excelencia técnica.
- Grado en Ciencias de la Computación o campo relacionado (se prefiere máster o doctorado).
Sobre Databricks
Databricks es la empresa de datos e IA. Más de 20,000 organizaciones en todo el mundo, incluyendo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever y 70% de las Fortune 500, confían en la plataforma de datos + IA de Databricks para construir y escalar aplicaciones, análisis y agentes de datos e IA. Con sede en San Francisco y 30+ oficinas en todo el mundo, Databricks ofrece una plataforma unificada que incluye Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse y Unity Catalog. Para obtener más información, siga a Databricks en LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Beneficios
En Databricks, nos esforzamos por ofrecer beneficios y ventajas integrales que satisfagan las necesidades de todos nuestros empleados. Para obtener detalles específicos sobre los beneficios ofrecidos en su región, haga clic aquí docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil