Estados Unidos
B&A
Databricks
Ingeniero/a de Software Staff, AI Runtime
Estados Unidos
Mountain View, California, Estados Unidos · San Francisco, California, Estados Unidos
Traducción automática. Consulta el original.
Nuestro compromiso con la diversidad y la inclusión
P-1930
Echa un vistazo a nuestras publicaciones recientes del blog:
- Cómo mantenemos las GPU fiables en la IA de Databricks databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai
- Entrenamiento rápido y tolerante a fallos con PyTorch en AI Runtime [Fast,%20fault-tolerant%20PyTorch%20training%20on%20AI%20Runtime]
Transparencia del rango salarial
Databricks se compromete a prácticas de compensación justas y equitativas. Los rangos salariales para este puesto se enumeran a continuación y representan el rango salarial esperado para puestos no comisionables o los ingresos objetivo para puestos comisionables. Los paquetes de compensación reales se basan en varios factores que son únicos para cada candidato, que incluyen, entre otros, las habilidades relacionadas con el trabajo, la profundidad de la experiencia, las certificaciones y la capacitación relevantes, y la ubicación de trabajo específica. Según los factores anteriores, Databricks anticipa utilizar el ancho completo del rango. El paquete de compensación total para este puesto también puede incluir la elegibilidad para bonificaciones anuales por rendimiento, acciones y los beneficios enumerados anteriormente. Para obtener más información sobre el rango en el que se encuentra su ubicación, visite nuestra página aquí databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Rango salarial local
$190,000—$265,000 USD
Nuestro compromiso con la diversidad y la inclusión
En Databricks, estamos comprometidos a fomentar una cultura diversa e inclusiva donde todos puedan sobresalir. Ponemos gran cuidado en garantizar que nuestras prácticas de contratación sean inclusivas y cumplan con los estándares de igualdad de oportunidades de empleo. Las personas que buscan empleo en Databricks son consideradas sin distinción de edad, color, discapacidad, etnia, estado civil o familiar, identidad o expresión de género, idioma, origen nacional, capacidad física y mental, afiliación política, raza, religión, orientación sexual, estatus socioeconómico, condición de veterano y otras características protegidas.
Cumplimiento
Si se requiere acceso a tecnología o código fuente controlado por exportación para el desempeño de las funciones del puesto, es a discreción del Empleador solicitar una licencia del gobierno de EE. UU. para dichos puestos, y el Empleador puede negarse a continuar con un solicitante basándose únicamente en esto.
En Databricks, nos apasiona capacitar a los equipos de datos para resolver los problemas más difíciles del mundo, desde hacer realidad el próximo modo de transporte hasta acelerar el desarrollo de avances médicos. Hacemos esto construyendo y ejecutando la mejor plataforma de datos e IA del mundo para que nuestros clientes puedan utilizar información profunda de los datos para mejorar sus negocios.
El entrenamiento y la personalización de modelos de IA de última generación es una de las cargas de trabajo más exigentes en la computación, y se encuentra en el corazón de la misión de IA de Mosaico de Databricks. AI Runtime (AIR) es nuestra plataforma administrada para entrenamiento y ajuste fino de GPU a gran escala. Brinda a los clientes acceso bajo demanda a flotas de los últimos aceleradores y una experiencia sin servidor que oculta la complejidad de aprovisionar, programar y orquestar trabajos de múltiples nodos, con la resiliencia necesaria para mantener el entrenamiento en ejecución durante días o semanas en miles de GPU. AIR impulsa todo el espectro de entrenamiento personalizado, desde el ajuste fino de modelos abiertos hasta el preentrenamiento de modelos fundacionales a escala fronteriza, para algunos de los equipos de IA más sofisticados del mundo.
Como Ingeniero/a de Software Staff para AI Runtime, desempeñará un papel fundamental en la construcción y escalado de los sistemas que hacen que el entrenamiento a gran escala sea rápido, confiable y sin esfuerzo. Impulsará la arquitectura y la evolución de la pila de entrenamiento de GPU administrada, abarcando la programación y la capacidad, el rendimiento del entrenamiento distribuido, la tolerancia a fallos y la experiencia del desarrollador al lanzar y operar trabajos a escala. Más allá de las contribuciones prácticas a los sistemas centrales, ayudará a definir la visión técnica a largo plazo para AIR, mentorizará a ingenieros senior, colaborará con equipos de producto, investigación y plataforma, y liderará las iniciativas que amplíen el impacto técnico y comercial del entrenamiento personalizado en Databricks.
El impacto que tendrás
- Impulsar la arquitectura y la evolución de la plataforma de entrenamiento de GPU administrada de AIR, ofreciendo entrenamiento escalable, de alto rendimiento y resiliente en flotas que abarcan miles de aceleradores.
- Resolver los problemas más difíciles en el entrenamiento a gran escala, incluida la orquestación de múltiples nodos, las estrategias de paralelismo distribuido, la programación de GPU y el enrutamiento dinámico, la carga de datos de alto rendimiento y el punto de control y restauración para trabajos de muy larga duración.
- Mejorar la eficiencia de las GPU y el rendimiento del entrenamiento, aumentando la utilización (como la utilización de FLOPs del modelo y el rendimiento de extremo a extremo) y reduciendo el costo por ejecución de entrenamiento en diversas arquitecturas de modelos y generaciones de hardware.
- Construir las bases de resiliencia y observabilidad que mantienen saludables los trabajos de múltiples nodos, detectando y recuperándose de fallos de hardware y software con una interrupción mínima para los clientes.
- Colaborar con los equipos de producto, investigación y plataforma para dar forma a la experiencia de APIs, CLI y desarrollador que facilitan el lanzamiento, monitoreo y depuración de trabajos de entrenamiento en producción.
- Liderar esfuerzos de ingeniería de extremo a extremo, desde el diseño hasta el despliegue en producción, manteniendo un alto nivel de rendimiento, corrección y fiabilidad.
- Realizar contribuciones directas y de alto impacto a los sistemas centrales detrás de AIR, y ayudar a habilitar el soporte para los últimos aceleradores y nuevas regiones a medida que la flota crece.
- Promover la excelencia en ingeniería, mentorizar a otros ingenieros a través de revisiones de diseño y discusiones técnicas, y ayudar a dar forma a la dirección técnica a largo plazo de Databricks en infraestructura de entrenamiento de IA.
Lo que buscamos
- Más de 10 años de experiencia construyendo y operando sistemas distribuidos a gran escala, con una profundidad significativa en infraestructura de entrenamiento de GPU, computación de alto rendimiento o sistemas de ML.
- Experiencia práctica con frameworks de entrenamiento distribuido (como PyTorch, FSDP, DeepSpeed o Megatron) y las estrategias de paralelismo (datos, tensor, pipeline y paralelismo de secuencia) utilizadas para entrenar modelos grandes.
- Sólida comprensión de los patrones de resiliencia del entrenamiento, incluido el punto de control, la detección de fallos y la recuperación automática para trabajos de larga duración y múltiples nodos.
- Sólido conocimiento de los fundamentos del rendimiento de las GPU, incluida la arquitectura del acelerador, las interconexiones de alta velocidad (como NVLink e InfiniBand o RoCE), la comunicación colectiva y los cuellos de botella que rigen el rendimiento y la utilización del entrenamiento.
- Experiencia en la construcción y operación de productos de plataforma administrados y multi-inquilino en la nube, con SLAs y SLOs claros para disponibilidad, rendimiento y fiabilidad.
- Sólida base en algoritmos, estructuras de datos y diseño de sistemas aplicados a sistemas distribuidos a gran escala y sensibles al rendimiento.
- Capacidad demostrada para entregar iniciativas técnicamente complejas y de alto impacto que crean un valor claro para el cliente o el negocio.
- Sólidas habilidades de comunicación y capacidad para colaborar entre equipos de producto, investigación e infraestructura en un entorno de ritmo rápido.
- Mentalidad estratégica y orientada al producto con la capacidad de alinear la ejecución técnica con una visión a largo plazo, y pasión por mentorizar ingenieros y fomentar la excelencia técnica.
- Grado en Ciencias de la Computación o campo relacionado (se prefiere Máster o Doctorado).
Acerca de Databricks
Databricks es la empresa de Datos e IA. Más de 20,000 organizaciones en todo el mundo, incluidas adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever y el 70% de las Fortune 500, confían en la Plataforma de Datos + IA de Databricks para crear y escalar aplicaciones, análisis y agentes de datos e IA. Con sede en San Francisco y más de 30 oficinas en todo el mundo, Databricks ofrece una plataforma unificada que incluye Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse y Unity Catalog. Para obtener más información, siga a Databricks en LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Beneficios
En Databricks, nos esforzamos por ofrecer beneficios y ventajas integrales que satisfagan las necesidades de todos nuestros empleados. Para obtener detalles específicos sobre los beneficios ofrecidos en su región, haga clic aquí docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil