Estados Unidos
CSC Leasing Co.
Databricks
Ingeniero/a de Software Senior, AI Runtime
Estados Unidos
Mountain View, California, Estados Unidos · San Francisco, California, Estados Unidos
Traducción automática. Consulta el original.
Transparencia del rango salarial
P-1428
Consulte nuestra reciente publicación de blog: Presentamos AI Runtime: GPU NVIDIA escalables y sin servidor en Databricks para entrenamiento y ajuste fino databricks.com/blog/introducing-ai-runtime-scalable-serverless-nvidia-gpus-databricks-training-and-finetuning
Databricks se compromete a prácticas de compensación justas y equitativas. Los rangos salariales para este puesto se enumeran a continuación y representan el rango salarial esperado para puestos no comisionables o los ingresos objetivo para puestos comisionables. La compensación real se basa en varios factores únicos para cada candidato, que incluyen, entre otros, las habilidades relacionadas con el trabajo, la profundidad de la experiencia, las certificaciones y la capacitación relevantes, y la ubicación de trabajo específica. Según los factores anteriores, Databricks anticipa utilizar todo el ancho del rango. El paquete de compensación total para este puesto también puede incluir la elegibilidad para bonificaciones anuales por rendimiento, acciones y los beneficios enumerados anteriormente. Para obtener más información sobre el rango en el que se encuentra su ubicación, visite nuestra página aquí databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Rango salarial local
$160,000—$225,000 USD
Nuestro compromiso con la diversidad y la inclusión
En Databricks, estamos comprometidos a fomentar una cultura diversa e inclusiva donde todos puedan sobresalir. Ponemos gran cuidado en garantizar que nuestras prácticas de contratación sean inclusivas y cumplan con los estándares de igualdad de oportunidades de empleo. Las personas que buscan empleo en Databricks son consideradas sin distinción de edad, color, discapacidad, etnia, estado familiar o civil, identidad o expresión de género, idioma, origen nacional, capacidad física y mental, afiliación política, raza, religión, orientación sexual, estatus socioeconómico, estado de veterano y otras características protegidas.
Cumplimiento
Si se requiere acceso a tecnología o código fuente controlado por exportación para el desempeño de las funciones laborales, queda a discreción del Empleador solicitar una licencia del gobierno de EE. UU. para dichos puestos, y el Empleador puede negarse a continuar con un solicitante basándose únicamente en esto.
En Databricks, nos apasiona ayudar a los equipos de datos a resolver los problemas más difíciles del mundo, desde hacer realidad el próximo modo de transporte hasta acelerar el desarrollo de avances médicos. Hacemos esto construyendo y ejecutando la mejor plataforma de datos e IA del mundo para que nuestros clientes puedan utilizar información profunda de los datos para mejorar sus negocios.
Entrenar y personalizar modelos de IA de última generación es una de las cargas de trabajo más exigentes en computación, y se encuentra en el corazón de la misión Mosaic AI de Databricks. AI Runtime (AIR) es nuestra plataforma administrada para entrenamiento y ajuste fino de GPU a gran escala. Brinda a los clientes acceso bajo demanda a flotas de los últimos aceleradores y una experiencia sin servidor que oculta la complejidad de aprovisionar, programar y orquestar trabajos multinodo, con la resiliencia necesaria para mantener el entrenamiento en ejecución durante días o semanas en miles de GPU. AIR potencia todo el espectro de entrenamiento personalizado, desde el ajuste fino de modelos abiertos hasta el preentrenamiento de modelos fundacionales a escala de vanguardia, para algunos de los equipos de IA más sofisticados del mundo.
Como Ingeniero/a de Software Senior para AI Runtime, desempeñará un papel fundamental en la construcción y escalado de los sistemas que hacen que el entrenamiento a gran escala sea rápido, confiable y sin esfuerzo. Impulsará la arquitectura y la evolución de la pila de entrenamiento administrada de GPU, abarcando la programación y la capacidad, el rendimiento del entrenamiento distribuido, la tolerancia a fallos y la experiencia del desarrollador al lanzar y operar trabajos a escala. Más allá de las contribuciones prácticas a los sistemas centrales, ayudará a dar forma a la dirección técnica de AIR, mentorizará a otros ingenieros, colaborará con equipos de producto, investigación y plataforma, y contribuirá a las iniciativas que amplían el impacto técnico y comercial del entrenamiento personalizado en Databricks.
El impacto que tendrá: *
- Impulsar la arquitectura y la evolución de la plataforma de entrenamiento administrada de GPU de AIR, ofreciendo entrenamiento escalable, de alto rendimiento y resiliente en flotas que abarcan miles de aceleradores. *
- Resolver los problemas más difíciles en el entrenamiento a gran escala, incluida la orquestación multinodo, las estrategias de paralelismo distribuido, la programación de GPU y el enrutamiento dinámico, la carga de datos de alto rendimiento y el punto de control y restauración para trabajos de muy larga duración. *
- Mejorar la eficiencia de la GPU y el rendimiento del entrenamiento, aumentando la utilización (como la utilización de FLOPs del modelo y el rendimiento de extremo a extremo) y reduciendo el costo por ejecución de entrenamiento en diversas arquitecturas de modelos y generaciones de hardware. *
- Construir las bases de resiliencia y observabilidad que mantienen saludables los trabajos multinodo, detectando y recuperándose de fallos de hardware y software con una interrupción mínima para los clientes. *
- Colaborar con los equipos de producto, investigación y plataforma para dar forma a las APIs, CLI y la experiencia del desarrollador que facilitan el lanzamiento, monitoreo y depuración de trabajos de entrenamiento en producción. *
- Liderar esfuerzos de ingeniería de extremo a extremo, desde el diseño hasta el despliegue en producción, manteniendo un alto estándar de rendimiento, corrección y confiabilidad. *
- Realizar contribuciones directas de alto impacto a los sistemas centrales detrás de AIR, y ayudar a habilitar el soporte para los últimos aceleradores y nuevas regiones a medida que la flota crece. *
- Defender la excelencia en ingeniería, mentorizar a otros ingenieros a través de revisiones de diseño y discusiones técnicas, y contribuir a la dirección técnica de Databricks en infraestructura de entrenamiento de IA.
Lo que buscamos: *
- +5 años de experiencia en la construcción y operación de sistemas distribuidos a gran escala, con experiencia en infraestructura de entrenamiento de GPU, computación de alto rendimiento o sistemas de ML. *
- Experiencia con frameworks de entrenamiento distribuido (como PyTorch, FSDP, DeepSpeed o Megatron) y las estrategias de paralelismo (paralelismo de datos, tensor, pipeline y secuencia) utilizadas para entrenar modelos grandes. *
- Sólida comprensión de los patrones de resiliencia del entrenamiento, incluido el punto de control, la detección de fallos y la recuperación automática para trabajos multinodo de larga duración. *
- Sólido conocimiento de los fundamentos del rendimiento de la GPU, incluida la arquitectura del acelerador, las interconexiones de alta velocidad (como NVLink e InfiniBand o RoCE), la comunicación colectiva y los cuellos de botella que rigen el rendimiento y la utilización del entrenamiento. *
- Experiencia en la construcción y operación de productos de plataforma administrados y multi-inquilino en la nube, con SLAs y SLOs claros para disponibilidad, rendimiento y confiabilidad. *
- Sólida base en algoritmos, estructuras de datos y diseño de sistemas aplicados a sistemas distribuidos a gran escala y sensibles al rendimiento. *
- Capacidad demostrada para entregar iniciativas técnicamente complejas y de alto impacto que crean un valor claro para el cliente o el negocio. *
- Sólidas habilidades de comunicación y capacidad para colaborar entre equipos de producto, investigación e infraestructura en un entorno de ritmo rápido. *
- Mentalidad centrada en el cliente con la capacidad de alinear los detalles de implementación con los objetivos del producto, y pasión por mentorizar ingenieros y fomentar la excelencia técnica. *
- Grado en Ciencias de la Computación o campo relacionado (se prefiere Máster o Doctorado).
Acerca de Databricks
Databricks es la empresa de Datos e IA. Más de 20,000 organizaciones en todo el mundo —incluyendo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever y el 70% de las empresas de la lista Fortune 500— confían en la plataforma de Datos + IA de Databricks para crear y escalar aplicaciones, análisis y agentes de datos e IA. Con sede en San Francisco y más de 30 oficinas en todo el mundo, Databricks ofrece una plataforma unificada que incluye Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse y Unity Catalog. Para obtener más información, siga a Databricks en LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Beneficios
En Databricks, nos esforzamos por ofrecer beneficios y ventajas integrales que satisfagan las necesidades de todos nuestros empleados. Para obtener detalles específicos sobre los beneficios que se ofrecen en su región, haga clic aquí docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil