Estados Unidos
B&A
Databricks
Staff Software Engineer - Infraestrutura de Pesquisa em IA
Estados Unidos
San Francisco, California, Estados Unidos · New York, New York, Estados Unidos
JavaKubernetesC++RustGo
Tradução automática. Consulte o original.
Sobre a oportunidade
STAFF SOFTWARE ENGINEER - AI RESEARCH INFRASTRUCTURE
Na Databricks, somos obcecados em capacitar equipes de dados a resolver os problemas mais difíceis do mundo, desde a detecção de ameaças de segurança até o desenvolvimento de medicamentos contra o câncer. Fazemos isso construindo e operando a melhor plataforma de dados e IA do mundo, para que nossos clientes possam focar nos desafios de alto valor que são centrais para suas próprias missões.
A organização de Pesquisa em IA da Databricks permite que empresas desenvolvam modelos e agentes de IA usando seus próprios dados, com tecnologias que variam desde LLMs open source pós-treinamento até o desenvolvimento de arquiteturas multiagentes avançadas. A Databricks AI faz isso produzindo ciência inovadora e colocando-a em produção. A Databricks AI está comprometida com a crença de que os modelos e agentes de IA de uma empresa são tão valiosos quanto qualquer outra propriedade intelectual central, e que uma IA de alta qualidade deve estar disponível para todos.
Transparência da Faixa Salarial
P-1215
A Databricks está comprometida com práticas de remuneração justas e equitativas. A(s) faixa(s) salarial(is) para esta função está(ão) listada(s) abaixo e representa(m) a faixa salarial esperada para funções não comissionadas ou ganhos alvo para funções comissionadas. Os pacotes de remuneração reais são baseados em vários fatores exclusivos de cada candidato, incluindo, mas não se limitando a, habilidades relacionadas ao trabalho, profundidade de experiência, certificações e treinamentos relevantes e local de trabalho específico.
Com base nos fatores acima, a Databricks prevê utilizar toda a amplitude da faixa. O pacote de remuneração total para esta posição também pode incluir elegibilidade para bônus anual de desempenho, ações e os benefícios listados acima.
Para mais informações sobre em qual faixa sua localização se encontra, visite nossa página aqui databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Faixa Salarial Local
$199,000—$270,000 USD
Nosso Compromisso com a Diversidade e Inclusão
Na Databricks, estamos comprometidos em promover uma cultura diversa e inclusiva onde todos possam prosperar. Temos muito cuidado para garantir que nossas práticas de contratação sejam inclusivas e atendam aos padrões de igualdade de oportunidades de emprego. Indivíduos que buscam emprego na Databricks são considerados sem distinção de idade, cor, deficiência, etnia, estado civil ou familiar, identidade ou expressão de gênero, idioma, origem nacional, capacidade física e mental, afiliação política, raça, religião, orientação sexual, status socioeconômico, status de veterano e outras características protegidas.
Conformidade
Se o acesso a tecnologia ou código-fonte controlado para exportação for necessário para o desempenho das funções do cargo, fica a critério do Empregador solicitar ou não uma licença do governo dos EUA para tais posições, e o Empregador pode optar por não prosseguir com um candidato apenas com base nisso.
Descrição da Vaga
Como Staff Software Engineer, AI Research Infrastructure, você desenvolverá e operará a stack de pesquisa que impulsiona a Pesquisa em IA da Databricks. Você projetará e construirá serviços que agendam, orquestram e observam cargas de trabalho de treinamento e inferência em larga escala em milhares de GPUs, melhorará nossas ferramentas de desenvolvimento e garantirá que os pesquisadores possam iterar rapidamente sem sacrificar a confiabilidade, eficiência ou segurança.
Você trabalhará em estreita colaboração com cientistas de pesquisa, engenheiros de ML e equipes de plataforma para transformar cargas de trabalho experimentais em pipelines robustos e repetíveis, e para expandir os limites do que nossa infraestrutura pode suportar.
O impacto que você terá
Como Staff Software Engineer na equipe de Infraestrutura de Pesquisa em IA da Databricks, você:
- Projetará e implementará infraestrutura que suporte experimentos em larga escala, processamento de dados e treinamento de modelos (por exemplo, clusters HPC, frotas de GPU ou sistemas baseados em nuvem).
- Permitirá que os pesquisadores passem da ideia ao experimento em larga escala em minutos, não dias, construindo abstrações poderosas para submissão de jobs, agendamento e monitoramento.
- Criará ferramentas que melhorem a produtividade do desenvolvedor de pesquisa, como sistemas de gerenciamento de experimentos, infraestrutura de CI/testes para código de pesquisa e fluxos de trabalho que reduzam o tempo de iteração.
- Influenciará o roadmap de longo prazo para computação de pesquisa, moldando como a Pesquisa em IA da Databricks treina, avalia e entrega modelos aos clientes.
- Atuará como mentor técnico e multiplicador de força para outros engenheiros que trabalham em computação, infraestrutura e sistemas de IA.
O que buscamos
- Bacharelado/Mestrado ou Doutorado em Ciência da Computação ou área relacionada.
- 5+ anos de experiência em engenharia de software, incluindo tempo substancial trabalhando em sistemas distribuídos de larga escala ou infraestrutura.
- Possuir experiência profunda na construção e operação de sistemas distribuídos, pipelines de dados ou serviços de backend de larga escala, idealmente envolvendo GPUs, clusters ou grandes provedores de nuvem.
- Ser proficiente em uma ou mais linguagens de programação de sistemas (por exemplo, C++, Rust, Go, Java, Scala) e ser capaz de projetar, implementar e depurar serviços complexos.
- Ter construído ou contribuído significativamente para agendadores de cluster, gerenciadores de recursos ou sistemas de orquestração de jobs de larga escala (por exemplo, Kubernetes, Slurm, Ray, sistemas internos personalizados).
- Entender fluxos de trabalho modernos de treinamento e inferência de ML (por exemplo, treinamento distribuído, paralelismo de modelo, fine-tuning, avaliação), mesmo que você não seja primariamente um cientista de pesquisa.
- Ser capaz de agir rapidamente e ser pragmático na execução, mantendo o foco na excelência operacional. Ter conduzido sistemas complexos desde o protótipo até serviços estáveis e bem mantidos.
- Comunicar-se claramente com pesquisadores e engenheiros, e gostar de traduzir as necessidades de pesquisa para as realidades da infraestrutura.
Sobre a Databricks
A Databricks é a empresa de Dados e IA. Mais de 20,000 organizações em todo o mundo — incluindo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever e 70% da Fortune 500 — confiam na plataforma de Dados + IA da Databricks para construir e escalar aplicativos, análises e agentes de dados e IA. Com sede em São Francisco e mais de 30 escritórios ao redor do mundo, a Databricks oferece uma plataforma unificada que inclui Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse e Unity Catalog. Para saber mais, siga a Databricks no LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Benefícios
Na Databricks, nos esforçamos para oferecer benefícios e vantagens abrangentes que atendam às necessidades de todos os nossos funcionários. Para detalhes específicos sobre os benefícios oferecidos em sua região, clique aqui docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil