Estados Unidos
B&A
You.com
Engenheiro de Backend Sênior, Plataforma de Inferência
Estados Unidos
San Francisco, California, Estados Unidos · New York, New York, Estados Unidos
PythonKubernetes
Tradução automática. Consulte o original.
Sobre nós
Na You.com, estamos construindo a infraestrutura de busca por IA que impulsiona sistemas de IA modernos. Nosso objetivo é criar a camada de conhecimento confiável na qual agentes, aplicações e empresas confiam para recuperar informações precisas, em tempo real e com citações.
Nossa plataforma combina índices verticais proprietários com sistemas de recuperação otimizados para LLM para impulsionar agentes de IA, aplicações e fluxos de trabalho corporativos. Estamos resolvendo problemas complexos em busca, modelos de linguagem de grande escala e infraestrutura de larga escala para tornar os sistemas de IA mais confiáveis, transparentes e úteis.
Nossa equipe inclui engenheiros, pesquisadores, criadores de produtos e operadores que se preocupam em resolver problemas significativos e gerar impacto no mundo real. Seja melhorando a infraestrutura principal, moldando experiências de produto ou ajudando a trazer novas capacidades de IA ao mercado, seu trabalho ajudará a definir como a IA moderna encontra e utiliza o conhecimento.
Sobre a vaga
Cada chamada de modelo de nossos produtos e clientes passa por uma camada: nosso gateway de inferência. Ele permite que os usuários selecionem um modelo e nós roteamos a chamada de forma inteligente para otimizar custos, latência e alta disponibilidade. Agora estamos construindo o plano de controle acima dele, para gerenciar e governar o acesso, o desempenho e os custos.
Você será responsável por esse gateway e por escalá-lo. O trabalho situa-se entre o serviço de modelos e o produto: roteamento e fallback entre provedores hospedados e nossos próprios modelos, decisões de roteamento com reconhecimento de cache, medição precisa o suficiente para faturamento e aplicação de regras no caminho da requisição dentro de um orçamento de latência de um dígito em milissegundos.
Esta é uma posição remota aberta a candidatos baseados em qualquer lugar dos Estados Unidos. Damos preferência a candidatos na área da Baía de São Francisco ou Nova York, onde temos escritórios, mas ficaremos felizes em considerar candidatos remotos qualificados em outros locais dos EUA.
Responsabilidades
- Ser responsável pelo gateway de inferência pelo qual cada chamada de modelo passa, incluindo seleção de provedor e modelo, fallback e limites.
- Construir uma camada de inteligência para escolher autonomamente o modelo certo para a tarefa certa.
- Tomar decisões de roteamento que levem em conta o comportamento de prefix-cache, batching e tempo para o primeiro token, não apenas preço e disponibilidade.
- Construir atribuição de custos e medição entre provedores, incluindo contabilização de tokens em cache, precisa o suficiente para faturar e aplicar regras.
- Construir a aplicação de regras no caminho da requisição que degrade graciosamente e nunca derrube a chamada de inferência de um cliente.
- Implementar mudanças em tempo de inferência primeiro em modo shadow, com a medição para provar que funcionam.
Qualificações
- Experiência prática em produção com serviço de modelos em stacks como vLLM, SGLang (ou plataformas similares), com compreensão funcional de continuous batching, KV e prefix caching, e o trade-off entre tempo para o primeiro token e throughput.
- Você ajustou uma stack de serviço com tráfego real e sabe o que move o p99 na prática, não apenas na teoria.
- Fluência em APIs de provedores: tokenização, semântica de prompt-caching e as diferenças em como o uso e os tokens em cache são reportados e precificados.
- Experiência na construção ou operação de um proxy, gateway ou plano de dados no caminho crítico do tráfego de produção, com instintos sólidos para falhas abertas (failing open).
- Conforto com respostas em streaming e as partes que se tornam complexas: estado parcial, falhas no meio do stream e trabalho que só pode acontecer quando o stream fecha.
- Um generalista de backend forte (Python, Kubernetes). Esperamos que você aprenda o que ainda não tocou.
- Valorizamos mais a trajetória e o crescimento recente do que anos de experiência.
Responsabilidades
- Experiência em um provedor de inferência ou nuvem de GPU, ou contribuições para uma stack de serviço de código aberto.
- Fine-tuning e avaliação de modelos em produção.
- Medição de uso, faturamento ou otimização de custos em escala.
Nossas faixas salariais são estruturadas com base em uma combinação de níveis geográficos e nivelamento interno. A remuneração é determinada por múltiplos fatores avaliados durante o processo de entrevista, com a oferta final refletindo essas considerações.
Faixa Salarial $200,000—$250,000 USD
*A elegibilidade para benefícios varia de acordo com o tipo de emprego e tempo de serviço.
A You.com participa do E-Verify. Forneceremos à Administração da Previdência Social (SSA) e, se necessário, ao Departamento de Segurança Interna (DHS) informações do Formulário I-9 de cada novo funcionário para confirmar a autorização de trabalho. (Inglês/Espanhol: Participação no E-Verify [drive.google.com/file/d/1u7vRUMjyxbI3xX7LkBiHgvzB8qUr8hfT/view?usp=drive_link]/Direito ao Trabalho drive.google.com/file/d/19uh4fecwISKmXyK3oh2SR958R70O3CVa/view?usp=drive_link) Também somos um local de trabalho inclusivo, equitativo e acessível. Por favor, informe-nos se você precisar de adaptações para qualquer parte do processo de recrutamento e contratação.
--------------------------------------------------------------------------------
CUIDADO COM GOLPES DE RECRUTAMENTO
A You.com entrará em contato com você apenas por meio de endereços de e-mail oficiais @You.com ramp.com/ e nunca solicitará pagamento ou informações pessoais confidenciais durante o processo de contratação.
--------------------------------------------------------------------------------
USO DE FERRAMENTAS DE IA DURANTE NOSSO PROCESSO DE CONTRATAÇÃO
Na You.com, somos criteriosos sobre como usamos IA em nossos negócios — incluindo nosso processo de contratação.
Durante certas etapas do processo de entrevista, podemos usar ferramentas baseadas em IA para ajudar com tarefas administrativas, como agendamento, anotações, transcrição ou resumo de discussões de entrevistas. Essas ferramentas destinam-se a apoiar nossos entrevistadores, melhorando a precisão e a eficiência — elas não tomam decisões de contratação nem substituem o julgamento humano.
Todas as decisões de emprego são tomadas por nossa equipe de recrutamento e gerentes de contratação com base em uma revisão holística de cada candidato e critérios de avaliação aplicáveis.
Se a anotação ou transcrição assistida por IA puder ser usada durante sua entrevista, notificaremos você com antecedência. Se você preferir não participar de uma entrevista que use essas ferramentas, poderá optar por não participar informando seu recrutador antes da entrevista agendada. Trabalharemos com você para fornecer uma experiência de entrevista alternativa, sempre que for razoavelmente possível.
As informações coletadas durante o processo de contratação são tratadas de acordo com nossa Política de Privacidade you.com/privacy e a lei aplicável. Ao continuar com o processo de candidatura, você reconhece que leu este aviso. Se ferramentas assistidas por IA forem usadas durante sua entrevista e você não tiver optado por não participar após receber o aviso, você consente com o uso delas conforme descrito acima, onde permitido pela lei aplicável.
BENEFÍCIOS DA EMPRESA
- Hubs em São Francisco e Nova York oferecendo encontros presenciais regulares e sessões de co-working.
- PTO flexível com feriados dos EUA observados e um encerramento de fim de ano em dezembro para descansar e recarregar as energias*.
- Um plano de seguro saúde competitivo cobre 100% do titular da apólice e 75% para dependentes*.
- Assinatura do Function Health.
- 12 semanas de licença parental remunerada nos EUA*.
- Programa 401k, contrapartida de 3% - com aquisição imediata!*
- Estipêndio de $500 para trabalho remoto, a ser usado até um ano após a data de início*.
- Estipêndio de tecnologia de $600 para apoiar uma parte das despesas de celular e internet da nossa equipe híbrida/remota*.
- Subsídio de Saúde e Bem-estar de $1,200 por ano para apoiar seus objetivos pessoais*.
- A chance de colaborar com uma equipe na vanguarda da pesquisa em IA.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil