Estados Unidos
Startekk Inc
Apple
Diretor(a), Avaliação e Garantia de Qualidade, Projetos Especiais de Serviços
Estados Unidos
Cupertino, California, Estados Unidos
Tradução automática. Consulte o original.
Sobre a oportunidade
Estamos procurando um(a) Diretor(a) para construir e liderar a função de avaliação e garantia de qualidade para uma de nossas iniciativas de engenharia multianuais mais ambiciosas. Esta é uma função de 0 a 1, a primeira contratação chave: Não há equipe, ferramentas ou processos existentes para herdar. Você definirá como medimos a qualidade em todo o produto de ponta a ponta, construirá a automação e a infraestrutura de avaliação para fazer isso em escala (ou usará a infraestrutura de outras equipes) e construirá e liderará a organização que a executa.
DESCRIÇÃO
Você será responsável pela avaliação e garantia de qualidade em todas as camadas do produto — desde se o sistema está sendo acionado corretamente para o conjunto certo de solicitações do usuário, passando por se ele exibe e classifica os resultados corretos, até se as transações subjacentes são executadas corretamente, incluindo integrações com APIs de parceiros externos e sistemas financeiros. Qualidade aqui não é um único conjunto de testes — abrange compreensão conversacional, relevância e classificação, e correção de transações que geram receita, tudo contra um conjunto de dados do mundo real grande e em constante evolução. Você criará e impulsionará a estratégia e a implementação de avaliação e qualidade para o produto. Isso utilizará extensivamente sistemas de avaliação automatizada e programas de avaliação humana, quando apropriado. Você tomará as decisões sobre onde investir em cada um. Você definirá o que significa "correto" e "bom" para este produto, integrará essa definição em pipelines de avaliação contínuos e sempre ativos com portões de qualidade claros de aprovação/reprovação vinculados aos lançamentos, e construirá a equipe, as ferramentas e o ritmo operacional para capturar problemas antes que eles cheguem aos usuários. Como primeira contratação nesta área, você operará com latitude e ambiguidade significativas — definindo estratégia, processo e direção técnica com o mínimo de estrutura existente, ao mesmo tempo em que constrói e escala uma organização. Você fará uma parceria próxima com a liderança de engenharia, ML aplicado e gerenciamento de programas, incluindo stakeholders executivos seniores, e será uma voz fundamental na definição do que "concluído" e "pronto para lançamento" significam para um produto ainda em formação, bem como na iteração de pontos de decisão em produção após o lançamento do produto.
QUALIFICAÇÕES MÍNIMAS
- 12+ anos de experiência em ciência de dados, avaliação de machine learning, garantia de qualidade ou funções de engenharia de testes em um ambiente de produto técnico, incluindo experiência na construção e liderança de organizações de QA ou avaliação multinível por meio de gerentes.
- Experiência comprovada na construção de uma função de avaliação ou QA do zero — definindo métricas, processos, ferramentas e estrutura organizacional onde nenhum existia anteriormente.
- Extensa experiência na utilização de autograders e rubricas baseados em LLM, incluindo design de rubricas, desenvolvimento de conjuntos de avaliação, validação, calibração e alinhamento humano-modelo, e usá-los para impulsionar proativamente melhorias de produto e modelo.
- Profunda experiência em metodologia tradicional de avaliação humana, registro e testes A/B para produtos voltados ao consumidor em escala.
- Experiência na avaliação de IA conversacional, sistemas de recomendação, classificação ou busca, e — idealmente — sistemas de agentes ou de uso de ferramentas que realizam ações no mundo real, não apenas geram respostas.
- Bacharelado em Ciência da Computação, Engenharia ou um campo técnico relacionado, ou experiência equivalente.
- Experiência com garantia de qualidade para integrações de API de terceiros.
- Experiência com infraestrutura de registro e instrumentação para medição de qualidade de produtos de IA.
- Habilidades excepcionais de comunicação escrita e verbal, com um histórico de apresentação clara do status da qualidade, riscos e trade-offs para a liderança executiva sênior, e de influência em suas decisões.
QUALIFICAÇÕES PREFERENCIAIS
- 15+ anos de experiência em ciência de dados, avaliação de machine learning, garantia de qualidade ou funções de engenharia de testes em um ambiente de produto técnico, incluindo experiência na construção e liderança de organizações de QA ou avaliação multinível por meio de gerentes.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil