Estados Unidos
Wonderschool
PlayStation Global
Engenheiro(a) de Teste de Software Sênior, IA/ML
Estados Unidos
San Mateo, California, Estados Unidos
PythonJavaReactNode.jsAWSGCPDockerKubernetes
Tradução automática. Consulte o original.
Por que a Sony Interactive Entertainment?
A Sony Interactive Entertainment não é apenas o Melhor Lugar para Jogar — é também o Melhor Lugar para Trabalhar. A Sony Interactive Entertainment (SIE) é a empresa por trás da marca PlayStation. Como subsidiária da Sony Group Corporation, fazemos parte de um orgulhoso legado de inovação e excelência. A SIE é uma empresa de tecnologia dinâmica, entregando hardware e serviços de rede de ponta para mais de 100 milhões de pessoas e uma líder em entretenimento, lar de algumas das propriedades intelectuais (PI) mais amadas e reconhecíveis do mundo. Nosso papel na SIE é criar e nutrir as experiências sob a marca PlayStation, um nome sinônimo de excelência em entretenimento e criatividade.
ENGENHEIRO(A) DE TESTE DE SOFTWARE SÊNIOR, ML/IA
Na SIE, acreditamos em tornar o jogo mais seguro para todos. Dentro de nossa equipe de Segurança da Informação, protegemos nossas pessoas, plataformas e produtos com soluções inteligentes, escaláveis e ponderadas. Nossa missão é fornecer insights claros e acionáveis de risco e segurança que orientem os negócios e permitam experiências incríveis para os jogadores.
Estamos construindo uma equipe que prospera com colaboração, curiosidade e entrega de valor real. Venha nos ajudar a fazer a diferença!
VISÃO GERAL
Estamos contratando um(a) Engenheiro(a) de Teste de Software Sênior especializado em qualidade de ML/IA, incluindo automação para avaliação de modelos, geração de testes assistida por LLM e validação de fluxos de trabalho com IA. A função inclui orientar a estratégia de qualidade e desenvolver frameworks de automação. Você também gerenciará a implementação para produtos e serviços complexos, multifuncionais e baseados em machine learning. Esta função envolve mais do que desenvolvimento de testes. Você liderará iniciativas de qualidade do início ao fim, garantindo que as equipes permaneçam sincronizadas, as dependências sejam gerenciadas e os lançamentos sejam entregues com confiança. Você trabalhará em estreita colaboração com as equipes de ML, engenharia, produto e infraestrutura. Você moldará como a qualidade é construída, monitorada e expandida, enquanto lidera os esforços de QE embarcados em projetos.
O QUE VOCÊ FARÁ
- Definir e completar estratégias de qualidade, planos de teste e cobertura de automação para serviços e componentes de plataforma com IA.
- Usar LLMs e outras técnicas assistidas por IA para gerar, expandir e manter casos de teste de alto valor para fluxos de trabalho com IA.
- Projetar suítes de teste baseadas em cenários para recursos de IA, incluindo prompts adversários, casos extremos, entradas ambíguas e cenários de usuários sub-representados.
- Liderar esforços de QE para projetos multifuncionais, impulsionando avaliação de riscos, gerenciamento de dependências e prontidão para lançamento.
- Projetar, desenvolver e manter frameworks de automação escaláveis para serviços backend, APIs e sistemas de inferência de ML usando Python e/ou Java.
- Construir validação automatizada para saídas de ML e LLM, incluindo comportamento de classificação, distribuições de pontuação, qualidade de prompt/resposta, indicadores de alucinação e avaliação de modelos probabilísticos.
- Depurar falhas de teste, anomalias de serviço, inconsistências de modelo e regressões de comportamento de IA para identificar causas raiz e impulsionar a resolução.
- Realizar testes funcionais, de integração, de regressão, de API, ponta a ponta, de desempenho e de confiabilidade para sistemas distribuídos.
- Melhorar a confiabilidade da automação, reduzir a instabilidade e otimizar a eficiência de execução.
- Colaborar com equipes de engenharia e ML para integrar testes automatizados em pipelines de CI/CD e fluxos de trabalho de lançamento.
- Colaborar entre equipes para estabelecer padrões de qualidade escaláveis, ferramentas e diretrizes.
QUALIFICAÇÕES NECESSÁRIAS
- Bacharelado em Ciência da Computação ou equivalente
- 5+ anos de experiência como engenheiro(a) SDET ou QE focado(a) em sistemas backend e distribuídos.
- Experiência usando LLMs para gerar, transformar e priorizar casos de teste para experiências com IA.
- Experiência com ferramentas de avaliação de IA, frameworks de avaliação de prompt, monitoramento de modelos ou fluxos de trabalho de revisão humana.
- Sólida experiência em testes de APIs RESTful, microsserviços e arquiteturas distribuídas.
- Proficiência em Python, Java, JS ou linguagens similares para desenvolvimento de automação.
- Experiência prática com frameworks de automação como pytest, JUnit, Selenium, Playwright, Cypress ou Appium.
- Experiência com sistemas de CI/CD e pipelines de teste (Jenkins, GitHub Actions, etc.).
- Experiência com tecnologias de nuvem e contêineres (AWS, GCP, Kubernetes, Docker).
- Familiaridade com bancos de dados, monitoramento e ferramentas de observabilidade.
- Forte compreensão de SDLC, metodologias Ágeis e processos de lançamento.
- Excelentes habilidades de resolução de problemas, depuração e comunicação.
QUALIFICAÇÕES DESEJÁVEIS
- Experiência validando saídas de ML usando análise estatística ou abordagens de teste baseadas em cenários.
- Familiaridade com infraestrutura de ML, pipelines de dados ou plataformas de serviço de modelos (Seldon, KServe, Ray Serve, etc.).
- Trabalho anterior em ML de moderação de conteúdo, segurança, detecção de fraudes ou ML adversário.
- Experiência testando serviços online de alta escala e baixa latência.
- Experiência com Databricks ou ferramentas de plataforma de ML similares.
- Familiaridade com Node.js, React ou tecnologias modernas de frontend.
- Experiência testando plataformas móveis, de console ou outras não-PC.
O QUE TE DIFERENCIA
- Forte combinação de engenharia de automação e propriedade de entrega.
- Capacidade de impulsionar a qualidade em iniciativas complexas multifuncionais.
- Compreensão prática de como testar sistemas de IA não determinísticos e separar a variância do modelo de regressões de qualidade.
- Habilidades comprovadas em gerenciamento de riscos e coordenação de dependências.
- Capacidade de influenciar equipes de engenharia e promover diretrizes de qualidade.
- Paixão por sistemas de automação escaláveis, confiáveis e de fácil manutenção.
A faixa salarial base estimada para esta função está listada abaixo.
$183,000—$274,600 USD
Observe que a Sony Interactive Entertainment realiza verificações de antecedentes no momento da oferta para todos os novos funcionários (o que pode incluir verificações de antecedentes criminais para algumas funções) e precisará processar informações pessoais para apoiar essas verificações.
Consulte nosso Aviso de Privacidade do Candidato playstation.com/legal/careers-privacy-notice/ para obter mais informações sobre quais informações pessoais coletamos, como as usamos, com quem as compartilhamos e seus direitos de proteção de dados.
Declaração de Igualdade de Oportunidades:
A Sony é um Empregador de Igualdade de Oportunidades. Todas as pessoas receberão consideração para emprego sem distinção de gênero (incluindo identidade de gênero, expressão de gênero e mudança de gênero), raça (incluindo cor, nacionalidade, origem étnica ou nacional), religião ou crença, estado civil ou de união estável, deficiência, idade, orientação sexual, gravidez, maternidade ou status parental, afiliação sindical ou afiliação a qualquer outra categoria legalmente protegida.
Nós nos esforçamos para criar um ambiente inclusivo, capacitar funcionários e abraçar a diversidade. Encorajamos todos a se candidatarem.
A Sony Interactive Entertainment é um empregador de Oportunidade Justa e candidatos qualificados com histórico de prisão e condenação serão considerados para emprego.
Na SIE, consideramos vários fatores ao definir a faixa salarial base de cada função, incluindo dados de benchmarking competitivo para o mercado e a localização geográfica.
Observe que a faixa salarial base pode variar de acordo com nossa política de trabalho híbrido e o salário base individual será determinado com base em fatores relacionados ao trabalho, que podem incluir conhecimento, habilidades, experiência e localização.
Além disso, esta função é elegível para o pacote de benefícios de primeira linha da SIE, que inclui plano médico, odontológico, oftalmológico, correspondência de 401(k), licença remunerada, programa de bem-estar e cobiçados descontos para funcionários em produtos Sony. Esta função também pode ser elegível para um pacote de bônus. Clique aqui careers.playstation.com/benefits para saber mais.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil