CHAPTERS Group AG
Crimson Education
Engenheiro(a) de QA de Software Sênior
A Vaga
Crimson Education é a principal consultoria de admissão universitária do mundo, com mais de 1,490 aprovações na Ivy League e 2,410 para as Top 15 dos EUA. Ajudamos estudantes ambiciosos a serem admitidos nas melhores universidades do mundo por meio de orientação especializada e estratégias comprovadas e baseadas em dados. Estudantes Crimson têm 7 vezes mais chances de serem aprovados na Ivy League do que seus colegas. Fomos recentemente destaque na primeira página do Wall Street Journal.
Crimson é a única consultoria de admissão universitária que reúne:
- Ex-oficiais de admissão da Ivy League e das Top 20 para revisar e refinar rigorosamente as candidaturas
- Professores e bolsistas de doutorado de universidades de ponta para orientar os alunos em pesquisas originais e independentes — com caminhos para publicação seletiva revisada por pares ou apresentação em conferências
- Ex-vencedores e jurados da ISEF que treinam os alunos para competir por prêmios em feiras de ciências estaduais, nacionais e internacionais
- Mentores de projetos de conclusão que ajudam os alunos a projetar e escalar iniciativas de liderança com impacto no mundo real, resultados mensuráveis e validação externa credível
Somos apoiados por importantes empresas de capital de risco, incluindo Tiger Global, Heal Partners, IceHouse Ventures e Movac, e recentemente fechamos uma rodada de financiamento Série D de USD $40 milhões com uma avaliação de USD $640 milhões. Agora operamos em 21 mercados em todo o mundo, incluindo EUA, Canadá, Reino Unido, Singapura, Japão, Hong Kong, Austrália e Nova Zelândia.
Quais são as principais responsabilidades para esta vaga?
- Design e Construção: Desenvolver, manter e escalar frameworks robustos de teste de automação de ponta a ponta a partir do zero (camadas de UI, API e Integração).
- Integração CI/CD: Integrar perfeitamente suítes de testes automatizados em nossos pipelines de CI/CD para garantir implantações rápidas e de alta confiança.
- Estratégia de Cobertura: Definir, rastrear e escalar métricas de cobertura de testes (visando cobertura de API de alta pureza e caminhos críticos de UI) para garantir implantações sem regressão.
- Desempenho e Escalabilidade: Realizar testes de desempenho, carga e estresse de API para garantir que nossa infraestrutura acompanhe a demanda.
- Validação de IA/LLM: Projetar estratégias de teste para sistemas não determinísticos. Você avaliará as saídas de LLM quanto à precisão, viés, segurança e taxas de alucinação.
- Teste de Regressão de Prompt: Estabelecer benchmarks para garantir que a alteração de um prompt de IA ou a atualização de um modelo fundamental não quebrem secretamente funcionalidades existentes.
- Monitoramento de Drift de Dados e Modelos: Colaborar com Cientistas de Dados e Engenheiros de ML para monitorar métricas de desempenho do modelo em produção.
- Caça a Casos Extremos: Simular ativamente entradas adversárias (injeções de prompt, jailbreaks) para garantir que nossos recursos de IA permaneçam seguros e protegidos.
Quais habilidades e experiências são necessárias?
- 4+ anos de experiência em Automação de QA de Software, com pelo menos 1–2 anos focados especificamente em testes de aplicações com IA/ML ou integrações de LLM.
- Forte proficiência em programação em Python (altamente preferível para fluxos de trabalho de IA) ou JavaScript/TypeScript.
- Experiência prática com ferramentas modernas de automação (por exemplo, Playwright, Cypress, Selenium).
- Experiência em ferramentas de teste de API (por exemplo, Postman, RestAssured, PyTest).
- Familiaridade com frameworks de avaliação de IA (por exemplo, Ragas, TruLens, Deepchecks) ou capacidade comprovada de escrever scripts de avaliação personalizados para saídas probabilísticas.
- Compreensão básica de bancos de dados vetoriais, embeddings e como os pipelines de dados alimentam modelos de ML.
- Bacharelado em Ciência da Computação, Engenharia ou experiência prática equivalente.
Pontos Extras
- Familiaridade com plataformas de nuvem (AWS, GCP ou Azure) e conteinerização (Docker, Kubernetes).
- Uma obsessão saudável por segurança e ética em IA.
Por que trabalhar na Crimson?
- Startup em rápido crescimento, com um ambiente de trabalho flexível onde você será capacitado(a) a estruturar como trabalha
- Desenvolvimento e exposição ilimitados — nossas promoções internas/mudanças de função representaram 33% de todo o recrutamento no ano passado
- Orçamento individual de treinamento de $1000 por ano, adoramos 'Subir de Nível' (é um dos nossos valores fundamentais)!
- Psicólogo(a) na equipe
- Fireside chats e workshops perspicazes para apoiar nossa equipe de alto desempenho e ambiciosa
- Radical Candor é uma abordagem de feedback que seguimos
- Somos um player global com 28 mercados (e crescendo) em todo o mundo. A maioria das vagas tem a opção de trabalhar em um de nossos muitos escritórios ou remotamente!
Se você é apaixonado(a) por crescer em um ambiente colaborativo e de ritmo acelerado e quer trabalhar com tecnologia de ponta, adoraríamos ouvir você!
Por favor, fique de olho na sua pasta de spam/lixo eletrônico para correspondências da Equipe Tailor.
