Portugal
Bjak
Dremio
Senior Staff Software Engineer - Query Execution
Portugal
Portugal
JavaC++
Traduction automatique. Consultez l’original.
À propos du poste
Participez à la Construction de l'Avenir
Dremio est la plateforme lakehouse unifiée pour l'analytique en libre-service et l'IA, au service de centaines d'entreprises mondiales, dont Maersk, Amazon, Regeneron, NetApp et S&P Global. Les clients s'appuient sur Dremio pour les lakehouses cloud, hybrides et on-prem afin de prendre en charge leurs cas d'utilisation de data mesh, de migration de data warehouse, de virtualisation de données et d'accès unifié aux données. Basée sur des technologies open source, notamment Apache Iceberg et Apache Arrow, Dremio offre une architecture lakehouse ouverte permettant d'obtenir le temps de compréhension le plus rapide et une flexibilité de plateforme à une fraction du coût. En savoir plus sur dremio.com.
L'équipe d'exécution des requêtes de Dremio construit le runtime responsable de l'exécution des requêtes analytiques à grande échelle. L'équipe se situe entre la planification des requêtes et les scans de tables, et est responsable des systèmes qui transforment les plans de requêtes en exécutions efficaces et fiables.
En tant que Senior Staff Software Engineer, vous travaillerez sur les opérateurs de requêtes, l'évaluation des expressions, la gestion de la mémoire, la planification de l'exécution, la planification du runtime et l'optimisation des performances. Votre travail affectera directement les performances, la scalabilité et la fiabilité des requêtes sur la plateforme de données cloud de Dremio.
Ce que nous valorisons
Chez Dremio, nous nous fixons des normes élevées en matière de Personnes, de Réflexion et d'Action. Nos Gnarlies (c'est ainsi que nous appelons nos employés) communiquent avec clarté, assument la responsabilité et se respectent mutuellement. Nous confrontons les faits bruts et nous nous concentrons sur les résultats tout en opérant avec un sentiment d'urgence et en construisant un "flywheel". Les personnes qui aiment se lancer et générer de l'élan prospéreront dans notre #GnarlyLife.
Ce que vous ferez
- Construire le moteur d'exécution : Concevoir, implémenter, tester et supporter les opérateurs de requêtes, l'évaluation des expressions, la planification de l'exécution, la planification du runtime et la gestion des ressources.
- Améliorer les performances du runtime : Optimiser le traitement vectorisé, la concurrence, le parallélisme, l'utilisation de la mémoire, l'échange de données et le déversement sur disque.
- Diagnostiquer des problèmes complexes : Investiguer les problèmes de correction et de performance des requêtes à l'aide de profils de requêtes, d'outils de profilage, de télémétrie, de benchmarks, de journaux et de données de production.
- Optimiser Java et la JVM : Améliorer l'utilisation du CPU, le comportement d'allocation, le garbage collection, le comportement des threads et d'autres caractéristiques du runtime.
- Collaborer au sein du moteur de requêtes : Travailler avec les équipes de planification des requêtes, de Datalake, de produit, de support et d'ingénierie sur le terrain pour améliorer les requêtes de bout en bout.
- Utiliser des outils de développement assistés par IA : Appliquer des outils d'IA à la compréhension du code, au débogage, à la génération de tests, à la documentation et à l'analyse d'incidents.
- Appliquer le jugement d'ingénieur : Valider le code et les recommandations générés par l'IA par le biais de revues, de tests, de benchmarks et du jugement d'ingénieur.
- Élever le niveau d'ingénierie : Participer aux revues de conception et de code, contribuer à l'orientation technique et encadrer d'autres ingénieurs.
Ce que nous recherchons
- Expérience en ingénierie logicielle : 5+ années de développement de logiciels de production, de préférence dans les systèmes de bases de données, l'exécution de requêtes, les systèmes distribués ou des domaines connexes.
- Compétences en programmation : Solides compétences en Java ; l'expérience avec C++ est un plus.
- Fondamentaux de l'informatique : Solide base en structures de données, algorithmes, concurrence, programmation multithread et programmation asynchrone.
- Connaissance des bases de données et des systèmes distribués : Compréhension des internes des bases de données, du traitement des requêtes, de l'exécution distribuée et de l'optimisation des performances.
- Expérience en ingénierie des performances : Expérience en profilage et optimisation du CPU, de la mémoire, du garbage collection, du comportement des threads ou d'autres caractéristiques du runtime.
- Capacité de résolution de problèmes : Capacité à résoudre des problèmes techniques ambigus et à travailler efficacement au-delà des frontières des équipes.
- Jugement d'ingénieur : Capacité à évaluer les compromis, à valider rigoureusement les solutions et à prendre des décisions éclairées lors du travail avec des implémentations inconnues ou assistées par IA.
- Communication et appropriation : Solides compétences en communication, sens de l'appropriation et engagement à livrer des logiciels de haute qualité.
Points bonus si vous avez
- Moteurs de requêtes : Moteurs de requêtes distribués, moteurs de bases de données ou systèmes de traitement de données à grande échelle.
- Techniques d'exécution : Exécution vectorisée, opérateurs de requêtes, évaluation d'expressions, génération de code ou optimisation du runtime.
- Systèmes de runtime : Profilage JVM, gestion de la mémoire, mise en cache, réseau, échange de données, planification de l'exécution ou déversement sur disque.
- Plateformes de données : Apache Arrow, Apache Iceberg, Parquet, Avro, Spark, Hadoop ou stockages d'objets cloud.
- Open source : Contribution à des projets open source.
Dremio est un employeur garantissant l'égalité des chances et soutenant la diversité de la main-d'œuvre. Nous ne faisons aucune discrimination fondée sur la race, la religion, la couleur, l'origine nationale, l'identité de genre, l'orientation sexuelle, l'âge, l'état civil, le statut d'ancien combattant protégé, le statut de handicap ou tout autre facteur illégal.
Dremio s'engage à fournir toutes les accommodations nécessaires aux personnes handicapées dans le cadre de notre processus de candidature et d'entretien. Pour demander une accommodation en raison d'un handicap, veuillez en informer votre recruteur.
Dremio a mis en place des politiques pour protéger les informations personnelles que les employés et les candidats nous divulguent. Veuillez cliquer ici pour consulter l'avis de confidentialité.
Avis de sécurité important pour les candidats
Chez Dremio, nous considérons la confiance et la transparence comme des valeurs primordiales dans toutes nos interactions avec les clients, les partenaires, les employés et le grand public. Nous avons été ciblés par des individus créant de faux domaines similaires aux nôtres pour escroquer des prospects et des candidats. Veuillez noter que toutes les communications officielles de notre part proviendront d'un domaine @dremio.com. Si vous pensez avoir été ciblé par une escroquerie, il est impératif de signaler l'incident aux forces de l'ordre locales. Pour plus d'informations sur ce type d'escroquerie, veuillez vous référer à la déclaration officielle de Dremio ici.
Dremio n'est pas responsable des frais liés aux CV non sollicités et ne paiera pas de frais à une agence ou une société tierce qui n'a pas d'accord signé avec la Société.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil