États-Unis
CONCEPT SOLUTIONS LLC
iCapital
Ingénieur et Développeur Python Principal - Vice-Président
États-Unis
Stamford, Connecticut, États-Unis
JavaScriptPythonAWSDockerTerraform
Traduction automatique. Consultez l’original.
À propos du poste
iCapital recherche un Développeur Python expérimenté avec une expertise en web scraping, interactions automatisées de portails et déploiement cloud natif utilisant AWS. Le candidat idéal aura une expérience pratique avec Playwright pour l'automatisation de navigateurs, la gestion des flux d'authentification multi-facteurs (MFA) et le déploiement de tâches de scraping évolutives via AWS Lambda et services associés. Ce rôle contribuera à l'architecture et à la construction de solutions de scraping robustes, sécurisées et évolutives qui interagissent avec des applications web complexes et des portails sécurisés.
Responsabilités
- Participer à la conception et à la mise en œuvre de solutions de scraping avancées utilisant Python, Playwright et les services AWS.
- Automatiser les interactions avec des sites web à forte composante JavaScript et sécurisés par authentification, y compris la gestion de la MFA, des CAPTCHAs et des flux de connexion basés sur des sessions ou des jetons.
- Concevoir des pipelines de scraping utilisant des composants serverless AWS tels que Lambda, Step Functions, S3, CloudWatch et Secrets Manager.
- Construire des systèmes évolutifs pour supporter des volumes élevés d'extraction de données avec tolérance aux pannes, mécanismes de relance et journalisation intelligente.
- Intégrer et gérer des flux de travail complexes entre plusieurs portails, APIs et sources de données.
- Contribuer aux décisions architecturales, aux outils et aux meilleures pratiques.
Qualifications
- Licence ou master en informatique, génie logiciel ou domaine connexe, ou expérience professionnelle équivalente
- 10+ années d'expérience en développement Python, avec un accent fort sur l'automatisation et l'extraction de données
- Expertise avérée en web scraping avec des outils tels que Playwright, Selenium, Scrapy, BeautifulSoup et requests
- Expérience approfondie dans la gestion des flux d'authentification multi-étapes, y compris l'authentification multi-facteurs (MFA), la résolution de CAPTCHA et la gestion des sessions ou des cookies
- Maîtrise du déploiement et de la gestion des charges de travail de scraping dans AWS, en particulier Lambda, S3, IAM, CloudWatch et Secrets Manager
- Expérience avec la programmation asynchrone, les navigateurs headless et le contenu rendu par JavaScript
- Solide compréhension des protocoles web (c'est-à-dire HTTP, HTTPS, cookies, en-têtes), et capacité à rétro-ingénierer les appels réseau et les mécanismes d'authentification
- À l'aise avec les APIs, JSON/XML et la transformation de données
- Expérience avec les pipelines CI/CD, Docker et l'infrastructure en tant que code (c'est-à-dire CloudFormation, Terraform)
- Familiarité avec les outils d'orchestration de pipelines de données tels qu'Apache Airflow ou AWS Step Functions
- Expérience préalable en scraping de portails sécurisés ou de niveau entreprise (c'est-à-dire financiers, santé, juridiques)
- Exposition aux frameworks de test Python et à la rédaction de tests unitaires ou d'intégration
- Un parcours en ingénierie de données ou en flux ETL est un plus
Avantages
La fourchette de salaire de base pour ce poste est de 150,000 $ à 180,000 $. iCapital propose un ensemble de rémunération comprenant le salaire, des actions pour tous les employés à temps plein et une prime de performance annuelle. Les employés bénéficient également d'un ensemble complet d'avantages sociaux comprenant un plan de retraite avec abondement de l'employeur, une couverture santé généreusement subventionnée avec 100% de prise en charge par l'employeur pour les soins dentaires, la vision, la télémédecine et le conseil virtuel en santé mentale, un congé parental et des congés payés illimités (PTO).
Nous croyons que les meilleures idées et innovations naissent lorsque nous sommes ensemble. Les employés occupant ce poste travailleront au bureau du lundi au jeudi, avec la flexibilité de travailler à distance le vendredi.
Pour plus d'informations sur iCapital, veuillez visiter icapitalnetwork.com/about-us Twitter : @icapitalnetwork | LinkedIn : linkedin.com/company/icapital-network-inc | Avis sur les récompenses : icapitalnetwork.com/about-us/recognition/ nam02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.icapitalnetwork.com%2Fabout-us%2Frecognition%2F&data=05%7C01%7Ckturlis%40icapitalnetwork.com%7C7f07161790634b9fc3fc08da748bec16%7C0ac51d2823c34b35a9fbe1a17aa9eff1%7C0%7C0%7C637950441561507201%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=HAZm4uhhP8r6HVKnBqOMq5jbXmgOrHlsPCur9U4JRis%3D&reserved=0
iCapital est fier d'être un employeur respectant l'égalité des chances en matière d'emploi et l'action positive. Nous ne faisons aucune discrimination fondée sur la race, la religion, la couleur, l'origine nationale, le sexe, l'orientation sexuelle, l'identité de genre, l'âge, le statut de vétéran protégé, le statut de personne handicapée ou toute autre caractéristique protégée par la loi.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil