התפקיד במילים פשוטות
התפקיד כולל תכנון, בנייה ותחזוקה של תשתית המאפשרת קליטת נתונים, תוך הבטחת הצלחה בקנה מידה גדול. המפתח יעסוק בהנדסה הפוכה של אתרים וממשקי API, בניית סקרייפרים מבוססי Python, עקיפת מנגנוני הגנה וניהול פרוקסי.
- Strong proficiency in Python
- 2 years minimum Python experience
- Experience building and operating large-scale scrapers and data extraction systems
- Mastery of HTTP/S, TLS, cookies, and headers
- Ability to dissect complex websites and mobile APIs (Android/iOS) to find hidden endpoints and efficiently extract data without rendering
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למפתחי Python עם ניסיון של שנתיים לפחות בבנייה ותפעול של מערכות איסוף נתונים בקנה מידה גדול. נדרשת הבנה מעמיקה בפרוטוקולי רשת כמו HTTP/S ו-TLS.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןYou are here to turn clarity into impact.
dig is a fast-growing Social Video Intelligence startup backed by top investors, giving brands the power to finally see and control what’s happening to them on social video.
We are seeking a specialist who lives in the Network tab of DevTools. You will be responsible for designing, building, and maintaining the infrastructure that powers our data ingestion, ensuring our data pipeline delivers high success rates at scale.
What you will do:
Reverse Engineering: Dissect complex websites and mobile APIs (Android/iOS) to find hidden endpoints and efficiently extract data without rendering.
Infrastructure & Scale: Build and maintain scalable scrapers using Python that handle millions of requests daily.
Bypass Protections: Develop strategies to overcome anti-bot measures, including TLS fingerprinting, CAPTCHA solving, and header optimization.
Proxy Management: Orchestrate smart proxy rotation strategies.
Data Quality: Ensure the integrity and structure of harvested data, implementing automated validation.
Tooling: Maintain our internal scraping framework.
Requirements:
Python Expertise: Strong proficiency in Python. 2 years minimum.
Experience building and operating large-scale scrapers and data extraction systems-Must
Network Fundamentals: Mastery of HTTP/S, TLS, cookies, and headers. You know exactly what happens in a TLS handshake and how to mimic it.
Why dig
We are a 50 person team in Tel Aviv revolutionizing the social listening category with urgency, clarity, and heart. A place with energy, humor, belonging, and real ownership. A product with meaning. A team you will want to show up for. If you want to help define a category and shape how brands navigate the Video First world, we want to meet you.
Show more
Show less
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- Strong proficiency in Python, 2 years minimum Python experience, Experience building and operating large-scale scrapers and data extraction systems, Mastery of HTTP/S, TLS, cookies, and headers, Ability to dissect complex websites and mobile APIs (Android/iOS) to find hidden endpoints and efficiently extract data without rendering