職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
工作職責:
1、負責數據爬蟲系統的設計和開發工作,能應對各種網站的反爬機制,順利爬取數據;
2、負責數據爬取、解析、清洗、入庫等工作;
3、幫助團隊解決各種爬蟲技術問題,提升海量數據系統的抓取效果與性能。
任職資格:
1、本科及以上學歷,熟練使用python,并掌握常用的信息抽取工具,如正則表達式、Xpath等;
2、熟悉JavaScript、html、css、并能夠通過調試網頁代碼搜索請求地址并進行模擬;
3、熟悉常用反爬機制并能夠進行破解;
4、熟悉常用的IP代理訪問方式;
5、熟悉多線程、網絡編程以及分布式爬蟲架構開發場景;
6、了解大數據技術如hadoop、spark等。
工作地點
地址:深圳福田區深圳平安金融中心


職位發布者
HR
中國平安人壽保險股份有限公司

-
保險
-
500-999人
-
股份制企業
-
紅專路政六街豫新大樓