職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責
1、負責設計、開發和維護高效、穩定的爬蟲系統,提升數據采集的效率和質量;
2、負責多平臺信息抽取、數據清洗、入庫、服務化等研發和優化工作;
3、解決實際開發過程中碰到的各類產品數據需求和接口問題。
任職要求
1、統招本科及以上學歷,熟練使用Python或其他相關語言進行爬蟲開發,擁有扎實的編碼和調試能力,并能夠編寫高質量的可維護代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據需求靈活使用,同時熟悉反爬蟲機制的解決方案;
3、具備大規模分布式爬蟲系統設計和開發經驗,能夠解決分布式爬蟲中的挑戰和問題,如任務調度、數據同步和去重等;
4、深入理解網絡協議和網頁結構,能夠處理復雜的頁面結構和動態內容;
5、熟悉數據庫的使用,能夠設計和優化數據存儲和查詢方案,具備數據清洗和處理的能力。
6、有開源大模型部署及微調經驗優先
1、負責設計、開發和維護高效、穩定的爬蟲系統,提升數據采集的效率和質量;
2、負責多平臺信息抽取、數據清洗、入庫、服務化等研發和優化工作;
3、解決實際開發過程中碰到的各類產品數據需求和接口問題。
任職要求
1、統招本科及以上學歷,熟練使用Python或其他相關語言進行爬蟲開發,擁有扎實的編碼和調試能力,并能夠編寫高質量的可維護代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據需求靈活使用,同時熟悉反爬蟲機制的解決方案;
3、具備大規模分布式爬蟲系統設計和開發經驗,能夠解決分布式爬蟲中的挑戰和問題,如任務調度、數據同步和去重等;
4、深入理解網絡協議和網頁結構,能夠處理復雜的頁面結構和動態內容;
5、熟悉數據庫的使用,能夠設計和優化數據存儲和查詢方案,具備數據清洗和處理的能力。
6、有開源大模型部署及微調經驗優先
工作時間:995
工作地點
地址:北京朝陽區海航大廈北京市朝陽區霄云路26號海航大廈


職位發布者
劉小姐HR
位來小獵(寧波)信息技術有限公司

-
專業服務
-
200-499人
-
私營·民營企業
-
上海市普陀區真如山姆
相似職位
-
高級后臺開發工程師 30000-40000元海淀區 應屆畢業生 本科深圳市騰訊計算機系統有限公司
-
高級/資深服務端開發工程師(中間件) 20000-40000元海淀區 應屆畢業生 本科網易(杭州)網絡有限公司
-
付費短劇版權商務 15000-25000元海淀區 應屆畢業生 本科北京字節跳動網絡技術有限公司
-
pmo(j57840) 25000-40000元海淀區 應屆畢業生 碩士百度在線網絡技術(北京)有限公司
-
增長產品經理(j60109) 20000-35000元海淀區 應屆畢業生 本科百度在線網絡技術(北京)有限公司
-
行業一部市場組_泛科技市場經理(j67324) 25000-40000元海淀區 應屆畢業生 本科百度在線網絡技術(北京)有限公司