中文字幕区一区二,国产乱肉妇乱免费,摸丰满大乳奶水在线播放视频,鲁一鲁在线视频,婷婷一区二区三区四区,黄视频网站免费看,成人免费va视频

【保定總部工作】 1. 負(fù)責(zé)定向數(shù)據(jù)的采集與爬取、解析處理、入庫(kù)及備份等數(shù)據(jù)日常工作； 2. 研究主流網(wǎng)站的爬取方法及數(shù)據(jù)清洗處理，負(fù)責(zé)非定向數(shù)據(jù)的清洗、整理、整合及合并等工作； 3. 參與分布式爬蟲(chóng)的框架的維護(hù)與開(kāi)發(fā)；負(fù)責(zé)公司采集系統(tǒng)架構(gòu)開(kāi)發(fā)和性能優(yōu)化；爬蟲(chóng)框架工具化，使數(shù)據(jù)采集人員簡(jiǎn)單適用，高效采集數(shù)據(jù)； 4. 及時(shí)解決生產(chǎn)上的系統(tǒng)問(wèn)題，并對(duì)用戶(hù)提供技術(shù)支持；并能根據(jù)項(xiàng)目安排采集指定站點(diǎn)數(shù)據(jù)； 5. 其他部門(mén)內(nèi)數(shù)據(jù)相關(guān)工作。 任職資格： 1. 本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)； 2. 5年以上Python開(kāi)發(fā)經(jīng)驗(yàn)，至少2個(gè)以上完整的中大型爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)； 3. 熟練掌握基于爬蟲(chóng)框架Selenuim、Scrapy、PySpider、Crawley，puppeteer； 4. 熟悉瀏覽器運(yùn)行原理，懂得js逆向，熟悉web端常用反爬技術(shù)； 5. 熟悉抓包工具(Wireshark、Fiddler、charles等)； 6. 熟練使用一種以上數(shù)據(jù)庫(kù)(Doris/MySQL/mongodb)與消息中間件kafka；7. 具有反爬解決經(jīng)驗(yàn)，對(duì)Js逆向、封IP 、復(fù)雜驗(yàn)證碼、模擬Cookie 登錄等，有過(guò)實(shí)際經(jīng)驗(yàn)；