1. 參與已有爬蟲系統(tǒng)中作業(yè)的檢驗(yàn)，設(shè)計和優(yōu)化爬蟲策略，充分利用已有服務(wù)器和寬帶資源進(jìn)行優(yōu)化；

2. 設(shè)計爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗(yàn)證碼等難點(diǎn)攻克，提升網(wǎng)頁抓取的效率和質(zhì)量

3. 負(fù)責(zé)爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)，編寫大規(guī)模分布式網(wǎng)絡(luò)爬蟲（多線程、分布式調(diào)度、協(xié)議處理）；

4. 負(fù)責(zé)指定網(wǎng)站進(jìn)行網(wǎng)頁內(nèi)容抓取、深度網(wǎng)頁內(nèi)容抓取的關(guān)鍵技術(shù)以及數(shù)據(jù)清理提�。�

5. 負(fù)責(zé)數(shù)據(jù)的抓取、解析、清洗、入庫、優(yōu)化；構(gòu)建和開發(fā)在海量數(shù)據(jù)下多維分析的數(shù)據(jù)分析平臺。

1. 本科以上專業(yè)，精通網(wǎng)絡(luò)爬蟲、互聯(lián)網(wǎng)搜索、大數(shù)據(jù)新聞、網(wǎng)絡(luò)多媒體、網(wǎng)絡(luò)視頻、即時通訊等技術(shù)，有著豐富的網(wǎng)絡(luò)數(shù)據(jù)工程項(xiàng)目經(jīng)驗(yàn)，具有網(wǎng)絡(luò)爬蟲、網(wǎng)頁信息抽取等相關(guān)經(jīng)驗(yàn)，做過電商平臺商品采集項(xiàng)目者優(yōu)先；

2. Python基礎(chǔ)扎實(shí)，熟練運(yùn)用各種爬蟲庫，精通Scrapy框架，了解Django框架(做網(wǎng)站的)，

3. 熟悉Mysql、Redis、MongoDB一種或者多鐘數(shù)據(jù)庫開發(fā)技術(shù)，熟悉linux操作

4. 熟練使用pandas，numpy，openpyxl處理數(shù)據(jù)

5. 精通網(wǎng)頁抓取原理及技術(shù)、深度抓取、動態(tài)網(wǎng)頁技術(shù)抓取、瀏覽器模擬抓取技術(shù)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

6. 精通爬蟲和反爬技術(shù)，精通http底層協(xié)議，了解TCPHTTP協(xié)議、HtmlJsCss、Ajax等技術(shù)；精通深度抓取、動態(tài)網(wǎng)頁技術(shù)抓取、瀏覽器模擬抓取技術(shù)等；

7. 熟悉分布式系統(tǒng)、多線程；

8. 具有網(wǎng)絡(luò)爬蟲、網(wǎng)頁信息抽取、web挖掘等搜索引擎等相關(guān)經(jīng)驗(yàn)優(yōu)先，做過電商平臺商品信息采集項(xiàng)目者優(yōu)先。

9. 能夠快速學(xué)習(xí)和掌握新技術(shù)，優(yōu)秀的分析、解決問題能力，具備團(tuán)隊(duì)合作精神

我們的福利：

1、社會保障：購買五險一金（養(yǎng)老、生育、工傷、失業(yè)、醫(yī)療保險、住房公積金）

2、餐飲便利：公司設(shè)有微波爐和電冰箱，公司附近有品類豐富的餐館，不必為飲食擔(dān)憂。

3、住宿便利：公司附近有公寓、出租房，房租價格實(shí)惠。

4、購物、娛樂便利：公司附近就有萬達(dá)廣場、萬科廣場、中海寰宇城等大型商場，公園，健身房，生活配套設(shè)施齊備，逛街、下午茶很方便，工作、生活兩不誤。

5、假期福利：帶薪年假，帶薪病假、婚假、產(chǎn)假、生育津貼、喪假等。服務(wù)滿一年更享有5天帶薪年假，隨著服務(wù)年限遞增，最長可享有10天帶薪年假。

6、日常福利：公司每月舉辦生日會，水果下午茶福利，生日禮物，節(jié)日禮物等（如三八女王節(jié)，端午節(jié)，中秋節(jié)，圣誕節(jié)，春節(jié)）。

7、年度調(diào)薪：每年至少有1次調(diào)薪機(jī)會。

8、旅游團(tuán)建：定期組織戶外活動或者出游活動，優(yōu)秀團(tuán)隊(duì)和個人會獎勵出國旅游機(jī)會。

9、試用期：1-3個月，我們給予新人莫大的認(rèn)可與鼓勵，以能力和結(jié)果為導(dǎo)向，幫助你提前達(dá)成目標(biāo)，提前轉(zhuǎn)正。

10、獎勵機(jī)制：以“能”定薪，提供極具競爭力的薪酬福利待遇及年終獎金。

11、晉升機(jī)制：公平公正的內(nèi)部雙向晉升制度，有管理層通道和精英層通道。

12、培訓(xùn)體系：新同事入職后公司會提供入職培訓(xùn)及專業(yè)培訓(xùn)，資深員工帶你一起共同成長，實(shí)行1對1專人指導(dǎo)，對于不同級別及不同崗位均有相應(yīng)專業(yè)及管理培訓(xùn)。公司不僅會出資讓同事學(xué)習(xí)最前沿的電商營銷技巧，也會大力投入，培養(yǎng)大家的管理能力，讓大家不斷提高自身綜合能力，在各自的部門內(nèi)都能獨(dú)當(dāng)一面。

13、合伙人機(jī)制：對于優(yōu)秀人才公司會提供孵化資源支持內(nèi)部創(chuàng)業(yè)，并有機(jī)會成為公司合伙人，享有合伙人分紅。目前我司擁有成熟的機(jī)制與經(jīng)驗(yàn)�，F(xiàn)階段，公司求賢若渴，近兩年內(nèi)致力培育一批中層管理骨干，鼓勵公司各個崗位上有想法，有能力的小伙伴積極為公司拓展新領(lǐng)域，開辟新戰(zhàn)場，公司會傾斜資源和資金去配合這些新創(chuàng)項(xiàng)目，同時提供充分的運(yùn)營技術(shù)和管理技能培訓(xùn)，確保這些勇敢上進(jìn)的小伙伴們都能成為新的項(xiàng)目負(fù)責(zé)人，同時給予每個項(xiàng)目主管一定比例的分紅。

14、其它福利正在逐步完善中。