職位信息

1、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，包括調(diào)度、抓取、入庫等內(nèi)容，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析。

2、網(wǎng)絡(luò)爬蟲架構(gòu)設(shè)計(jì)、功能開發(fā)及優(yōu)化。

3、網(wǎng)頁信息抽取等核心算法的研究和優(yōu)化。負(fù)責(zé)公司運(yùn)營平臺(tái)開發(fā)工作。

4、負(fù)責(zé)解決項(xiàng)目相關(guān)的開發(fā)需求以及Bug修正，相關(guān)的問題的溝通協(xié)調(diào)工作。

任職要求：

1、統(tǒng)招研究生或本科，計(jì)算機(jī)或相關(guān)專業(yè)；

2、兩年或兩年以上爬蟲開發(fā)經(jīng)驗(yàn)；

3、熟悉爬蟲原理，掌握常見的反爬蟲技術(shù)，精通Scrapy框架，熟練使用Splash；

4、精通WebDriver，掌握http協(xié)議，熟悉html、dom、xpath等常見的數(shù)據(jù)抽取技術(shù)；

5、熟練使用MySQL、MongoDB，熟悉Hadoop、HBase、Elastic Search等技術(shù)；

6、扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力，有大規(guī)模代理服務(wù)器管理經(jīng)驗(yàn)和模板失效應(yīng)對(duì)的經(jīng)驗(yàn)優(yōu)先。