職責(zé)描述：

1. 可以使用Airflow/Python構(gòu)建和更新大數(shù)據(jù)管道創(chuàng)建和維護(hù)ETL管道；

2. 建立和更新大數(shù)據(jù)管道，維護(hù)Kargo的數(shù)據(jù)湖；

3. 確保用戶能夠正確訪問(wèn)我們的數(shù)據(jù)資產(chǎn)；

4. 與洞察團(tuán)隊(duì)協(xié)調(diào)，提取數(shù)據(jù)進(jìn)行臨時(shí)報(bào)告；

5. 使用各種BI工具設(shè)計(jì)和創(chuàng)建有影響力的可視化效果；

6. 檢測(cè)并清除數(shù)據(jù)中的任何差錯(cuò)；

7. 熟練使用書面、口頭或演示的方式，進(jìn)行溝通和業(yè)務(wù)匯報(bào)。

任職要求：

1. 使用Hadoop、Hive、Spark、Kafka、HDFS等Apache Hadoop/Spark生態(tài)系統(tǒng)應(yīng)用進(jìn)行大數(shù)據(jù)處理的經(jīng)驗(yàn)者優(yōu)先；

2. 對(duì)數(shù)據(jù)倉(cāng)庫(kù)ETL設(shè)計(jì)和開發(fā)、方法、工具、流程和實(shí)踐方面必須擁有豐富的經(jīng)驗(yàn)；

3. 有豐富的c級(jí)管理人員的星盤和報(bào)表制作經(jīng)驗(yàn)；

4. 熱愛數(shù)據(jù)，能夠發(fā)揮展示使用真正大型數(shù)據(jù)集的經(jīng)驗(yàn)；

5. 在AWS、Azure或阿里云等云技術(shù)方面有豐富的經(jīng)驗(yàn)；

6. 具有使用Python、Airflow或ETL等工具創(chuàng)建數(shù)據(jù)管道的豐富經(jīng)驗(yàn)；

7. 具有豐富的數(shù)據(jù)建模經(jīng)驗(yàn)；

8. 具有專業(yè)SQL技能；

9. 熟練掌握Linux工具；

10. 有較強(qiáng)的學(xué)習(xí)能力，可以充分發(fā)揮所掌握技能及崗位專業(yè)性；

11. 全日制本科及以上學(xué)歷，具有豐富工作經(jīng)驗(yàn)者優(yōu)先考慮；

12. 具備流利的英語(yǔ)口語(yǔ)和書寫能力。