大数据行业就业指南

大数据行业就业指南

大数据开发工程师/大数据运维/Hadoop开发：

熟悉Hadoop生态圈（ MapReduce，hdfs，Hive，Spark等相关组件），liunx（shell脚本）相关技术以及对源码有深入认识，熟悉mysql数据库等，掌握JAVA语言或者python语言 （有的公司要求掌握Scala语言，流式处理框架使用经验，熟悉Tableau报表设计

数据采集工程师/网络爬虫工程师/反爬虫工程师:

  熟悉Selenium, phantomjs, scrapy等自动化测试工具，以及爬虫框架，精通Java/Objective-C/python等至少一种语言，了解各种前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等；熟悉正则表达式和XPATH，能够从结构化或非结构化数据中获取信息；熟悉DDMS、Instruments，Charles，Fildder等抓包工具;，熟悉网络编程，对TCP/IP有深入理解，精通MySQL或PostgreSQL；熟悉Redis或MongoDB；了解linux优先

大数据分析工程师/统计建模师/数据管理/数据统计

       熟悉R/Spark/Python或C/C++等至少一个常用语言；以机器学习、深度学习、复杂网络、自然语言处理等其中一种或几种模型见长；对建模技术的前沿探索有热情，优秀的学习能力和逻辑思考能力；对风险管理、用户生命周期管理、或不同垂直领域有深入研究，对各式海量数据分析与挖掘有强烈兴趣。具备ETL数据处理能力，有经验者优先，优秀的逻辑思维能力，和数据敏感度，可从海量数据中日趋分析并反推业务逻辑，优化核心业务流程；

数据可视化工程师：

.      理解W3C标准与ES规范，熟悉Web语义化，掌握盒模型、常用布局以及浏览器兼容性；熟练掌握各项Web前端技术 (HTML/CSS/Javascript) ，了解svg，canvas，webgl技术；熟练掌握JET Charts/ECharts/HighCharts/D3.js/Three.js等图形库熟练使用可视化BI工具及前端工具，具有计算机图形学理论基础，熟悉数据可视化相关基础算法；熟悉 HTTP 协议及缓存，了解基本的浏览器渲染及网络传输过程，掌握Java/python等一门语言，有前端开发经验/大规模数据存储，处理经验者优先