本人从事大数据以及相关行业,从目前大数据实际运用的角度来说一下这个问题。以下是我整理的近年来大数据相关好岗位以及岗位职责,技能需求需求,供参考
一,大数据开发
从事大数据开发工程师
岗位职责
1、利用Hadoop、Spark等技术在分布式系统上对海量历史数据进行预处理,挖掘用户信
息;
2、参与大数据基础平台的搭建和维护;
3、负责广告投放项目管理平台研发;
4、负责大数据计算处理平台项目研发。
技术要求
1、熟练掌握c++/Java开发,具备扎实的程序设计基本功和学习能力
2、熟悉 Linux,熟悉 shell/perl/python/php 等脚本语言的一种或多种。
3、熟悉传统数据库MySQL。
4、熟悉MapReduce、Storm、Spark、Spark Streaming等大数据开发工具,对源代码
有一定研究者优先;
5、熟悉linux环境,熟悉shell等脚本编程;
6、有大规模数据处理和日志处理经验的优先。
7、有较强的人际沟通、协调能力,具备与技术人员沟通数据需求的能力;
8、具备良好的逻辑分析能力和解决实际问题的能力。
二,大数据运维
从事大数据运维工程师
岗位职责
1、负责大数据平台整体软硬件的日常运维;
2、分析平台运行状态,进行性能优化;
3、负责大数据平台运行故障的分析、定位和解决;
4、负责新技术、新组件的技术探索、测试和应用;
5、支撑运维自动化系统的设计和开发。
岗位要求:
1、 熟悉hadoop生态圈主要开源技术组件及其工作原理,能阅读相关源代码,能顺利阅读英文文档;
2、熟悉软硬件设备、网络原理,有丰富的大数据平台部署、性能优化和运维经验;
3、熟悉Linux,熟悉cacti、ganglia、zabbix等运维软件,熟悉SaltStack、Ansible等自动化软件,有python、java、shell编程基础;
4、工作认真负责,有较强的学习能力、动手能力和分析解决问题的能力;
补充:
熟悉
Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等开源项目,有运维优化经验者优先;
熟悉Linux操作系统的配置、管理及优化;
熟悉Python、Linux、shell,有ETL维护经验、电信行业大数据维护经验者优先
三,数据挖掘
从事数据挖掘工程师
岗位职责
1、对海量数据进行分析,建立数据挖掘算法,利用大数据对产品进行研究和建模,为用户提供评估和预测等功能;
2、参与/负责用户画像、推荐等系统搭建,参与核心产品推荐场景算法的研发和优化;
3、采用先进的数据挖掘和机器学习算法,为公司业务部门提供决策依据;
4、搭建数据挖掘系统和机器学习系统,实现智能平台的自动化流程。
1、具备强悍的编码能力,有扎实的数据结构和算法功底;
2、优秀的学习能力、独立分析问题和解决问题能力;
3、熟悉Linux开发环境,熟悉Python,PHP,Java等语言两种以上;
4、熟悉基本的数据分析方法、数据挖掘、机器学习算法;
5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具;
6、熟悉Hadoop/Spark,有Elasticsearch,Solr,Kafka,Flume等开源项目使用经验
7、有画像、广告、推荐,搜索等算法方向实际工作经验优先
四,BI(商务智能)工程师— (包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问)
岗位职责
1、独立负责业务数据收集整理,构建经营分析和报表系统;
2、通过专题分析,对业务问题进行深入分析,为业务的策略、产品优化提供数据支持;
3、 以数据驱动业务为目标,进行数仓研发工作但不局限于数仓;
4、 参与数据仓库ETL设计、开发和优化工作,保证数据准确、稳定、组织合理
岗位要求
1、掌握Oracle、MySQL、ODPS等数据库开发技能,熟练应用开发、数据库原理和常用性能优化和扩展技术;
2、掌握数据仓库建设、熟悉大数据平台操作,离线计算Hive/MR研发、实时计算spark streaming/storm;
3、熟悉ETL逻辑、OLAP设计和数据分析技术(聚类分析、回归分析、决策树等)、数据挖掘相关算法;
4、熟悉Linux系统环境开发,掌握shell、perl、python等至少一种开发语言。
6. 有较强的逻辑/概率思维能力,善于分析、归纳、描述、沟通、和解决问题。
补充(根据企业工具区别)
1、全面熟知数据仓库设计理念、设计方法,熟练掌握Informatica、Kettle、Automation等至少一种ETL工具;
2、熟练掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一种BI工具;
3、熟悉数据仓库,掌握BI相关工具,如ETL工具(SSIS, SAP DataService)、OLAP工具(SSAS)和前端展示工具(BO CR/Webi)
五,数据可视化
从事可视化工程师
岗位职责
1、负责大数据平台业务逻辑和数据可视化功能,数据可视化组件研发;
2、搭建基础的可视化分析平台,设计数据分析应用的架构,实现实时数据调用与展示;
3、数据相关性分析与根因分析;
4、支持客户需求分析和数据分析。
岗位要求
1、熟练Web前端技术(SVG/HTML5/JavaScriptdeJS等);
2、熟练D3、Echarts、Three.js、WebGL等开源数据可视化库和技术;
3、有Web服务器端编程语言(如Node/Java)开发经验优先;
4、有blender(以及blender game engine)或者unity 3d或unreal engine等开发经验优先
一些BI岗位的详细介绍
BI工程师(开发、咨询、实施)
BI开发工程师
岗位职责
1、执行在框架设计的基础上完成具体组件的概要设计、详细设计编写;
2、完成BI系统具体组件的代码编写、单元测试;
3、参与BI系统报表平台技术架构设计,数据库结构设计;
4、参与BI系统数据仓库的构架、建模和实现。
5、负责向需求方提供数据及业务分析服务,负责整体风控模型的优化,理解并掌握BI报表需求;
岗位要求
1、有数据仓库或统计分析类项目开发经验或较深的理论知识;
2、熟悉Cognos、Webfocus、ireport等数据分析报表开发工具和技术;
3、熟悉Linux/Unix服务器,并了解一些基本的操作命令;
4、至少熟悉Informix/Oracle/SQL Server等数据库中的一种,并在此基础上有过ETL程序或存储过程的开发。
5、能够熟练应用JSP/Servlet/JavaScript等WEB开发技术,熟悉Spring,Struts2和iBATIS等主流的开发框架,熟悉BIRT、JasperReports等开源报表工具;
6、熟悉Linux Shell、Perl等脚本语言,熟悉ORACLE数据库,PL/SQL编程;
7、熟悉BI系统技术框架,熟悉数据采集流程,对数据仓库有比较深入的了解;
8、熟悉行业经营分析系统(BI)架构及实现者优先。
BI咨询顾问
岗位职责
1、分析客户的数据要求;
2、负责Qlikview/Tableau BI项目的实施和报表开发;
3、负责校验数据,保障数据的准确;
4、 负责客户需求收集、分析,梳理业务流程解决方案,项目的拓展支撑;
5、撰写需求规格书及各类相关文档;
6、良好的团队合作、协调、问题处理能力;
岗位要求
1、对BI有系统的认知;
2、熟练使用Qlikview,Tableau等前端工具;
3、熟悉MS SQL Server,熟练运用SQL语言;
4、前端报表偏业务方向需熟悉主流报表工具或新兴前端报表工具Qlikview、Tableau等优先考虑;
6、后台数据处理需熟悉掌握至少一种后台ETL开发工具,例:Informatica powercenter、Datastage、OWB、微软DTS、Kettle等;
7、后台数据建模需熟练掌握至少一种数据挖掘算法和建模方法,了解建模;
8、良好的英文能力,能快速阅读和撰写英文技术文档者优先。
BI实施工程师
岗位职责
1、负责BI项目的需求调研与分析工作;
2、负责BI项目的方案设计、实施或项目管理工作;
3、参与公司BI产品和项目的实施开发工作。
岗位要求
1、良好的数据库基础,精通SQL,深入掌握Oracle或其他数据库,能够进行数据库调优;
3、熟悉ORACLE、MYSQL、SQLSERVER等主流数据库的安装及配置、熟悉SQL语句编写及ETL、BI实施工作;
3、熟悉LINUX操作系统安装及常用命令;
4、熟悉BI基础理论知识,使用过BI相关产品;
5、参与BI相关项目的实施工作;
6、熟悉TOMCAT、JDK等安装及参数配置;
7、具备较强的语言表达能力,能与客户顺畅沟通或产品介绍;
8、具备较强的学习与动手能力,能够适应全国范围内出差;
9、熟悉hadoop大数据及自动化运维工具经验者的待遇从优。
ETL工程师
岗位要求:
具备一般的JAVA应用开发能力;
熟悉Oracle下的分区,表空间, SQL性能调优等操作;
熟悉常用的ETL工具,如:kettle, informatica等;
熟悉常用的报表工具,如:Cognos等。
岗位职责:
负责行业生产交易系统数据仓库开发,存储过程编写,数据模型研究,大数据研究
六,数据分析工程师
岗位职责:
1、进行业务和企业经营行为分析,梳理业务规律和业务需求;
2、将业务需求转化为数据需求,发现数据应用场景,梳理指标体系;
3、使用合适的数据分析工具进行数据分析和模型设计;
4、提出基于数据的结果和分析建议,根据分析结果进行行业研究、评估和预测;
5、编写数据分析报告;
6、完成领导交办的其他工作。
岗位要求
1、本科以上学历,计算机、数学、统计学等相关专业;
2、深刻理解大数据分析原理及相关应用;
3、熟练掌握主流数据库技术;
4、精通数据分析、挖掘工具与方法,如SAS、R、Python、EXCEL等;
5、敏锐的数据观察和分析能力,及时发现和分析其中隐含的变化和问题并给出建议;
6、良好的沟通能力和团队精神,较强的学习能力,能承担一定的工作压力;
互联网是一个快速发展的行业,如果你刚上大学,可能四年出来就会有变化!所以还是注意相关咨询!希望能够帮到你,欢迎关注,讨论
Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有