什么叫大数据?
大数据技术是相对于传统数据库和其应用技术而言的。
伴随移动互联网时代和工业物联网时代的快速发展,每时每刻企业、城市、社会都产生大量数据,比如资源卫星影像数据、地震钻探测井数据、气象预报数据、安全视频监控数据、森林火灾检测与实时报警数据、海洋污染环实时境监测数据、自动驾驶的实时分析决策判断,等等。这些数据不仅仅采集量极其大,而且分析决策判断系统需要智能化、实时化,且结果必然可靠精确。依靠传统的技术人员手工处理和分析决策是无法想象的,也是不可能的。
因此,除升级更新传统的关系型数据库技术外,必须使用创新技术来实时地、可靠地对这些非关系型海量数据进行数据存储、处理、分析、决策。这就是大数据技术。
实践中,由于大数据具有数据量大、数据类型丰富复杂、数据增长速度快等特点,想要学好大数据那就要学好一系列的大数据生态圈技术组件,以及贯穿整个数据分析流程的分析方法和思维,只有明确了数据分析场景与流程,才能够确定需要整合哪些组件来解决这一问题。
总体而言,大数据技术涵盖大数据平台和人工智能两个方面,比如 Hadoop、OpenStack 云平台、MindSpore AI建模、R & Python 等等。
当然,大数据技术不包括相关的大数据采集平台和技术,比如说卫星、无人机、各种 IoT 感应器、地质石油勘探、手机??、汽车??… 此外,大数据技术中也不包括相关的平台构架、数据安全、维护等等,这些均属于 IT 技术范畴 …
总之,大数据技牵扯到社会管理和人们生活的方方面面,可以说涉及到各个行业和企业。是数据工程师、数据科学家的“核心”必备技能,也是工程师、科学家、经济学家等等必要的“基本”技能,包括自身行业企业相关实践的AI建模、BI数据分析,R 和 Python 编程。
(开源技术是构建大数据平台的基础)
(基于开源技术的BI和大数据分析平台)
(华为沃土数字平台、应用生态示意图)
Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有