数据挖掘是研究趋势和未来的问题，主要应用在预测方面。从业务的时效性要求去看，分为：实时在线分析系统和离线分析系统。例如:网站的实时用户区域分佈狀況就是实时分析應用；2019年全國各省GDP排名分析就是離綫分析應用。从大数据项目的过程看，大数据包含：数据采集、数据收集、数据转化与存储、数据建模分析、上层应用展示等。
大数据的难点，在于海量数据的分析，这又涉及到海量数据存储及分析架构等问题。按照Hadoop的技术体系来讲，flume用来收集和转化存储在服务器各处的日志及数据，存储在以hdfs文件系统或者hive或者hbase等数据仓库中，再利用hadoop架构的规范，编写mapreduce作业，再把分析结果展示给用户。
当然，这里面设计到数据分析的各种算法。大数据相关的工作岗位下面介绍下，大数据相关的核心岗位：业务专家或者顾问：为大数据提供研发方向和确定研究主题，并为技术人员提供业务支持。数据分析师：从事数据收集、整理、分析并依据数据做出评估和预测的专业人员。数据挖掘工程师：从海量数据中发现规律，需要较好的算法和数学基础。
可视化工程师：提供美观、便于人们理解的分析的结果展示界面。维护工程师：负责服务器环境的配置、搭建和运维。每个公司采用的大数据技术线路不同，工作岗位会有所差距。感兴趣的朋友，可以自己去了解下，现有的几种大数据方案。随着5G网络的建设，接入网络的iot设备会越来越多，互联网所积累的数据，还会成级数增加。在未来几年，大数据行业依然是朝阳行业，需要的大数据人才会越来越多，希望本文对有意愿加入大数据行业的朋友，有所启发和帮助，也希望大家能对大数据的概念，有更清晰的认识。
不谈兴趣爱好，数据科学与大数据技术专业的前景和钱景究竟怎么样？
作为一名教育工作者，目前也在带大数据方向的研究生，所以我来回答一下这个问题。首先，目前数据科学与大数据技术专业的前景还是非常广阔的，虽然该专业的设立时间比较短，但是在第一批本科生大面积就业之后，该专业就成为了继计算机科学与技术专业、软件工程专业之后，第三个就业表现突出的计算机相关专业之一，而且从大的行业发展趋势和人才需求趋势来看，未来大数据专业的就业潜力还是非常大的。
数据科学与大数据专业是一个典型的交叉学科，涉及到数学、统计学和计算机三大学科，同时还涉及到经济学、金融学、社会学、医学、教育学等一众学科，随着大数据技术逐渐开始落地应用，未来更多的专业学科都会与大数据技术相结合，所以未来在数据科学与大数据专业就读的同学，在选择主攻方向时会有更大的选择空间。从就业的角度来说，当前选择大数据专业可以看成是一个“进可攻退可守”的选择，“进”可以往人工智能相关方向发展，“退”可以从事传统的信息类岗位，包括开发岗、算法岗、运维岗等等，所以大数据专业的就业能力是比较强的。
