centos7静默安装oracle11gR2，安装前需要确定硬件是否支持。因为是静默安装，所以我们不需要安装图形界面。

zookeeper+kafka集群搭建需要提前准备好安装并配置了jdk环境 。

大数据采集终端使用Flume时可以直接连接数据库，但是提供的数据采集方式较为简单。还好我们可以自定义flume的source插件，下面为大家讲解一下使用的过程。

由于业务系统使用的数据库是Mysql，需要对业务进行大数据分析这就要求我们实时采集MySQL的数据。使用flume采集MySQL数据配置较简单，下面是配置的过程。

项目需要对企业的业务访问流量进行大数据分析，由于使用Kafka+flume采集数据，接收到的数据是单条的所以需要组装切割再筛选所需要的数据。

Hive是为了解决hadoop中mapreduce编写困难，提供给熟悉sql的人使用的。只要你对SQL有一定的了解，就能通过Hive写出mapreduce的程序，而不需要去学习hadoop中的api。

Hadoop是一个能够对海量数据进行分布式处理的系统架构，Hadoop框架的核心是：HDFS和MapReduce，HDFS分布式文件系统为海量的数据提供了存储，MapReduce分布式处理框架为海量的数据提供了计算。

在实现flume采集数据并使用kafka传输数据后发现数据是以明文传输的，对于安全性要求较高的系统来说是不可取的，故使用flume可扩展的自定义拦截功能来将数据过滤和加密本文主要讲加密过滤的部分依据实际的需要来增加，拦截器使用maven项目实现。有疑问可以参考上篇日志（此处需要采集初始机制搭建完成） — 日志分析系统(zookeeper+flume+kafka)之实时接收数据

linux 查看服务器系统资源和负载，以及性能监控

在学习大数据的时候常会遇到使用Hive或HBase数据仓库，究竟他们有什么区别呢？