Hadoop有什么用
这篇文章将为大家详细讲解有关Hadoop有什么用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
创新互联建站-专业网站定制、快速模板网站建设、高性价比苏仙网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式苏仙网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖苏仙地区。费用合理售后完善，10年实体公司更值得信赖。
一、Hadoop简介
A.什么是Hadoop
1.Hadoop是一个开源分布式计算平台，以HDFS（Hadoop Distributed Filesystem，Hadoop分布式文件系统）和MapReduce为核心，为用户提供了系统底层细节透明的分布式基础架构
2.使用HDFS分布式存储方式，提高了读写速度，扩大了存储容量，采用MapReduce来整合分布式文件系统上的数据，可以保证分析和处理数据的高效，还采用存储冗余数据的方式保证了数据的安全性；HDFS的高容错特性，使得Hadoop可以部署在低廉的计算机集群中，同时不限于某个操作系统
3.Hadoop优势：高可靠性、高扩展性、高效性、高容错性
B.Hadoop项目及其结构
1.Core/Common，是为Hadoop其他子项目提供支持的常用工具，包括FileSystem、RPC和串行化库
2.Avro，用于数据序列化的系统
3.MapReduce，是一种编程模型，用于大规模数据集（大于1TB）的并行去处
4.HDFS，分布式文件系统
5.Chukwa，开源的数据收集系统，用于监控和分析大型分布式系统的数据
6.Hive，是一个建立在Hadoop基础之上的数据仓库，提供了一些用于数据整理、特殊查询和分析存储在Hadoop文件中的数据集工具
7.HBase，分布式的、面向列的开源数据库
8.Pig，是一个对大型数据集进行分析和评估的平台
C.Hadoop的体系结构
1.HDFS采用了主从（Master/Slave）结构模型，一个集群由一个NameNode和若干个DataNode组成
NameNode：主服务器，管理文件系统的命名空间和客户端对文件的访问操作，执行文件系统的命名空间操作，也负责数据块到具体DataNode的映射
DataNode：管理存储的数据，文件被分成若干个数据块，这些个数据块存放在一组DataNode上，负责处理文件系统客户端的文件读写请求
2.MapReduce是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTracker共同组成
D.Hadoop与分布式开发
1.Hadoop是分布式软件系统中文件系统这一层的软件，实现了分布式文件系统和部分分布式数据库的功能
2.MapReduce编辑模型的原理是：利用一个输入的key/value对集合来产生一个输出的key/value对集合，三个主要函数：map、reduce、main
E.Hadoop计算模型——MapReduce
1.一个MapReduce作业（job）通常会把输入的数据集切分为若干个独立的数据块，由map任务（task）以完全并行 的方式处理它们
F.Hadoop的数据管理
1.HDFS三个重要的组件：NameNode、DataNode、Client，Client是需要获取分布式文件系统文件的应用程序
2.HBase在分布式集群上主要领先由HRegion、HMaster、HClient组成的体系结构从整体上管理数据
3.Hive是建立在Hadoop上的数据仓库基础架构，它提供了一系列的工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制
二、Hadoop的安装与配置
1.hadoop-3.0.0-alpha3，默认locahost:9870和localhost:50090
三、Hadoop应用案例分析
1.大规模的数据处理经常分为三个不同的任务：数据收集、数据准备和数据表示
数据准备，通常被认为是提取、转换和加载（Extract Transform Load, ETL）数据的阶段，或者认为这个阶段是数据工厂
数据表示阶段一般指的是数据仓库，数据仓库存储了客户所需要的产品，客户会根据需要选取合适的产品
四、MapReduce计算模型
A.MapReduce计算模型
1.在Hadoop中，用于执行MapReduce任务的机器角色：一个是JobTracker，用于调度工作，一个集群中只有一台；另一个是TaskTracker，用于执行工作；
2.JobTracker调度任务给TaskTracker，TaskTracker执行任务时，会返回进度报告。JobTracker则会记录进度的进行状况，如果某个TaskTracker上的任务执行失败，那么JobTracker会把这个任务分配给另一台TaskTracker，直到任务执行完成
B.Hadoop流
1.Hadoop流提供了一个API，允许用户使用任何脚本语言编写map函数或reduce函数，使用UNIX标准流作为程序与Hadoop之间的接口
2.Hadoop Pipes提供了一个在Hadoop上运行C++程序的方法，pipes使用的是Sockets
五、开发MapReduce应用程序
1.Hadoop自带的网络用户界面：http://xxx:50030
2.性能调优：
输入的文件尽量采用大文件，避免使用小文件
考虑压缩文件
3.MapReduce工作流
Mapper通常用来处理输入格式转化、投影（选择相关的字段）、过滤（去掉那些不感兴趣的记录）等
Hadoop工作流调度器（HWS）作为一个服务器，允许客户端提交一个工作流给调度器
六、MapReduce引用案例
七、MapReduce工作机制
A.MapReduce作业的执行流程
1.MapReduce任务的执行总流程：代码编写->作业配置->作业提交->Map任务的分配和执行->处理中间结果->Reduce任务的分配和执行->作业完成，每个任务又包括输入准备->任务执行->输出结果
2.4个独立实体：
客户端（client）：编写MapReduce代码，配置作业，提交作业
JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行
TaskTracker：保持JobTracker的通信，在分配 的数据片段上执行Map或Reduce任务，可以包含多个TaskTracker
HDFS：保存作业的数据、配置信息，保存作业结果
B.错误处理机制
1.在集群中，任何时候都只有唯一一个JobTracker，所以JobTracker故障就是单点故障，一般是创建多个备用JobTracker节点
2.TaskTracker故障很正常，会由MapReduce处理
C.作业调度机制
1.Hadoop默认FIFO调度器，还提供了支持多用户服务和集群资源公平共享的调度器，即公平调度器（Fair Scheduler Guide）和容量调度器（Capacity Scheduler Guide）
2.shuffle过程包含在map和reduce两端中，map端是对map的结果进行划分、排序和分割，然后将属于同一个划分的输出合并在一起；reduce端又会将各个map送来的属于同一个划分 的输出进行合并，然后对合并结果进行排序，最后交给reduce处理
D.任务执行
1.推测式执行，指当作业的所有任务都开始运行时，JobTracker会统计所有任务的平均进度，如果某个任务所在的TaskTracker节点由于配置比较低或CPU负载过高，导致任务执行的速度比总体任务的平均速度慢，此时JobTracker就会启动一个新的备份任务，原有任务和新任务哪个先执行完就把另一个kill掉，缺点是对于代码缺陷导致的问题，备份并不能解决
2.任务JVM重用、跳过坏记录
八、Hadoop I/O操作
1.Hadoop采用CRC-32（Cyclic Redundancy Check，循环冗余校验，其中的32指生成 的校验和是32位的）的方式检查数据完整性
2.Hadoop使用RPC来实现进程间通信，使用Writables序列化机制
九、HDFS详解
A.HDFS简介
1.特点：处理超大文件；流式访问数据；运行于廉价的商用机器集群上；
2.局限性：不适合低延迟数据访问；无法高效存储大量小文件；不支持多用户写入及任意修改文件
B.HDFS体系结构
1.HDFS分布式文件系统中的文件也被划分成块进行存储，它是文件存储处理的单元，默认块为64MB
2.NameNode就是Master管理集群中的执行调度，DataNode就是Worker具体任务的执行节点
3.一个HDFS集群是由一个NameNode和一定数目的DataNodes组成的，一个文件其实被分成了一个或多个数据块，这些块存储在一组DataNode上
十、Hadoop的管理
1.监控工具：Metrics、Ganglia
2.备份工具：distcp
3.Hadoop管理命令：dfsadmin，获取HDFS的状态信息；fsck，检测文件块
十一、Hive详解
1.Hive是一个基于Hadoop文件系统上的数据仓库架构，它为数据仓库提供了许多功能：数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询与分析能力，同时Hive还定义了类SQL语言——Hive QL
2.Hive中主要包含四类数据模型：表（Table）、外部表（External Table）、分区（Partition）、桶（Bucket）
十二、HBase详解
A.HBase简介
1.特点：向下提供了存储，向上提供了运算
B.HBase的基本操作
1.单机模式可以直接运行，分布式模式需要Hadoop
C.HBase体系结构
1.HBase的服务器体系结构遵从简单的主从服务器架构，由HRegion服务器群和HBase Master服务器构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是通过ZooKeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误的。HBase Master Server本身并不存储HBase中的任何数据，HBase逻辑上的表可能会被划分成多个HRegion，然后存储到HRegion Server群中。HBase Master Server中存储的是从数据到HRegion Server的映射
D.HBase数据模型
1.HBase是一个类似Bigtable的分布式数据库，它是一个稀疏的长期存储的（存在硬盘上）、多维度的、排序的映射表。这张表的索引是行关键字、列关键字和时间戳。HBase中的数据都是字符串，没有类型
2.列名字的格式是“
E.HBase与RDBMS
1.只有简单的字符串类型
2.只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表间关系
3.是基于列存储的，每个列族都由几个文件保存
4.更新操作会保留旧版本，不是传统关系数据库里的替换修改
5.能够轻易地增加或减少硬件数量，对错误兼容性高
6.适应海量存储和互联网应用的需要，利用廉价的硬件设备组建数据仓库，原本就是作为一个搜索引擎的一部分开发出来的
十三、Mahout详解
A.Mahout简介
1.Apache Mahout的主要目标是建立可伸缩的机器学习算法，这种可伸缩性是针对大规模的数据集而言的
B.Mahout中的聚类和分类
1.Mahout中三种向量：稠密向量（DenseVector）、随机访问向量（RandomAccessSparseVector）和序列访问向量（SequentialAccessSparseVector）
十四、Pig详解
A.Pig简介
1.Pig包括用来描述数据分析程序的高级程序语言，以及对这些程序进行评估的基础结构。突出的特点就是它的结构经得起大量并行 任务，使得它能够对大规模数据集进行处理
2.Pig使用Pig Latin语言，类似SQL，偏重查询
十五、Zookeeper详解
A.ZooKeeper简介
1.ZooKeeper是一个为分布式应用所设计的开源协调服务，可以为用户提供同步、配置管理、分组和命名等服务
2.设计目标：
简单化：允许分布式的进程通过共享体系的命名空间来进行协调，这个命名空间组织与标准的文件系统非常相似，它是由一些数据寄存器组成的
健壮性：组成ZooKeeper服务的服务器必须互相知道其他服务器的存在
有序性：可以为每一次更新操作赋予一个版本号，并且此版本号是全局有序的，不存在重复的情况
速度优势：在上千台机器节点上运行
B.ZooKeeper的Leader选举
1.ZooKeeper需要在所有的服务（可以理解为服务器）中选举出一个Leader，然后让这个Leader来负责管理集群，其他为Follower。当Leader出现故障时，ZooKeeper要能够快速地在Follower中选举出下一个Leader，这就是ZooKeeper的Leader机制
C.ZooKeeper锁服务
1.在ZooKeeper中，完全分布的锁是全局同步的，也就是说，在同一时刻，不会有两个不同的客户端认为他们持有了相同的锁
E.典型应用场景（网上找的）
1.统一命名服务
2.配置管理：配置信息完全可以交给 Zookeeper 来管理，将配置信息保存在 Zookeeper 的某个目录节点中，然后将所有需要修改的应用机器监控配置信息的状态，一旦配置信息发生变化，每台应用机器就会收到 Zookeeper 的通知，然后从 Zookeeper 获取新的配置信息应用到系统中
3.集群管理：实现方式都是在 Zookeeper 上创建一个 EPHEMERAL 类型的目录节点，然后每个 Server 在它们创建目录节点的父目录节点上调用 getChildren(String path, boolean watch) 方法并设置 watch 为 true，由于是 EPHEMERAL 目录节点，当创建它的 Server 死去，这个目录节点也随之被删除，所以 Children 将会变化，这时 getChildren上的 Watch 将会被调用，所以其它 Server 就知道已经有某台 Server 死去了。新增 Server 也是同样的原理
4.共享锁
5.队列管理
十六、Avro详解
A.Avro简介
1.Avro是一个数据序列化的系统，可以将数据结构或对象转化成便于存储或传输的格式，特别是设计之初它可以用来支持数据密集型应用，适合于大规模数据的存储和交换
2.Avro模式是用JSON定义的，提供与Thrift和Protocol Buffers等系统相似的功能
十七、Chukwa详解
A.Chukwa简介
1.Chukwa能通过扩展处理大量的客户端请求，并且能汇聚多路客户端的数据流，采用的是流水式数据处理方式和模块化结构的收集系统，在每一个模块中有一个简单规范的接口
B.Chukwa架构
1.有三个主要组成部分：
客户端(Agent)：使内部进程通信协议能够兼容处理本地的日志文件
收集器(Collector)和分离器(Demux)：利用了Collectors策略
HICC(Hadoop Infrastructure Care Center)：数据可视化页面
十八、Hadoop的常用插件与开发
1.Hadoop Studio
2.Hadoop Eclipse
3.Hadoop Streaming：帮助用户创建和运行一类特殊的MapReduce作业，这些作业由一些可执行文件或脚本文件充当mapper或reducer，也就是允许使用非Java语言
4.Hadoop Libhdfs：是一个基于C编程接口的为Hadoop分布式文件系统开发的JNI，提供了一个C语言接口以结合管理DFS文件和文件系统
关于“Hadoop有什么用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
分享标题：Hadoop有什么用
文章网址：http://shouzuofang.com/article/iechie.html