Hadoop环境如何配置

这篇文章主要介绍了Hadoop环境如何配置，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

创新互联主营东至网站建设的网络公司,主营网站建设方案,成都app软件开发公司,东至h5小程序制作搭建,东至网站营销推广欢迎东至等地区企业咨询

    Hadoop环境安装完之后需要进行相应的配置

    Hadoop组件通过XML来配置，core-site.xml用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，mapred-site.xml文件用于配置MapReduce属性，hdoop支持独立模式、伪分布模式、全分布模式，在不同模式下，各属性的配置：

组件	属性	独立模式	伪分布模式	全分布模式
common	fs.default.name	file:///(默认)	hdfs://localhost/	hdfs://namenode
hdfs	dfs.replication	N/A	1	3
mapreduce	mapred.job.tracker(hadoop2不用配置)	local(默认)	localhost:8021	jobtracker:8021

    hadoop日志配置：在hadoop-env.sh中添加export HADOOP_LOG_DIR=/usr/lib/hadoop/logs

    我hadoop2的配置如下：

    core-site.xml

        
                fs.default.name
                hdfs://localhost/
        
        
                hadoop.tmp.dir
                /usr/lib/hadoop/tmp/
        

    hdfs-site.xml:

        
                dfs.default.name
                /usr/lib/hadoop/logs/
        
        
                dfs.replication
                1
        
        
                dfs.permissions
                false
        

    mapred-site.xml:

        
                mapreduce.framework.name
                Yarn
        

    yarn-site.xml:

        
                yarn.resourcemanager.resource-tracker.address
                localhost:8990
        
        
                yarn.resourcemanager.scheduler.address
                localhost:8991
        
        
                yarn.resourcemanager.scheduler.class
                org.apache.hadoop.yarn.server.resourcemanage.scheduler.capacity.CapacityScheduler
        
        
                yarn.resourcemanager.address
                localhost:8993
        
        
                yarn.nodemanager.local-dirs
                /usr/lib/hadoop/tmp/node
        
        
                yarn.nodemanager.address
                localhost:8994
        
        
                yarn.nodemanager.resource.memory-mb
                102040
        
        
                yarn.nodemanager.remote-app-log-dir
                /usr/lib/hadoop/tmp/app-logs
        
        
                yarn.nodemanager.log-dirs
                /usr/lib/hadoop/tmp/node
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

    slaves:

localhost

    完事之后执行hadoop namenode -fromat 格式化hdfs文件系统。

感谢你能够认真阅读完这篇文章，希望小编分享的“Hadoop环境如何配置”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!

网页标题：Hadoop环境如何配置
文章起源：http://shouzuofang.com/article/jhjieg.html