静かな駅 - 配置
type: channel
link: https://yellowswimming.cn/tag/%E9%85%8D%E7%BD%AE/
items: Hadoop 入门及简单使用

Hadoop 入门及简单使用
type: item
date: 2022-10-15T19:42:00+08:00
description: Hadoop 入门及简单使用 1. 介绍 官方原话为： The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures. 翻译过来就是hadoop贡献了一个可靠，大规模，分布式的计算开源软件(通常一个公司开发出产品在第一句话都要吹一下的，还都是一堆听起来很高大尚的专业术语:smile:),hadoop同时是一个允许使用简单的编程模型来处理分布式大数据集的框架，后面的你可以理解为是分布式统一的优点，这里不再详细分析，有兴趣的可以去了解一下分布式相关的技术。 2. 下载 2.1 官网下载 hadoop官网下载 目前最新的版本为3.3.4，当然你也可以用低一点的版本，我比较喜欢新一点的事物，但新版本可能不是很稳定，所以如果不是强迫症患者，建议下载低版本，我目前使用的是3.3.4，还没有出现什么问题. 2.2 网盘下载 我也将3.3.4版本的hadoop安装包分享出来了,有需要的可以自取 hadoop3.3.4 3.安装 3.1 上传并解压 首先将压缩包通过FTP软件上传到自己的Linux服务器上，我这里使用的是xshell配套的xftp软件进行上传，也可以通过其他软件或者宝塔上传。 上传完后选择一个合适并且方便找到的目录进行解压，命令为: tar -zxvf hadoop-3.3.4.tar.gz 之后会得到一个文件夹,（博主是一个有洁癖的人，一般安装完后会把压缩包文件夹删掉，至少删了可以多少释放点空间） 3.2 配置环境变量 在/etc/profile文件里面新增这些选项，注意第一行的路径改成自己解压后的hadoop文件夹路径 到此恭喜你安装已经完成了 4. 配置hadoop 4.1 配置core-site.xml文件 首先进去刚刚解压好的目录hadoop-3.3.4,并进入etc文件夹 并找到core-site.xml文件，进去之后你会看到很多文件，但是不要慌张，我们要配置的也就6个文件:smirk: 在此之前先介绍一下各个配置的作用 name value Description fs.defaultFS hdfs://csx:8020 定义HadoopMaster的URI和端口，默认是9000 (也可以说指定namenode的地址) hadoop.tmp.dir /export/data/hadoop-3.3.4 指定hadoop数据的存储目录，最好自己创建一个 hadoop.http.staticuser.user root -配置HDFS网页登录使用的静态用户为root hadoop.proxyuser.root.hosts * 配置该hadoop(superUser)允许通过代理访问的主机节点 ,*表示所有主机节点 hadoop.proxyuser.root.groups * 配置该hadoop(superUser)允许通过代理用户所属组(这个估计暂时用不到) fs.trash.interval 1440 设置垃圾回收时间间隔 按照下面的配置就可以了: fs.defaultFS hdfs://csx:8020 hadoop.tmp.dir /export/data/hadoop-3.3.4 hadoop.http.staticuser.user root hadoop.proxyuser.roo…