hadoop——hadoop实验

实验报告

报告标题：Hadoop环境搭建

学号：20190423

姓名：金玉洲

日期：2022-11-16

一、实验环境

  1. 操作系统：

windows10

centos7

  1. 相关软件（含版本号）：

hadoop-2.6.0-cdh5.7.0

  1. 其它工具：

Vmware WorkStation 16 Pro

FinalShell 1.0.0.0

IntelliJ IDEA 2022.1

二、实验内容及其完成情况

（针对上述实验内容逐一详述实验过程）

\1. Linux（CentOS 7 发行版本）安装及网络配置：

Centos7镜像文件下载地址

https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/

image-20230705153405147

图表 1 centos7下载

创建新的虚拟机

image-20230705153421307

图表 2 创建虚拟机

选择自定义

image-20230705153427702

图表 3 自定义配置

下一步

image-20230705153435122

图表 4 兼容性默认

选择稍后安装操作系统

image-20230705153450390

图表 5 稍后安装

选择linux，centos7 64位

image-20230705153519038

图表 6 选择Linux和centos7 64位

选择虚拟机安装的位置

image-20230705153526374

图表 7 选择位置

分配内核数量一般为本机的一半

image-20230705153536671

图表 8 分配处理器数量

分配2GB内存

image-20230705153543857

图表 9 分配内存

网络选择NAT

image-20230705153550369

图表 10 选择网络地址转换NAT

默认选择下一步

image-20230705153555523

图表 11 默认选择IO控制器

默认选择下一步

image-20230705153601566

图表 12 磁盘类型默认

选择创建新的虚拟磁盘

image-20230705153606197

图表 13 创建新的磁盘

分配20GB磁盘大小

image-20230705153614937

图表 14 指定磁盘容量

选择磁盘文件位置

image-20230705153619936

图表 15 选择位置

创建完成

image-20230705153626885

图表 16 完成创建

创建完成的效果

image-20230705153632138

图表 17 完成效果

设置虚拟机的ISO文件

image-20230705153637300

图表 18 选择ISO文件

进入安装界面

image-20230705153649958

图表 19 安装界面

选择语言

image-20230705153656180

图表 20 选择语言

选择安装的软件

image-20230705153701687

图表 21 选择软件

全都选择完后的界面

image-20230705153828038

图表 22 效果

设置root密码

image-20230705153842206

图表 23 设置root密码

创建用户，勾选管理员

image-20230705153849626

图表 24 创建用户

开始安装

image-20230705153857733

图表 25 开始安装

查看子网IP

image-20230705153906854

图表 26 设置NAT

查看网关

image-20230705153913494

图表 27 查看子网IP和网关

设置网关和IP地址，IP地址要和子网IP处于同一网段且不能相同，DNS服务器地址为电信提供的地址

image-20230705153928182

图表 28 设置IP和网关

在centos7中设置

image-20230705153938059

图表 29 linux中设置

测试虚拟机网络

image-20230705153945216

图表 30 虚拟机ping百度

测试虚拟机与windows之间的通信

image-20230705153956674

图表 31 虚拟机ping主机

测试windows与虚拟机的通信

image-20230705154008128

图表 32 主机ping虚拟机

验证finalshell连接

image-20230705154020971

图表 33 finalshell连接虚拟机

  1. JDK1.8的安装配置

输入rpm -qa|grep java查看已安装的jdk，如果有openjdk就删除

image-20230705154031245

图表 34 查看jdk

删除所有java-1*开头的，这里我已经删除过了

image-20230705154043691

图表 35 删除自带的openjdk

sudo tar -zvxf jdk-8u181-linux-x64.tar.gz -C /usr/java

image-20230705154055076

图表 36 解压jdk1.8

删除安装包

image-20230705154101985

图表 37 删除安装包

进入.bash_profile，配置jdk环境

image-20230705154115103

图表 38 配置bash_profile

使配置生效

image-20230705154124219

图表 39 加载配置

查看jdk是否安装成功

image-20230705154133057

图表 40 验证jdk

  1. 单机版Hadoop的安装配置

解压hadoop到指定文件夹

image-20230705154139776

图表 41 解压hadoop

配置hadoop环境变量

image-20230705154153307

图表 42 配置bash_profile

使环境变量生效

image-20230705154158984

图表 43 加载配置

配置hadoop/etc/hadoop/hadoop-env.sh

image-20230705154208035

图表 44 配置hadoop-env.sh

配置hadoop/etc/hadoop/core-site.xml

image-20230705154215978

图表 45 配置core-site.xml

配置hdfs-site.xml

image-20230705154225082

图表 46 配置hdfs-site.xml

测试执行初始化 NameNode 命令

image-20230705154230336

图表 47 初始化namenode

启动Hadoop

image-20230705154240593

图表 48 启动hadoop

设置主机名为master

image-20230705154246895

图表 49 设置主机名

测试jps

image-20230705154259798

图表 50 测试环境

查看端口以及开放端口50070

image-20230705154305196

图表 51 开放端口

永久添加端口（这里我已经将防火墙关闭了）

image-20230705154318067

图表 52 永久添加端口

关闭防火墙

image-20230705154323498

图表 53 关闭防火墙

免密配置

image-20230705154333357

图表 54 生成公钥私钥

复制到authorized_keys

image-20230705154339099

图表 55 复制到authorized_keys

重新启动，不需要密码

image-20230705154349148

图表 56 免密登录

验证是否成功，访问http://192.168.78.128:50070/

image-20230705154356322

图表 57 验证

  1. Hadoop的Java编程、

项目创建

image-20230705154405346

图表 58 创建项目

pom.xml文件配置

image-20230705154418816

图表 59 xml配置

List函数

图表 60 list函数

Get函数下载文件

image-20230705154431389

图表 61 get函数

Put函数上传文件

image-20230705154439655

图表 62 put函数

rm函数删除文件

image-20230705154447045

图表 63 rm函数

Mkdir函数创建文件夹

image-20230705154451563

图表 64 mkdir函数

创建/123/456/789文件夹

image-20230705154456258

图表 65 创建文件夹

在browse中查看

image-20230705154505232

图表 66 查看结果

递归删除/123文件夹

image-20230705154513052

图表 67 删除文件夹

在browse中查看被删除后的根目录

image-20230705154521921

图表 68 查看结果

准备windows D:/hadoopfile/1.txt

image-20230705154527377

图表 69 1.txt文件

上传1.txt

image-20230705154537454

图表 70 上传文件

在browse中查看1.txt

image-20230705154542847

图表 71 查看结果

查看准备下载的1.txt

image-20230705154554655

图表 72 要下载的文件

下载1.txt到D:/hadoopfile/2.txt

image-20230705154600668

图表 73 下载文件

查看2.txt

image-20230705154610331

图表 74 查看结果

查看根目录下文件

image-20230705154616388

图表 75 列出文件

上传四大名著

image-20230705154626644

图表 76 上传四大名著

在browse中查看四大名著

image-20230705154634561

图表 77 查看结果

三、实验总结

Hadoop执行put时出现了问题

image-20230705154643648

图表 78 问题展示

网上查找后发现可能是因为执行了两次format，需要删除tmp/dfs/data下的current文件

image-20230705154651785

图表 79 current文件所处目录

然后重新format，最终解决问题

image-20230705154655973

图表 80 解决

赏

谢谢你请我吃糖果

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

我很想要过这样一个温暖的冬天<br> 有一场踩起来嘎吱嘎吱的大雪<br> 有路灯下昏黄得模糊的暖光<br> 有趴在桌下酣睡的猫咪<br> 有热烘烘的烤地瓜<br> 有一壶暖胃的酒<br> 有本想看的书<br> 有窗上的雾<br> 有大毛毯<br> 还有你<br> 再见<br> 玉<br>