Hadoop文件系统集群信息收集

在规划与准备使用 AnyBackup备份Hadoop分布式文件系统定时备份恢复前，为防止操作被中断，建议您提前收集好后续操作要使用的Hadoop分布式文件系统集群信息。

收集Hadoop分布式文件系统集群信息前，请参考【Hadoop文件系统环境检查】以及【Kerberos认证环境下Hadoop集群获取keytab文件】，确认如下前置条件是否满足：

• 确认HDFS集群相关服务已开启且未处于安全模式。

• 能够在需要安装AnyBackup客户端的终端上访问Hadoop分布式文件系统。

• 若Hadoop分布式文件系统环境开启kerberos认证，则需获取kerberos认证用户名和密码或者keytab文件。

下方Hadoop分布式文件系统集群信息收集表中，信息项1-5为AnyBackup客户端软件安装部署时需要输入的信息，为后续创建Hadoop虚拟客户端做铺垫。信息项6-10为添加Hadoop虚拟客户端时所需要输入的信息，目的是为了与Hadoop虚拟客户端通信，为后续操作Hadoop文件系统的备份和恢复做铺垫。

Hadoop分布式文件系统集群信息收集表

Hadoop集群NameNode端口号查询

Apache Hadoop集群NameNode端口号查询

Apache Hadoop版本NameNode端口号默认为9000，可通过配置文件查看。

• 集群为单namenode时，查看Hadoop安装目录下配置文件core-site.xml的配置项fs.defaultFS。

  fs.defaultFS配置项查询方法：

  使用ssh登录客户端系统后台，输入find / -type f -name core-site.xml命令，找到HDFS的core-site.xml文件所在路径，获取core-site.xml文件中fs.defaultFS配置项。建议缩小搜索范围，一般在hadoop安装目录内。

  

• 集群为双namenode时，查看Hadoop安装目录下配置文件hdfs-site.xml的配置项dfs.namenode.rpc-address。

  dfs.namenode.rpc-address配置项查询方法：

  使用ssh登录客户端系统后台，输入find / -type f -name hdfs-site.xml命令，找到HDFS的hdfs-site.xml文件所在路径，获取hdfs-site.xml文件中的dfs.namenode.rpc-address配置项。建议缩小搜索范围，一般在hadoop安装目录内。

  

CDH集群NameNode端口号查询

CDH版本NameNode端口号默认为8022，可登陆Cloudera Manager管理界面，查看HDFS服务的配置dfs.namenode.servicerpc-address对应的值。

FusionInsight集群NameNode端口号查询

FusionInsight版本NameNode端口号默认为25006，可登陆FusionInsight Manager管理界面，查看HDFS服务的配置dfs.namenode.servicerpc.port对应的值。

TDH集群NameNode端口号查询

TDH版本NameNode端口号默认为8020，可登陆TDH管理界面，查看HDFS服务的配置namenode.rpc-port对应的值。

HDP集群NameNode端口号查询

HDP版本NameNode端口号默认为8020，可登陆Ambari管理界面，查看HDFS服务的配置dfs.namenode.rpc-port对应的值。

Hadoop集群fs.defaultFs配置项查询

若您希望通过HDFS URL方式创建虚拟客户端，需收集Hadoop集群fs.defaultFS配置项。

fs.defaultFS配置项查询方法：

使用ssh登录客户端系统后台，输入find / -type f -name core-site.xml命令，找到HDFS的core-site.xml文件所在路径，获取core-site.xml文件中fs.defaultFS配置项。建议缩小搜索范围，一般在hadoop安装目录内。

HDFS URL即为fs.defaultFs配置项的值。

Kerberos认证环境下Hadoop集群获取keytab文件

Apache/CDH环境下keytab文件获取

测试环境中若需自行准备用户，可参考下面步骤创建用户，以该邮件地址已受到反垃圾邮件插件保护。要显示它需要在浏览器中启用 JavaScript。为例：

1. 创建用户

   在kadmin服务节点输入如下命令（其他节点需认证管理员账户后使用kadmin进行创建）：

   > kadmin.local -q "addprinc 该邮件地址已受到反垃圾邮件插件保护。要显示它需要在浏览器中启用 JavaScript。"

2. 导出keytab

   使用keytab方式认证时需要导出keytab，在kadmin服务节点输入如下命令：

   > kadmin.local -q "ktadd -k /tmp/hdfs.keytab -norandkey 该邮件地址已受到反垃圾邮件插件保护。要显示它需要在浏览器中启用 JavaScript。"

   注意：导出keytab时务必加上 -norandkey 参数，否则该用户会重新初始化密码，原有密码、keytab都将失效。

3. 把用户加入supergroup

   在Hadoop任意节点执行下面命令：

   > useradd hdfs #创建linux同名用户

   > groupadd supergroup #创建supergroup组

   > usermod -a -G supergroup hdfs #把用户加入supergroup组

   > hdfs dfsadmin –refreshUserToGroupsMappings #HDFS刷新用户到组的映射

FusionInsight环境下keytab文件获取

FusionInsight单独封装了一套用户系统，需在管理界面创建用户。

1. 添加角色

   登录管理后台，依次点击系统 > 权限 > 角色 > 添加角色，输入角色名称，如hdfs_test，资源权限勾选HDFS组件的集群管理操作权限，点击确定。

   

2. 添加用户

   登录管理后台，依次点击系统 > 权限 > 用户 > 添加用户，输入用户名，根据需要选择人机或机机用户，并加入supergroup，如下图：

   

3. 导出keytab

   登录管理后台，依次点击系统 > 权限 > 用户，点击用户名后方的更多 > 下载认证凭据，选择集群，点击确定。待文件自动生成后指定保存位置，并妥善保管该文件。解压认证凭据文件后可以获取两个文件：krb5.conf文件包含认证服务连接信息，user.keytab文件包含用户认证信息。把凭据上传至客户端解压即可。

   

   

TDH环境下keytab文件获取

TDH集群可通过登录Transwarp Manager，选择主页 > Guardian > 角色，在需导出文件的角色所在行，点击服务链接链接，输入Guardian用户名和密码后进入Guardian主页，下载用户的keytab文件。

请确保导出的keytab文件能够认证成功，检验方法为shell客户端输入kinit -kt <keytab_path> <principal>，若认证成功，则能够在客户端本地通过hdfs dfs -ls / 访问hdfs目录。