集群部署

注意事项

• 命令和截图中凡是涉及到日期版本、目录之类的，只是为了操作示例的辅助说明，实际版本以发布包为准。
• 安装前确保已经查看检查备份服务器硬件、系统要求和检查系统章节。
• 安装前确保取用的软件包为对应产品的软件包。
• 采用IPv4、IPv6双栈控制台部署时，IPv4和IPv6必须配置在同一张网卡上，目前控制台暂只支持IPv4部署。
• 由于软件包做了安全加固，对权限进行严格限制，请勿对软件包进行任何变更权限的操作。解压后，未经允许请勿对软件包内的文件进行删减、新增、修改等操作。任何操作均可能会导致软件包安装失败，或服务启动失败。
• 搭建集群必须保障路由器二层Vrrp信号正常，三节点使用同一台路由。集群环境部署需保障集群间网络通信正常。集群部署完成后KAD服务会一直检测各节点心跳，如果节点间二层通信有问题会导致集群脑裂（集群未检测到其他节点信号，认为其他节点下线，自己成为主节点）。
• 局域网内vid及dbid不能有冲突。
• 集群部署多台服务器必须保持一致，操作系统及硬件等等均保持一致，且均为公司发布的版本，否则可能导致安装失败。
• 主从节点依次安装，先安装主节点，主节点安装成功后再安装从节点。不支持同时安装。
• 集群安装多节点后，不可再卸载为单节点使用。
• 融合部署场景下，集群安装业务存储角色节点不可超过8个，在安装第9个节点及之后的节点时必须为存储角色节点。

安装步骤

1. root用户远程连接工具登录已经安装好的操作系统，上传对应架构的服务端安装包至每个备份服务器，建议上传至 /backupsoft 目录。

2. 在集群每个节点的安装包所在目录如 /backupsoft 下，执行sha256sum 安装包名称，校验安装包的唯一值的完整性。将计算出来的值与发布包中附带的SHA256.txt中的值进行对比，如果一致，代表软件包完整合法，否则请检查软件包来源，重新下载。

3. 解压安装包（解压软件包时请勿添加-o参数，会导致软件包权限变更）：
   tar -zxvf 安装包名称
   例如：tar -zxvf AnyBackupServer-Linux_el7_x64-8.0.0.0-20220308-release-zh_CN-30.tar.gz

4. 检查软件包。
   解压后在每个节点的安装包所在目录如 /backupsoft 下执行ll命令，查看软件包权限属组如下：

   • 解压后的软件目录AnyBackupServer：权限 dr-xr-x---，属组 root eab
   • 软件安装包：权限 -rw-r--r--，属组 root root

   在一个全新环境上解压软件包后AnyBackupServer用户和用户组显示为root:2048，权限为550。因为2048为uid，安装时会创建一个普通用户eab，2048为普通用户eab的uid，所以在软件安装完成之后2048便会变为eab。

   注意：
   此处权限及属组不可进行任何修改，由于做了安全加固，涉及到每一个目录及文件，一旦修改软件包中任何权限相关的东西，都有可能导致软件安装失败。

5. 安装软件。

   进入安装目录 /AnyBackupServer 下，在主从节点依次执行安装命令。

   注意：

   • 以下所有安装命令示例均为管理和存储网络分离模式，即self-ip与storage-ip不相同。
   • 集群安装时，可能会出现一些配置及环境检查没做好导致某一个节点安装失败。此时切记即使一个节点安装失败也必须将其他节点卸载，删除软件包，清除残留，解压软件包，重新安装。如A、B、C三个节点，A、B安装正常，在安装C节点时，忘记做环境检查，突然抛出一个错误。此时，我们必须将ABC节点均卸载从头再来安装。因为，软件一开始安装时就会在数据库中记录IP。此时如果C节点安装失败，实际IP已记录至数据库。再进行安装会直接抛错。

   • 以Enterprise产品、内网直通IPv4、16节点管理控制台和存储服务分离部署在不同机器上为例：
     管理控制台

     节点1：控制、业务角色节点
     ./install.sh --product=Enterprise --server-type=MASTER --server-mode=ControlServer --self-ip=$YourSelfIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点2：控制、业务角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=ControlServer --self-ip=$YourSelfIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点3：控制、业务角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=ControlServer --self-ip=$YourSelfIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点4~8：业务角色节点，注意从第4个节点开始--mgm-type=BusinessNode，最多允许只能安装三个ControlNode节点，否则数据库会出现脑裂
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=ControlServer --self-ip=$YourSelfIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=BusinessNode --ntp-server=$YourNtpServerIP

     节点9~16：业务角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=ControlServer --self-ip=$YourSelfIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=BusinessNode --ntp-server=$YourNtpServerIP

     存储服务

     节点1：控制、存储角色节点
     ./install.sh --product=Enterprise --server-type=MASTER --server-mode=StorageServer --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --mgm-console=$管理控制台VIP或域名 --ntp-server=$YourNtpServerIP

     节点2：控制、存储角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=StorageServer --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --mgm-console=$管理控制台VIP或域名 --ntp-server=$YourNtpServerIP

     节点3：控制、存储角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=StorageServer --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --mgm-console=$管理控制台VIP或域名 --ntp-server=$YourNtpServerIP

     节点4~8：存储角色节点，注意从第4个节点开始--mgm-type=StorageNode，最多允许只能安装三个ControlNode节点，否则数据库会出现脑裂
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=StorageServer --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=StorageNode --mgm-console=$管理控制台VIP或域名 --ntp-server=$YourNtpServerIP

     节点9~16：存储角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=StorageServer --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=StorageNode --mgm-console=$管理控制台VIP或域名 --ntp-server=$YourNtpServerIP

     存储服务需要安装的所有节点部署完后接入管理控制台。

   • 以Enterprise产品、内网IPv4、16节点管理控制台和存储服务融合部署在一台机器上为例：

     节点1：控制、业务、存储角色节点
     ./install.sh --product=Enterprise --server-type=MASTER --server-mode=All --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点2：控制、业务、存储角色节点
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=All --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点3：控制、业务、存储角色节点
     `./install.sh --product=Enterprise --server-type=SLAVE --server-mode=All --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=ControlNode --ntp-server=$YourNtpServerIP

     节点4~8：业务和存储角色节点，注意从第4个节点开始--mgm-type=BothNode，最多允许只能安装三个ControlNode节点，否则数据库会出现脑裂
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=All --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=BothNode --ntp-server=$YourNtpServerIP

     节点9~16：存储角色节点，最多允许只能安装八个业务存储（BothNode）节点，注意从第9个节点开始，只能安装存储节点StorageNode，即--mgm-type=StorageNode，或者当作存储服务接入
     ./install.sh --product=Enterprise --server-type=SLAVE --server-mode=All --self-ip=$YourSelfIP --storage-ip=$YourStorageIP --fusedcluster-id=$YourClusterID --fusedcluster-vip=$YourClusterVIP --mgm-type=StorageNode --ntp-server=$YourNtpServerIP

   集群环境安装完成后必须做软件安装后检测。详情请参考集群安装后检测。

集群安装过程中问题：

三节点集群从节点安装的时候可能会出现“Failed to connect DB”，如图：

原因：此问题出现原因为在安装从节点时，会重启主节点KAD服务导致dbvip暂时消失。等主节点vip恢复之后即可正常安装。因此为正常现象。

问题处理：此处会检测4次，在4次之内dbvip仍然未恢复，会导致从节点安装失败，此时有很大可能为主节点安装的不正常。需进一步排查主节点vip及dbip。去主节点服务器上执行ip addr，查看vip及dbip是否正常生成。然后在从节点上ping一下主节点vip及dbip。能ping通的情况下则不会出现失败问题。