融合部署的ECeph集群IP修改

更新时间：2024-10-08 13:40:17

1 地址修改说明

1.1 AnyShare & ECeph 融合部署组网说明

AnyShare & ECeph融合部署一般有2个网段：

业务IP：AnyShare各个组件所使用的网段，包括K8S集群。
内部IP：OSSgateway & ECeph使用，为存储内部使用网段。它可能是部署服务自动生成的带ip标签的IP，也可能是手动配置的IP。

有时为了部署方便，内部IP会复用业务IP，也就是说单节点仅使用1个网段，但该方案有严重的性能及稳定性隐患，不推荐该部署方式。

另外，多节点情况下，AnyShare建议配置高可用（业务VIP），在启用OSSgateway的情况下，ECeph建议配置内部高可用IP（内部VIP），即用户通过业务VIP连接AnyShare，而AnyShare使用内部VIP连接存储。

未启用OSSgateway的情况下，ECeph建议配置外部IP高可用（业务VIP2），即用户通过业务VIP连接AnyShare，而用户和AnyShare使用业务VIP2连接存储，这种情况下，业务VIP2一般会复用业务VIP1。

因此，集群中每个节点至少需要2个IP，另外可根据需要配置VIP。

1.2 AnyShare & ECeph IP地址修改说明

存在以下几种IP地址修改情景：

已部署环境（ECeph独立部署）	修改场景	涉及操作
采用推荐组网方案：业务IP与内部IP不同网段	仅修改业务IP	修改K8S集群IP、修改ECeph管理程序IP、修改OSSGateway相关配置
采用推荐组网方案：业务IP与内部IP不同网段	仅修改内部IP	修改ECeph内部IP、修改OSSGateway相关配置
采用推荐组网方案：业务IP与内部IP不同网段	修改业务IP及内部IP	综上
未采用推荐的组网方案：业务IP与内部IP相同	修改业务IP，同时新增内部IP	修改ECeph管理程序IP、修改ECeph内部IP、修改K8S集群IP、修改OSSGateway相关配置

该文档针对上述场景进行了说明，操作前注意如下限制：

该文档仅适用于AnyShare 与Proton ECeph融合部署场景。Proton ECeph独立部署场景请参考《ECeph集群（独立部署）IP地址修改指导手册》。

更换IP地址期间，业务中断，需停机操作。

所有新节点IP需要保持同一网段。

若需要修改高可用IP，请确保高可用VIP与节点IP保持同一网段。

2 两个网段部署，修改业务IP

2.1 修改前IP地址信息收集

为已有集群收集以下信息，并填入下面的表格。

节点列表信息：hostname及业务IP地址。

运行kubectl get nodes -o wide查看

对象存储内部地址

cat /opt/minotaur/config/minotaur.conf （对应internal_ip）

业务IP及内部IP地址对应的网卡名。
业务高可用IP地址：在AnyShare部署控制台页面【环境与资源】-【服务器】-【设置高可用节点】中查看。
获取如下两个参数：

apiserver 访问地址，通过 grep server ~/.kube/config 获取，默认是proton-cs.lb.aishu.cn:16643。
etcd数据目录地址，通过 grep data-dir /etc/kubernetes/manifests/etcd.yaml 获取，默认是/sysvol/proton_data/cs_etcd_data。

确保新业务IP未被占用。

hostname	角色	业务IP	内部IP	节点IP对应网卡名	内部IP地址对应网卡名	新业务IP
node-14-11	master	10.4.14.11	10.4.27.11	eno3	ens1f0	10.4.14.205
node-14-12	master	10.4.14.12	10.4.27.12	eno3	ens1f0	10.4.14.206
node-14-15	master	10.4.14.15	10.4.27.15	eno3	ens1f0	10.4.14.207
AnyShare VIP地址		10.4.14.56				10.4.14.210
ECeph VIP地址		10.4.14.57				10.4.14.211
apiserver 访问地址	proton-cs.lb.aishu.cn:16643
etcd数据目录地址	/sysvol/proton_data/cs_etcd_data

2.2 K8S网段修改

第1步 备份etcd

在kubernetes etcd能正常运行时，比如换IP前集群正常工作时，一定要做备份，否则无法恢复。

注意：备份只需要在一个master节点执行。若备份失败不要往下执行。

安装etcdctl

如果执行 etcdctl version 能够正常输出，则跳过安装etcdctl，若无法执行etcdctl命令则需要安装etcdctl（每个master节点都需要安装），执行命令（请根据实际环境选择安装x86或arm版本）：

rpm -ivh proton-cs-etcdctl-3.5.7-1.el7.proton.x86_64.rpm

备份kubernetes etcd

执行如下命令：

alias etcdctl="etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/peer.crt --key=/etc/kubernetes/pki/etcd/peer.key --endpoints=https://127.0.0.1:2379"

etcdctl snapshot save /root/etcd-backup.db

融合部署-etcd备份.png

第2步 停止kubelet和containerd服务

注意：需要在所有节点执行，包括master节点和worker节点

执行命令：

systemctl stop kubelet containerd

第3步 更换IP地址

注意：该章节需要在所有节点执行，包括master节点和worker节点。由于修改IP，当前SSH连接会断开，为方便排查网络连接问题，需提前准备BMC远程。

修改节点ip

编辑文件：vi /etc/sysconfig/network-scripts/ifcfg-<网卡名>

重启网络服务

RHEL/CentOS 8及OpenEuler 22以上系统使用nmcli命令：

nmcli connection reload && nmcli connection down <网卡名> && nmcli connection up <网卡名>

RHEL/CentOS 7使用命令：

systemctl restart network

确认新的IP配置成功，且相互之间能够通信。
/etc/hosts IP地址修改

/etc/hosts中包含业务IP相关配置，改为新的业务IP地址信息。worker节点的IP也要更新。

sed -i "s/10.4.14.11/10.4.14.205/" /etc/hosts

sed -i "s/10.4.14.12/10.4.14.206/" /etc/hosts

sed -i "s/10.4.14.15/10.4.14.207/" /etc/hosts

融合部署-IP地址修改.png

第4步 替换新IP并生成新证书

在所有master节点执行

备份kubernetes 配置，执行：

cp -Rf /etc/kubernetes /etc/kubernetes.bak

替换IP地址，执行

ip地址请根据实际环境进行替换

cd /etc/kubernetes

find . -type f | xargs sed -i "s/原master IP/新master IP/"

find . -type f | xargs sed -i "s/10.4.14.11/10.4.14.205/"

find . -type f | xargs sed -i "s/10.4.14.12/10.4.14.206/"

find . -type f | xargs sed -i "s/10.4.14.15/10.4.14.207/"

修改完成后可以通过如下命令确认是否替换完成。

find . -type f | xargs grep 10.4.14.205（新masterIP）

替换配置文件内容

ip地址请根据实际环境进行替换

sed -i "s/10.4.14.11/10.4.14.205/" /root/kubeadm-config.yaml

sed -i "s/10.4.14.12/10.4.14.206/" /root/kubeadm-config.yaml

sed -i "s/10.4.14.15/10.4.14.207/" /root/kubeadm-config.yaml

重新生成证书，执行：

cd /etc/kubernetes/pki

rm -f /etc/kubernetes/pki/apiserver* etcd/peer.* etcd/server.*

kubeadm init phase certs all --config /root/kubeadm-config.yaml

第5步 恢复etcd

复制etcd快照到各个master节点，执行如下命令：

cp /root/etcd-backup.db /tmp/

scp /root/etcd-backup.db 10.4.14.206:/tmp

scp /root/etcd-backup.db 10.4.14.207:/tmp

恢复etcd

注意: 恢复时不会改变主机名，因此主机名还是复用原来的，下列命令执行时需要在对应master节点上执行，不能错乱。注意下述命令中的主机名、IP及etcd数据目录地址需要填写实际环境信息。

node-14-11 节点执行：

mv /sysvol/proton_data/cs_etcd_data /sysvol/proton_data/cs_etcd_data.bak

mkdir /sysvol/proton_data/cs_etcd_data

etcdctl snapshot restore /tmp/etcd-backup.db --name node-14-11 --initial-cluster node-14-11=https://10.4.14.205:2380,node-14-12=https://10.4.14.206:2380,node-14-15=https://10.4.14.207:2380 --initial-advertise-peer-urls=https://10.4.14.205:2380 --data-dir=/sysvol/proton_data/cs_etcd_data

node-14-12节点执行：

mv /sysvol/proton_data/cs_etcd_data /sysvol/proton_data/cs_etcd_data.bak

mkdir /sysvol/proton_data/cs_etcd_data

etcdctl snapshot restore /tmp/etcd-backup.db --name node-14-12 --initial-cluster node-14-11=https://10.4.14.205:2380,node-14-12=https://10.4.14.206:2380,node-14-15=https://10.4.14.207:2380 --initial-advertise-peer-urls=https://10.4.14.206:2380 --data-dir=/sysvol/proton_data/cs_etcd_data

node-14-15 节点执行：

mv /sysvol/proton_data/cs_etcd_data /sysvol/proton_data/cs_etcd_data.bak

mkdir /sysvol/proton_data/cs_etcd_data

etcdctl snapshot restore /tmp/etcd-backup.db --name node-14-15 --initial-cluster node-14-11=https://10.4.14.205:2380,node-14-12=https://10.4.14.206:2380,node-14-15=https://10.4.14.207:2380 --initial-advertise-peer-urls=https://10.4.14.207:2380 --data-dir=/sysvol/proton_data/cs_etcd_data

融合部署-etcd恢复.png

第6步 更新haproxy、kubelet、hosts、firewalld对应地址

注意：该步骤需要在所有节点上执行，包括master节点和worker节点。下述举例只有3个IP，当有worker节点时，对应的IP也要做更新操作。

更新haproxy

sed -i "s/10.4.14.11/10.4.14.205/" /usr/local/haproxy/haproxy.cfg

sed -i "s/10.4.14.12/10.4.14.206/" /usr/local/haproxy/haproxy.cfg

sed -i "s/10.4.14.15/10.4.14.207/" /usr/local/haproxy/haproxy.cfg

更新后重启服务：

systemctl restart haproxy

更新kubelet上报心跳节点IP

sed -i "s/10.4.14.11/10.4.14.205/" /var/lib/kubelet/kubeadm-flags.env

sed -i "s/10.4.14.12/10.4.14.206/" /var/lib/kubelet/kubeadm-flags.env

sed -i "s/10.4.14.15/10.4.14.207/" /var/lib/kubelet/kubeadm-flags.env

更新firewalld

编辑文件：vi /etc/firewalld/ipsets/proton-cs-host.xml，新增下面行，IP需要根据实际的替换

<entry>10.4.14.205</entry>

<entry>10.4.14.206</entry>

<entry>10.4.14.207</entry>

第7步 设置防火墙

每个节点的防火墙根据需要对新的业务IP地址放行。

注意：若有VIP，此处防火墙也需要添加VIP地址，可以使用for循环批量添加

for i in 10.4.14.205 10.4.14.206 10.4.14.207;do firewall-cmd --add-rich-rule="rule family="ipv4" source address=$i accept";firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address=$i accept";done

融合部署-防火墙添加新IP.png

firewall-cmd --list-rich-rules查看添加后的结果

融合部署-查看添加后的结果.png

第8步 删除旧容器、旧路由表，并重启firewalld、kubelet、containerd

注意：该章节需要在所有节点执行，包括master节点和worker节点

route -n 查看所有路由表，找到Gateway为集群中其他节点业务IP的路由。

融合部署-查看旧路由.png

删除旧路由

route del -net 192.169.x.x netmask 255.255.255.192 gw 10.4.14.20x

融合部署-删除旧路由.png

删除旧容器

docker container prune

重启服务

systemctl restart firewalld containerd kubelet

第9步 检查容器是否启动

运行kubectl get pods -n kube-system以及kubectl get pods -A查看容器是否启动

运行kubectl get nodes -o wide -A查看IP是否为新IP

如果网络不通，再检查一次路由表，如果未更新，或未出现跨节点的网关路由，需要把calico-node-xxx 的pod delete，重建出来路由表后网络可恢复正常。如果存在pod为0/1 running状态，查看该pod是否还是使用的旧的IP，重启该pod。

第10步 更新proton-cli-config的节点所对应ip

注意：该步骤可在任意一个master节点执行

获取集群配置

proton-cli get conf > cluster.yaml

编辑配置，修改 cluster.yaml里面 nodes 所对应的 ip 地址。

融合部署-cluster.yaml修改.png

执行更新配置

proton-cli apply -f cluster.yaml

第11步 修改高可用IP

高可用及节点IP在数据库中有记录，需要修改数据库。

连接数据库，并执行如下sql修改nodemgnt库中node表中的节点IP：

update node set f_node_ip="{new_ip}" where id={id};

融合部署-连接数据库.png

融合部署-修改node表.png

执行如下sql修改nodemgnt库中ha表中的节点VIP。

update ha set f_vip="{new_vip}" where f_id={id};

融合部署-修改数据库ha.png

执行如下命令keepalived.conf。

注意：每个高可用节点都需要执行。

sed -i "s/10.4.14.11/10.4.14.205/" /etc/keepalived/keepalived.conf

sed -i "s/10.4.14.12/10.4.14.206/" /etc/keepalived/keepalived.conf

sed -i "s/10.4.14.15/10.4.14.207/" /etc/keepalived/keepalived.conf

sed -i "s/10.4.14.56/10.4.14.210/" /etc/keepalived/keepalived.conf

运行如下命令重启keepalived。

systemctl restart keepalived

然后检查vip配置，注意只有一个节点上运行ov标记的VIP。

融合部署-查看ovip.png

第12步 修改访问地址

执行如下命令修改访问地址，注意：host为新的VIP地址：

curl kubectl get svc -n anyshare deploy-service -ojsonpath={.spec.clusterIP}:{.spec.ports[0].port}/api/deploy-manager/v1/access-addr/app -XPUT -d'{"host":"10.4.14.210","port": "443","type":"external"}'

融合部署-修改访问地址.png

进入部署控制台更新证书。

点击配置证书，生成新的证书。

融合部署-更新证书.png

在部署控制台【服务器】页签，检测高可用状态是否准确。

融合部署-检查高可用配置.png

2.3 ECeph管理程序网段修改

第1步 配置文件备份

集群中所有节点的/etc/ceph/ceph.conf和/opt/minotaur/config/minotaur.conf配置文件都需备份。执行命令如下：

cp /etc/ceph/ceph.conf /etc/ceph/ceph.conf.bak

cp /opt/minotaur/config/minotaur.conf /opt/minotaur/config/minotaur.conf.bak1

融合部署-配置文件备份.png

第2步 修改/opt/minotaur/config/minotaur.conf

ECeph集群中所有节点的/opt/minotaur/config/minotaur.conf文件中的node_ip及object_ip修改为新IP，并重启eceph-config-agent服务（systemctl restart eceph-config-agent）。

融合部署-修改mimotaur.conf.png

第3步 修改/etc/ceph/ceph.conf

ECeph集群中所有节点的/etc/ceph/ceph.conf文件中[infomon]模块下的节点IP改为新IP。

融合部署-修改ceph.conf.png

第4步 修改数据库

进入AnyShare数据库，选择minotaur的库，使用如下sql更新node表：

update minotaur.node set manager_ip="{new_ip}" where host="{hostname}";

融合部署-更新node表.png

修改成功后，使用新的IP地址登录WEB管理页面，查看IP地址是否正确。

融合部署-WEB界面显示新IP.png

第5步 修改管理服务cm

在任一master节点修改eceph-config-manager和eceph-tenant-web容器的cm：

kubectl edit cm eceph-dashboard-confmanager-conf

kubectl edit cm eceph-dashboard-teweb-conf

将[rgw]块下的vip修改为对应的新IP。此处可能是VIP，也可能是节点IP（如果没有设置VIP）。

融合部署-修改管理服务cm.png

融合部署-修改租户管理服务cm.png

无论是否修改，都重启管理服务的pod，重启后再进入8003页面【系统管理】-【节点】中查看节点状态，此时应该都在线。

kubectl get pods | grep -E 'proton-eceph-config-manager|proton-eceph-tenant-web' | awk '{print $1}' | xargs -i kubectl delete pod {}

融合部署-重启管理服务pod.png

第6步 修改外部VIP（如果配置了的话）

所有节点进行/etc/keepalived/keepalived.conf中eceph_vip部分的节点IP和VIP进行修改。

融合部署-修改keepalived.conf.png

运行如下命令重启keepalived，然后检查vip配置，注意只有一个节点上运行了ovip标签的vip。

systemctl restart keepalived

vip配置检查.png

第7步 检查SLB-Nginx转发配置

ECeph通过SLB-Nginx对外提供对象存储访问端口：10001和10002。当有两个网段时，建议此处使用的是节点IP（实际部署时有可能设置会内部IP）。此时需修改为新的节点IP。具体操作如下：

进入集群每个节点/usr/local/slb-nginx/conf.d/http/目录下，修改eceph_10001.conf和eceph_10002.conf配置文件，将原先的内部IP地址改成新的节点IP地址。

融合部署-修改eceph_10001.conf.png

重新加载SLB-Nginx配置，修改了配置的每个节点运行如下命令：

systemctl reload slb-nginx

2.4 存储配置相关修改

第1步 cms-release-config-ossgateway配置修改

运行命令kubectl -nanyshare edit secret cms-release-config-ossgateway，将default.yaml部分base64解码并重定向到一个文件。
对该文件进行修改，将ips中的IP修改为新的业务IP。

融合部署-获取default.yaml.png

将该文件重新base64编码，删除换行后，替换secret cms-release-config-ossgateway中原始部分。

融合部署-Base64编码修改后的default.yaml.png

融合部署-去除换行的base64编码的内容替换原内容.png

第2步 OSSGateway ep配置检查
运行kubectl get ep -A|grep ossgateway-查看ep是不是用的内部IP，如果不是，手动修改为内部IP。修改命令为:

kubectl edit ep ossgateway-{bucket} -n anyshare

融合部署-OSSGateway endpoints检查.png

第3步 修改存储连接配置
进入部署控制台，对象存储页面，修改存储连接配置。若服务器地址使用的是AnyShare原VIP，此处需要改为AnyShare 新VIP，或者ECeph的ovip。** 即使此处不需要修改，也需要保存一下** ，保证mongodb中的配置更新。保存后进行文件上传下载测试。

融合部署-存储连接配置.png

3 两个网段部署，修改内部地址

说明：建议先通读步骤，理解每一步的含义。执行时，需严格按照顺序执行，否则可能造成集群不可用。有任何疑问请联系爱数工程师。

3.1 修改前IP地址信息收集

为已有集群收集以下信息，并填入下面的表格。

节点列表信息：hostname及业务IP地址。

运行kubectl get nodes -o wide查看

对象存储内部地址

cat /opt/minotaur/config/minotaur.conf （对应internal_ip）

业务IP及内部IP地址对应的网卡名。
业务及内部高可用IP地址：在/etc/keepalived/keepalived.conf中查看。
ceph的每个mon节点信息，以及mon名称（例如m0，m1）从/etc/ceph/ceph.conf中获取。

确保新内部IP未被占用。

主机名	业务IP	内部IP	节点IP对应网卡名	内部IP地址对应网卡名	新内部IP	Mon名称
node-14-11	10.4.14.205	10.4.27.11	eno3	ens1f0	10.10.27.205	m2
node-14-12	10.4.14.206	10.4.27.12	eno3	ens1f0	10.10.27.206	m0
node-14-15	10.4.14.207	10.4.27.15	eno3	ens1f0	10.10.27.207	m1
ECeph VIP地址		无			无

3.2 新增内部IP

融合部署的的内部可能有其他服务使用（如数据库），因此不修改已有内部IP，而是通过新增网卡配置文件来新增IP。

第1步 新增内部IP

进入/etc/sysconfig/network-scripts/目录，复制/etc/sysconfig/network-scripts/ifcfg-XXXX为一个子设备名，并设置新的IP地址。每个节点上操作。注意配置文件中的NAME及DEVICE需要改为对应的子设备名。每个节点上操作。
修改后重启对应网卡，确认新的IP配置成功，且相互之间能够通信。

CentOS使用ifdown <网卡名> && ifup <网卡名>

OpenEuler使用nmcli connection reload && nmcli connection down <网卡名> && nmcli connection up <网卡名>

融合部署-复制网卡配置文件.png

融合部署-编辑网卡配置.png

第2步 检查/etc/hosts

若其中包含内部IP相关配置，改为新的内部IP地址信息。

第3步 设置防火墙

每个节点的防火墙根据需要对新的业务IP地址放行。

for i in 10.10.27.205 10.10.27.206 10.10.27.207;do firewall-cmd --add-rich-rule="rule family="ipv4" source address=$i accept";firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address=$i accept";done

3.3 更新proton-cli-config的节点所对应的internal_ip

注意：该章节可在任意一个master节点执行

获取集群配置

proton-cli get conf > cluster.yaml

编辑配置，修改 cluster.yaml里面 nodes 所对应的 internal_ip 地址以及eceph对应的内部VIP地址（如果配置了内部VIP地址的话）。

融合部署-cluster.yaml修改-内部IP.png

执行更新配置

proton-cli apply -f cluster.yaml

3.4 ECeph网段修改

第1步 Ceph mon配置修改

查看集群状态

ECeph7.10.0之前的版本在主机运行ceph -s，ECeph 7.10.0及之后版本需要进入eceph-node-agent的容器运行（所有ceph相关的命令都需要在该容器运行），查看输出，确保集群状态健康、所有的服务都正常（包括3个mon，3个mgr，所有osd），且数据都正常（所有pg都是active + clean）,下述截图中有一个节点的根目录使用空间超过75%，提示mon.m2可用空间low，不影响内部IP修改。

融合部署-集群状态.png

导出mon配置

选择任一ceph-mon节点的mon配置，运行如下命令：

ceph mon getmap -o monmap.bin

查看导出的mon配置

运行如下命令查看当前的mon配置信息

monmaptool --print monmap.bin

融合部署-打印查看原来的mon配置.png

删除已有的mon配置

运行如下命令删除所有的mon信息，多个节点直接在后面加"--rm {monid}"即可。

monmaptool --rm {monid名称：例如m0} monmap.bin

融合部署-删除原来的mon配置.png

添加新的mon配置

运行如下命令添加新的mon信息（使用对应新的内部IP），添加多个，可多次使用"--add {monid} {内部IP}:6789"。

monmaptool --add {monid名称：例如m0} {新的IP地址}:6789 monmap.bin

如：monmaptool --add m0 10.10.27.206:6789 --add m1 10.10.27.207:6789 --add m2 10.10.27.205:6789 monmap.bin

融合部署-添加新的mon配置.png

将新的mon配置复制到其他ceph-mon节点下。如果是在容器中操作上述步骤，需要将monmap.bin从容器中复制到主机：

kubectl cp {pod}:{path of monmap.bin} /root/monmap.bin

scp /root/monmap.bin 10.4.14.206:/root

scp /root/monmap.bin 10.4.14.207:/root

融合部署-复制monmap.bin.png

单节点环境不需要复制monmap到主机上，但要注意后续导入新monmap时要在容器中执行。

停止ceph集群的服务

集群中每个ceph节点，运行如下命令，停止ceph服务。

systemctl stop ceph.target ceph-radosgw.target

使用命令如下命令检查是否还有ceph进程未结束：

ps aux|grep -E "ceph-mon|ceph-osd|ceph-mgr|radosgw"

如果有未结束的ceph进程，执行kill -9，强制结束。

查看服务进程.png

修改ceph配置文件

修改每个节点/etc/ceph/ceph.conf配置文件，将原来的内部IP改为新的内部IP地址。

sed -i "s/原内部IP/新内部IP/g" /etc/ceph/ceph.conf

sed -i “s/10.4.27.11/10.10.27.205/g” /etc/ceph/ceph.conf

sed -i “s/10.4.27.12/10.10.27.206/g” /etc/ceph/ceph.conf

sed -i “s/10.4.27.15/10.10.27.207/g” /etc/ceph/ceph.conf

融合部署-sed命令修改.png

确认字段修改完全

IP修改主要涉及如下字段：

mon.mX的mon addr
osd.X的cluster addr和public addr

运行如下命令检查：

cat /etc/ceph/ceph.conf | grep 原内部IP

cat /etc/ceph/ceph.conf|egrep "[mon|cluster|public] addr"

融合部署-确认修改完全.png

ceph-mon节点导入新的配置

在每个ceph-mon节点为所有mon导入新的monmap.bin配置，多个mon需分多次导入，一次只能导入一个mon。

注意：ceph-mon命令在主机上也可以执行，如果monmap.bin已经在各个主机上，可以在主机上运行，如果还在容器里（单节点环境），需要去容器里面执行。

ceph-mon -i {monid名称} --inject-monmap monmap.bin

融合部署-导入新配置.png

启动ceph集群的服务

每个节点执行如下命令启动ceph集群的服务。

systemctl start ceph.target ceph-radosgw.target

运行如下命令查看是否启动：

systemctl status ceph.target ceph-radosgw.target

融合部署-启动ceph集群的服务.png

检查集群状态

运行ceph -s查看集群状态，3节点集群约需要等待一分钟左右恢复健康。

若ceph -s报错，请检查网络配置是否正确，ceph.conf配置文件，ceph相关服务进程是否启动。

kubectl exec -it kubectl get po -o wide |grep proton-eceph-node-agent |grep `hostname` |awk '{print $1}' bash -- ceph -s

查看集群状态.png

第2步 修改数据库

进入minotaur数据库，将node表中internal_ip修改为新的内部IP地址，SQL命令如下：

update minotaur.node set internal_ip = "新的IP地址" where host = "对应hostname";

运行如下SQL命令确认已经修改正确：

select * from minotaur.node;

进入数据库.png

融合部署-修改minotaur数据库的内部IP.png

第3步 修改minotaur.conf配置文件

每个节点修改/opt/minotaur/config/minotaur.conf配置文件，将internal_ip 和 internal_ip_mask修改成新的内部IP地址和子网掩码。

说明：ECeph 7.13.0及之后的版本去除了子网掩码设置。

融合部署-修改minotaur.conf配置文件.png

运行如下命令，重启每个节点的eceph-config-agent服务。

systemctl restart eceph-config-agent

第4步 重启容器服务

运行如下命令重启proton-eceph相关容器服务。

kubectl get po -A | grep proton-eceph | awk '{print$2}' |xargs -i kubectl delete po/{} -ndefault

融合部署-重启容器服务.png

第5步 查看ECeph集群管理页面显示

登录ECeph管理页面http://{ip}:8003，到【系统管理】-【节点】页面中，点击节点名进入详细信息，查看网络中内部IP是否显示正确。

融合部署-查看内部IP.png

第6步 修改VIP（如果配置了的话）

所有节点进行/etc/keepalived/keepalived.conf中eceph_vip部分的内部IP和VIP进行修改。

修改后，运行systemctl restart keepalived重启keepalived，然后检查vip配置，注意只有一个节点上运行了ivip标签的vip。

第7步 修改SLB-Nginx转发配置

ECeph通过SLB-Nginx对外提供对象存储访问接口：10001和10002。当有两个网段时，建议此处使用的是节点IP（实际部署时有可能设置会内部IP）。此时需修改为新的节点IP。具体操作如下：

进入集群每个节点/usr/local/slb-nginx/conf.d/http/目录下，修改eceph_10001.conf和eceph_10002.conf配置文件，若使用的是内部IP则进行修改。

融合部署-nginx配置文件修改.png

重新加载SLB-Nginx配置，修改了配置的每个节点运行如下命令：

systemctl reload slb-nginx

3.5 存储配置相关修改

第1步 cms-release-config-ossgateway配置修改

运行命令kubectl -nanyshare edit secret cms-release-config-ossgateway，将default.yaml部分base64解码并重定向到一个文件。
对该文件进行修改，将ips中的IP修改为新的内部IP。

融合部署-获取default.yaml-internalip.png

将该文件重新base64编码，删除换行后，替换secret cms-release-config-ossgateway中原始部分。

融合部署-Base64编码修改后的default.yaml-internalip.png

融合部署-去除换行的base64编码的内容替换原内容-internalip.png

第2步 OSSGateway配置更新

调用如下接口设置内部IP：

curl -X PUT http://kubectl get svc -n anyshare|grep deploy-service|awk '{print $3}':9703/api/deploy-manager/v1/containerized/upmulti-instance-service/OSSGatewayService/

说明：无论接口是否报错，均进行下一步检测配置是否成功

融合部署-接口调用.png

内部IP设置检查

查看redis中内部地址配置是否正确。

运行如下命令获取所有存储的key：

kubectl exec -c redis proton-redis-proton-redis-0 -n resource -- redis-cli --user root --pass eisoo.com123 -n 0 keys_new /ossgw/*

逐个查看所有存储key下的具体value：

kubectl exec -c redis proton-redis-proton-redis-0 -n resource -- redis-cli --user root --pass eisoo.com123 -n 0 GET {key}

融合部署-内部地址查看.png

查看ossgateway-{bucket}的svc的endpoints配置是否正确。

融合部署-endpoints查看.png

第3步 修改存储连接配置
进入部署控制台，对象存储页面，查看存储连接配置。若内部服务器地址使用的是原ECeph内部 VIP或内部IP，此处需要改为新内部VIP或内部IP。若未配置内部服务器地址则不需要修改（下图示例为未配置）。

融合部署-存储连接配置-internal.png

4 1个网段部署，修改业务IP

4.1 修改流程

第1步 按照第2章修改业务IP

第2步 按照第3章修改内部IP

< 上一篇：

下一篇： >