1. 背景与目标

当前环境为 3 台虚拟机构成的 ELK(Elasticsearch + Logstash)集群。
由于磁盘空间规划调整,需要将原根分区下的 /data 目录(包含 Elasticsearch 数据及程序、ops-client 等)和 /var/lib/docker 目录(Docker 容器数据)合并迁移到新挂载的独立硬盘中。

目标架构:

  • 新硬盘独立挂载到 /data 目录。
  • 原 /data 下的内容保持在 /data/ 根层级。
  • 原 /var/lib/docker 的数据迁移至 /data/docker-data。
  • 核心原则:逐台节点进行迁移,保证集群高可用;迁移单台时限制 ES 分片自动分配,防止引发大量的网络 I/O 和集群动荡。

2. 迁移前准备与注意事项

  1. 逐台操作:绝对不能同时停止多台节点,必须等一台完全恢复 green 状态后,再操作下一台。
  2. 账号密码:ES 开启了 x-pack 安全认证,调用 API 需准备好 elastic 用户的密码。
  3. 数据备份:旧数据目录在确认集群稳定运行 1~2 天前,不要删除,仅做重命名或保留原样,以便随时回滚。

3. 单节点迁移标准流程

以下操作以其中一台节点(假设 IP 为 10.0.123.16,新盘已临时挂载在 /data-tmp)为例。

Step 1: 检查集群健康状态并限制分片分配

在停机前,先确认集群是健康的(green):

curl -u elastic "http://10.0.123.16:9200/_cluster/health?pretty"

为了防止当前节点停机期间,Master 节点将该节点上的分片重新分配到其他节点,临时将分片分配策略改为仅允许主分片(primaries):

curl -u elastic -X PUT "http://10.0.123.16:9200/_cluster/settings" \
  -H 'Content-Type: application/json' \
  -d '{"transient":{"cluster.routing.allocation.enable":"primaries"}}'

# 执行 flush 将内存中的数据刷入磁盘,加快重启后的恢复速度
curl -u elastic -X POST "http://10.0.123.16:9200/_flush"

Step 2: 停止服务并清理残留进程

停止 Elasticsearch 和 Docker 服务:

systemctl stop elasticsearch
systemctl stop docker

关键点:清理僵尸进程与文件占用
Docker 停止后,可能存在 containerd-shim 或容器内 Java 进程(如 Logstash)未退出的情况,导致目录被持续占用。

# 检查目录占用情况
lsof +D /data
lsof +D /var/lib/docker

# 查找残留的 Docker 及业务进程
ps -ef | egrep 'dockerd|containerd|containerd-shim|logstash|cadvisor|node_exporter' | grep -v grep

如果发现残留进程,先使用 kill <PID> 优雅停止;若等待 5 秒后仍存在,使用 kill -9 <PID> 强制击杀。必须确保 lsof 没有任何输出。

Step 3: 卸载残留的 Docker Overlay 挂载

即使进程清理干净,Docker 的 overlay2 挂载点可能依然残留在系统中,这会影响后续的挂载和启动。

# 检查是否有残留挂载
mount | grep '/var/lib/docker'

# 批量卸载残留的 overlay 挂载
mount | awk '$3 ~ "^/var/lib/docker/" {print $3}' | sort -r | xargs -r -n1 umount

# 如果提示 target is busy,可使用懒卸载(前提是已确认无进程占用)
# mount | awk '$3 ~ "^/var/lib/docker/" {print $3}' | sort -r | xargs -r -n1 umount -l

# 再次确认无残留
df -Th | egrep ' /data$|/var/lib/docker'

Step 4: 离线同步数据

确保无任何占用后,使用 rsync 将数据全量同步到新盘(当前临时挂载在 /data-tmp):

# 创建新的 Docker 数据目录
mkdir -p /data-tmp/docker-data

# 同步原 /data 目录数据(保留权限、属主、软链接等)
rsync -aHAXS --numeric-ids /data/ /data-tmp/

# 同步原 Docker 数据
rsync -aHAXS --numeric-ids /var/lib/docker/ /data-tmp/docker-data/

# 对比同步前后的数据大小,确认无误
du -sh /data /data-tmp /var/lib/docker /data-tmp/docker-data

Step 5: 切换挂载点与修改 fstab

将旧目录重命名作为备份,并将新盘正式挂载到 /data:

# 备份 fstab
cp -a /etc/fstab /etc/fstab.bak.$(date +%F-%H%M)

# 备份原 /data 目录
mv /data /data.old.$(date +%F-%H%M)
mkdir /data

# 卸载临时挂载点
umount /data-tmp

# 修改 fstab,将原 /data-tmp 替换为 /data(注意替换为你实际的 UUID)
# 示例 UUID: b9150830-3020-49b5-b31e-ee7b2dea200f

sed -i 's#UUID=b9150830-3020-49b5-b31e-ee7b2dea200f /data-tmp xfs defaults 0 0#UUID=b9150830-3020-49b5-b31e-ee7b2dea200f /data xfs defaults,noatime 0 0#' /etc/fstab


# 重新挂载并验证
mount -a
df -Th | grep '/data'
ls -l /data

Step 6: 修改 Docker 数据目录配置

修改 Docker 的 daemon.json,将数据目录指向新路径:

# 检查原有配置
cat /etc/docker/daemon.json

使用 vim /etc/docker/daemon.json,在 JSON 顶层添加或修改 "data-root" 字段:

{
  ...原有的其他配置...,
  "data-root": "/data/docker-data"
}

Step 7: 启动服务与恢复集群状态

先启动 Docker 并验证:

systemctl daemon-reload
systemctl start docker
systemctl enable docker

# 验证 Docker Root Dir 是否已更改为 /data/docker-data
docker info | egrep 'Docker Root Dir|Storage Driver'

# 检查容器是否正常启动
docker ps -a

Docker 正常后,启动 Elasticsearch:

systemctl start elasticsearch
systemctl status elasticsearch --no-pager

等待 ES 进程启动(约 30 秒~1 分钟),检查集群健康状态:

curl -u elastic "http://10.0.123.16:9200/_cluster/health?pretty"
Enter host password for user 'elastic':
{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 3,
  "active_shards" : 4,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 2,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 66.66666666666666
}

此时状态通常为 yellow(因为我们之前限制了副本分片的分配)。

恢复分片分配策略:

curl -u elastic -X PUT "http://10.0.123.16:9200/_cluster/settings" \
  -H 'Content-Type: application/json' \
  -d '{"transient":{"cluster.routing.allocation.enable":null}}'

再次检查集群状态,等待其恢复为 green 且 unassigned_shards 为 0:

curl -u elastic "http://10.0.123.16:9200/_cluster/health?pretty"
Enter host password for user 'elastic':
{
  "cluster_name" : "elasticsearch",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 3,
  "active_shards" : 6,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

4. 最终巡检与清理

当 3 台节点全部按照上述流程迁移完毕后,在所有节点上执行最终巡检:

df -Th | egrep ' /data$|/var/lib/docker'
docker info | egrep 'Docker Root Dir|Storage Driver'
docker ps
systemctl is-enabled docker elasticsearch
curl -u elastic "http://本机IP:9200/_cluster/health?pretty"

清理工作:
旧的数据目录(/data.old.xxxx 和 /var/lib/docker)建议保留。为防止误用,可以打个标记:

touch /var/lib/docker/OLD_DO_NOT_USE

等待系统稳定运行 1~2 天,确认日志收集、检索、容器运行均无异常后,再执行删除释放空间:

rm -rf /data.old.*
rm -rf /var/lib/docker