我们有一个运行 GlusterFS 的双节点集群。
它是一个 4 卷集群，副本 2，每个服务器一个砖块。
死服务器：nnfs02
包含所有数据的活跃服务器：nnfs03
新服务器：nnfs01
在 nnfs02 死机后，我们添加了 nnfs01，并能够移除 4 个卷中的 2 个砖块，在 nnfs01 上使用副本 2 创建新砖块，并修复卷以在两个服务器上拥有 100% 的数据。卷名称：源、头像。
我们有两卷无法修复，这两卷阻止 glsuterd 启动。电子书/封面。
在重新启动服务之前，我分离了死节点 (nnfs02) 并尝试移除它的砖块。没有运气。
调试日志：https://gist.github.com/anonymous/d8c412bda8754b4b67a1
[2015-10-21 08：07：35.029300] I [glusterfsd.c：1959：main] 0-glusterd：已开始运行 glusterd 版本 3.5.5（glusterd --debug） [2015-10-21 08：07：35.029548] D [glusterfsd.c：596：get_volfp] 0-glusterfsd：加载卷文件/etc/glusterfs/glusterd.vol [2015-10-21 08：07：35.032568] I [glusterd.c：1122：init] 0-管理：使用 /var/lib/glusterd 作为工作目录 [2015-10-21 08：07：35.032614] D [glusterd.c：345：glusterd_rpcsvc_options_build] 0-：监听积压值：128 [2015-10-21 08：07：35.032784] D [rpcsvc.c：2183：rpcsvc_init] 0-rpc-service：RPC 服务已启动。 [2015-10-21 08：07：35.032802] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GF-DUMP，编号：123451501，版本：1，端口：0 [2015-10-21 08：07：35.032831] D [rpc-transport.c：262：rpc_transport_load] 0-rpc-transport：尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/socket.so [2015-10-21 08：07：35.035483] I [socket.c：3645：socket_init] 0-socket.management：未启用 SSL 支持 [2015-10-21 08：07：35.035505] I [socket.c：3660：socket_init] 0-socket.management：使用系统轮询线程 [2015-10-21 08：07：35.035520] D [name.c：557：server_fill_address_family] 0-socket.management：未指定选项地址系列，默认为 inet [2015-10-21 08：07：35.035571] D [rpc-transport.c：262：rpc_transport_load] 0-rpc-transport：尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/rdma.so [2015-10-21 08：07：35.035607] E [rpc-transport.c：266：rpc_transport_load] 0-rpc-transport：/usr/lib64/glusterfs/3.5.5/rpc-transport/rdma.so：无法打开共享对象文件：没有此文件或目录 [2015-10-21 08：07：35.035619] W [rpc-transport.c：270：rpc_transport_load] 0-rpc-transport：卷“rdma.management”：传输类型“rdma”无效或未在此计算机上找到 [2015-10-21 08：07：35.035630] W [rpcsvc.c：1535：rpcsvc_transport_create] 0-rpc-service：无法创建侦听器，启动传输失败 [2015-10-21 08：07：35.035641] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GlusterD svc peer，编号：1238437，版本：2，端口：0 [2015-10-21 08：07：35.035650] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GlusterD svc cli 只读，编号：1238463，版本：2，端口：0 [2015-10-21 08：07：35.035660] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GlusterD svc mgmt，编号：1238433，版本：2，端口：0 [2015-10-21 08：07：35.035669] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：Gluster Portmap，编号：34123456，版本：1，端口：0 [2015-10-21 08：07：35.035678] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：Gluster Handshake，编号：14398633，版本：2，端口：0 [2015-10-21 08：07：35.035687] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：Gluster MGMT Handshake，编号：1239873，版本：1，端口：0 [2015-10-21 08：07：35.035721] D [rpcsvc.c：2183：rpcsvc_init] 0-rpc-service：RPC 服务已启动。 [2015-10-21 08：07：35.035731] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GF-DUMP，编号：123451501，版本：1，端口：0 [2015-10-21 08：07：35.035754] D [rpc-transport.c：262：rpc_transport_load] 0-rpc-transport：尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/socket.so [2015-10-21 08：07：35.035785] D [socket.c：3533：socket_init] 0-socket.management：禁用nodelay [2015-10-21 08：07：35.035797] I [socket.c：3645：socket_init] 0-socket.management：未启用 SSL 支持 [2015-10-21 08：07：35.035806] I [socket.c：3660：socket_init] 0-socket.management：使用系统轮询线程 [2015-10-21 08：07：35.035860] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：GlusterD svc cli，编号：1238463，版本：2，端口：0 [2015-10-21 08：07：35.035873] D [rpcsvc.c：1812：rpcsvc_program_register] 0-rpc-service：新程序注册：Gluster Handshake（CLI Getspec），编号：14398633，版本：2，端口：0 [2015-10-21 08：07：35.035899] D [glusterd-utils.c：6105：glusterd_sm_tr_log_init] 0-：返回 0 [2015-10-21 08：07：35.035913] D [glusterd.c：1298：init] 0-管理：无法获取 run-with-valgrind 值 [2015-10-21 08：07：35.036639] I [glusterd.c：367：glusterd_check_gsync_present] 0-glusterd：系统中未安装地理复制模块 [2015-10-21 08：07：35.037001] D [glusterd.c：400：glusterd_check_gsync_present] 0-glusterd：返回 -1 [2015-10-21 08：07：35.044391] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.044426] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.044473] D [store.c：280：gf_store_retrieve_value] 0-：找到密钥操作版本 [2015-10-21 08：07：35.044519] 我 [glusterd-store.c：1421：glusterd_restore_op_version] 0-glusterd：检索到 op 版本：30504 [2015-10-21 08：07：35.044572] D [glusterd-utils.c：518：glusterd_volinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.050190] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.050222] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.050245] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.050271] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 ... [2015-10-21 08：07：35.050459] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.050482] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = diagnostics.brick-log-level，值：警告 [2015-10-21 08：07：35.050509] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = diagnostics.client-log-level，value：警告 [2015-10-21 08：07：35.050553] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.enable-ino32，值：on [2015-10-21 08：07：35.050603] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.addr-namelookup，值：off [2015-10-21 08：07：35.050631] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.disable，值：on [2015-10-21 08：07：35.050655] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-max-file-size，值：2MB [2015-10-21 08：07：35.050678] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-refresh-timeout，value：4 [2015-10-21 08：07：35.050701] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-size，值：256MB [2015-10-21 08：07：35.052059] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.io-thread-count，value：32 [2015-10-21 08：07：35.052089] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-0 [2015-10-21 08：07：35.052111] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-1 [2015-10-21 08：07：35.052126] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.052164] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.052186] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.052208] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.052514] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.057629] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.057658] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.057683] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.057710] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.277883] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.277900] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.277934] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.277952] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.284152] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.284173] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.284213] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.284248] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 ... [2015-10-21 08：07：35.284297] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.284309] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.284332] D [glusterd-store.c：1636：glusterd_store_retrieve_bricks] 0-：返回 0 [2015-10-21 08：07：35.284611] D [glusterd-utils.c：1792：glusterd_volume_compute_cksum] 0-管理：返回 0 [2015-10-21 08：07：35.296988] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.297034] D [store.c：280：gf_store_retrieve_value] 0-：找到密钥版本 [2015-10-21 08：07：35.297055] D [store.c：434：gf_store_handle_destroy] 0-：返回 0 [2015-10-21 08：07：35.311483] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.311556] D [glusterd-utils.c：1792：glusterd_volume_compute_cksum] 0-管理：返回 0 [2015-10-21 08：07：35.311607] D [store.c：348：gf_store_save_value] 0-：返回：0 [2015-10-21 08：07：35.311633] D [store.c：348：gf_store_save_value] 0-：返回：0 [2015-10-21 08：07：35.311668] D [glusterd-store.c：2089：glusterd_store_retrieve_volume] 0-：返回 0 [2015-10-21 08：07：35.311684] D [glusterd-utils.c：1156：glusterd_volinfo_find] 0-管理：找到卷源 [2015-10-21 08：07：35.311693] D [glusterd-utils.c：1163：glusterd_volinfo_find] 0-管理：返回 0 [2015-10-21 08：07：35.320306] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.320328] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.320349] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.320384] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.320400] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.320418] D [glusterd-store.c：1739：glusterd_store_retrieve_rbstate] 0-：返回 0 [2015-10-21 08：07：35.320430] D [glusterd-utils.c：1156：glusterd_volinfo_find] 0-管理：找到卷源 [2015-10-21 08：07：35.320439] D [glusterd-utils.c：1163：glusterd_volinfo_find] 0-管理：返回 0 [2015-10-21 08：07：35.324899] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.324919] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.324935] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.324957] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 ... [2015-10-21 08：07：35.324994] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.325011] D [glusterd-store.c：1850：glusterd_store_retrieve_node_state] 0-：返回 0 [2015-10-21 08：07：35.325031] D [glusterd-utils.c：518：glusterd_volinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.333696] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.333723] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.333743] D [store.c：475：gf_store_iter_new] 0-：返回 0 ... [2015-10-21 08：07：35.333787] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.333940] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.333955] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.io-thread-count，value：32 [2015-10-21 08：07：35.333980] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-size，值：256MB [2015-10-21 08：07：35.334003] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-refresh-timeout，value：4 [2015-10-21 08：07：35.334026] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-max-file-size，值：2MB [2015-10-21 08：07：35.334052] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.disable，值：on [2015-10-21 08：07：35.334075] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = diagnostics.client-log-level，value：警告 [2015-10-21 08：07：35.334097] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = diagnostics.brick-log-level，值：警告 [2015-10-21 08：07：35.334121] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.addr-namelookup，值：off [2015-10-21 08：07：35.334145] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.enable-ino32，值：on [2015-10-21 08：07：35.334165] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-0 [2015-10-21 08：07：35.334186] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-1 [2015-10-21 08：07：35.334246] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.334267] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.334290] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.339246] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.339266] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.339286] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.339309] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.339357] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.339369] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.339402] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.339417] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.344478] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.344497] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.344517] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.344538] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.344585] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.344597] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.344618] D [glusterd-store.c：1636：glusterd_store_retrieve_bricks] 0-：返回 0 [2015-10-21 08：07：35.344832] D [glusterd-utils.c：1792：glusterd_volume_compute_cksum] 0-管理：返回 0 [2015-10-21 08：07：35.350431] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.350478] D [store.c：280：gf_store_retrieve_value] 0-：找到密钥版本 [2015-10-21 08：07：35.350499] D [store.c：434：gf_store_handle_destroy] 0-：返回 0 [2015-10-21 08：07：35.354961] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.355030] D [glusterd-utils.c：1792：glusterd_volume_compute_cksum] 0-管理：返回 0 [2015-10-21 08：07：35.355081] D [store.c：348：gf_store_save_value] 0-：返回：0 [2015-10-21 08：07：35.355107] D [store.c：348：gf_store_save_value] 0-：返回：0 [2015-10-21 08：07：35.355142] D [glusterd-store.c：2089：glusterd_store_retrieve_volume] 0-：返回 0 [2015-10-21 08：07：35.355162] D [glusterd-utils.c：1156：glusterd_volinfo_find] 0-管理：找到卷头像 [2015-10-21 08：07：35.355171] D [glusterd-utils.c：1163：glusterd_volinfo_find] 0-管理：返回 0 [2015-10-21 08：07：35.360423] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.360446] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.360465] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.360489] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.360503] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.360521] D [glusterd-store.c：1739：glusterd_store_retrieve_rbstate] 0-：返回 0 [2015-10-21 08：07：35.360533] D [glusterd-utils.c：1156：glusterd_volinfo_find] 0-管理：找到卷头像 [2015-10-21 08：07：35.360542] D [glusterd-utils.c：1163：glusterd_volinfo_find] 0-管理：返回 0 [2015-10-21 08：07：35.364940] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.364962] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.364980] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.365027] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.365040] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.365058] D [glusterd-store.c：1850：glusterd_store_retrieve_node_state] 0-：返回 0 [2015-10-21 08：07：35.365073] D [glusterd-utils.c：518：glusterd_volinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.369827] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.369862] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.369879] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.369903] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 .... [2015-10-21 08：07：35.369995] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.370069] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.io-thread-count，value：32 [2015-10-21 08：07：35.370093] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-size，值：256MB [2015-10-21 08：07：35.370117] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-refresh-timeout，value：4 [2015-10-21 08：07：35.370140] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-max-file-size，值：2MB [2015-10-21 08：07：35.370175] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.disable，值：on [2015-10-21 08：07：35.370199] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = diagnostics.client-log-level，value：警告 [2015-10-21 08：07：35.370222] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = diagnostics.brick-log-level，值：警告 [2015-10-21 08：07：35.370246] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.addr-namelookup，值：off [2015-10-21 08：07：35.370270] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.enable-ino32，值：on [2015-10-21 08：07：35.370291] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-0 [2015-10-21 08：07：35.370311] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-1 [2015-10-21 08：07：35.370331] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-2 [2015-10-21 08：07：35.370369] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.370399] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.370421] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 ... [2015-10-21 08：07：35.370445] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.380106] D [store.c：394：gf_store_handle_new] 0-：返回 0 [2015-10-21 08：07：35.380125] D [store.c：413：gf_store_handle_retrieve] 0-：返回 0 [2015-10-21 08：07：35.380145] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.380168] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 ... [2015-10-21 08：07：35.419445] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.419605] D [store.c：580：gf_store_iter_get_next] 0-：返回 0 [2015-10-21 08：07：35.419619] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.io-thread-count，value：32 [2015-10-21 08：07：35.419643] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-size，值：256MB [2015-10-21 08：07：35.419666] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-refresh-timeout，value：4 [2015-10-21 08：07：35.419688] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = performance.cache-max-file-size，值：2MB [2015-10-21 08：07：35.419713] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.addr-namelookup，值：off [2015-10-21 08：07：35.419747] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.enable-ino32，值：on [2015-10-21 08：07：35.419770] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为 Volume-set：key = diagnostics.client-log-level，value：警告 [2015-10-21 08：07：35.419792] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = diagnostics.brick-log-level，值：警告 [2015-10-21 08：07：35.419822] D [glusterd-store.c：1999：glusterd_store_retrieve_volume] 0-：解析为卷集：key = nfs.disable，值：on [2015-10-21 08：07：35.419844] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-0 [2015-10-21 08：07：35.419864] E [glusterd-store.c：1979：glusterd_store_retrieve_volume] 0-：未知密钥：brick-1 [2015-10-21 08：07：35.419876] D [store.c：580：gf_store_iter_get_next] 0-：返回 -1 [2015-10-21 08：07：35.419902] D [store.c：475：gf_store_iter_new] 0-：返回 0 [2015-10-21 08：07：35.419919] D [glusterd-utils.c：669：glusterd_brickinfo_new] 0-管理：返回 0 [2015-10-21 08：07：35.473545] D [glusterd-utils.c：6200：glusterd_peerinfo_new] 0-：返回 0 [2015-10-21 08：07：35.473553] I [glusterd-handler.c：2912：glusterd_friend_add] 0-管理：连接返回0 [2015-10-21 08：07：35.473588] D [glusterd-handler.c：2803：glusterd_transport_inet_options_build] 0-glusterd：返回 0 [2015-10-21 08:07:35.473614] I [rpc-clnt.c:972:rpc_clnt_connection_init] 0-管理：将帧超时设置为 600 [2015-10-21 08：07：35.473632] D [rpc-transport.c：262：rpc_transport_load] 0-rpc-transport：尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/socket.so [2015-10-21 08：07：35.473684] I [socket.c：3645：socket_init] 0-管理：未启用 SSL 支持 [2015-10-21 08:07:35.473696] I [socket.c:3660:socket_init] 0-管理：使用系统轮询线程 [2015-10-21 08：07：35.477581] D [common-utils.c：249：gf_resolve_ip6] 0-resolver：返回主机名：nnfs01 和端口：24007 的 ip-192.168.97.50（端口-24007） [2015-10-21 08：07：35.477798] D [glusterd-handler.c：2742：glusterd_rpc_create] 0-管理：返回 0 [2015-10-21 08：07：35.477829] D [glusterd-handler.c：2803：glusterd_transport_inet_options_build] 0-glusterd：返回 0 [2015-10-21 08:07:35.477854] I [rpc-clnt.c:972:rpc_clnt_connection_init] 0-管理：将帧超时设置为 600 [2015-10-21 08：07：35.477881] D [rpc-transport.c：262：rpc_transport_load] 0-rpc-transport：尝试加载文件/usr/lib64/glusterfs/3.5.5/rpc-transport/socket.so [2015-10-21 08：07：35.477939] I [socket.c：3645：socket_init] 0-管理：未启用 SSL 支持 [2015-10-21 08:07:35.477952] I [socket.c:3660:socket_init] 0-管理：使用系统轮询线程 [2015-10-21 08：07：35.481689] D [common-utils.c：249：gf_resolve_ip6] 0-resolver：返回主机名：nnfs01 和端口：24007 的 ip-192.168.97.50（端口-24007） [2015-10-21 08：07：35.481773] D [glusterd-handler.c：2742：glusterd_rpc_create] 0-管理：返回 0 [2015-10-21 08：07：35.481793] D [glusterd-store.c：2609：glusterd_store_retrieve_peers] 0-：返回 0 [2015-10-21 08：07：35.481925] D [glusterd-utils.c：5576：glusterd_friend_find_by_hostname] 0-管理：无法找到朋友：nnfs03 [2015-10-21 08：07：35.481991] D [common-utils.c：2931：gf_is_local_addr] 0-管理：127.0.0.1 [2015-10-21 08：07：35.482024] D [store.c：280：gf_store_retrieve_value] 0-：找到密钥 UUID [2015-10-21 08：07：35.482046] D [glusterd-store.c：1490：glusterd_retrieve_uuid] 0-：返回 0 [2015-10-21 08：07：35.482060] I [glusterd.c：138：glusterd_uuid_init] 0-管理：检索到 UUID：f42d41b1-61cc-4bdb-9e5e-7079fb9b35b5 [2015-10-21 08：07：35.482079] D [glusterd-utils.c：5611：glusterd_hostname_to_uuid] 0-管理：返回 0 [2015-10-21 08：07：35.482090] D [glusterd-utils.c：685：glusterd_resolve_brick] 0-管理：返回 0 [2015-10-21 08：07：35.482111] D [glusterd-utils.c：5527：glusterd_friend_find_by_hostname] 0-管理：找到 Friend nnfs01..状态：3 [2015-10-21 08：07：35.482120] D [glusterd-utils.c：5611：glusterd_hostname_to_uuid] 0-管理：返回 0 [2015-10-21 08：07：35.482128] D [glusterd-utils.c：685：glusterd_resolve_brick] 0-管理：返回 0 [2015-10-21 08：07：35.482234] D [glusterd-utils.c：5576：glusterd_friend_find_by_hostname] 0-管理：无法找到朋友：nnfs03 [2015-10-21 08：07：35.482318] D [common-utils.c：2931：gf_is_local_addr] 0-管理：127.0.0.1 [2015-10-21 08：07：35.482332] D [glusterd-utils.c：5611：glusterd_hostname_to_uuid] 0-管理：返回 0 [2015-10-21 08：07：35.482341] D [glusterd-utils.c：685：glusterd_resolve_brick] 0-管理：返回 0 [2015-10-21 08：07：35.482361] D [glusterd-utils.c：5527：glusterd_friend_find_by_hostname] 0-管理：找到 Friend nnfs01..状态：3 [2015-10-21 08：07：35.482371] D [glusterd-utils.c：5611：glusterd_hostname_to_uuid] 0-管理：返回 0 [2015-10-21 08：07：35.482393] D [glusterd-utils.c：685：glusterd_resolve_brick] 0-管理：返回 0 [2015-10-21 08：07：35.482492] D [glusterd-utils.c：5576：glusterd_friend_find_by_hostname] 0-管理：无法找到朋友：nnfs02 [2015-10-21 08：07：35.482560] D [common-utils.c：2931：gf_is_local_addr] 0-管理：192.168.97.51 [2015-10-21 08：07：35.482763] D [common-utils.c：2931：gf_is_local_addr] 0-管理：192.168.97.51 [2015-10-21 08：07：35.482877] D [common-utils.c：2931：gf_is_local_addr] 0-管理：192.168.97.51 [2015-10-21 08：07：35.482983] D [common-utils.c：2947：gf_is_local_addr] 0-管理：nnfs02 不是本地的 [2015-10-21 08：07：35.482997] D [glusterd-utils.c：5611：glusterd_hostname_to_uuid] 0-管理：返回-1 [2015-10-21 08：07：35.483007] D [glusterd-utils.c：685：glusterd_resolve_brick] 0-管理：返回 -1 [2015-10-21 08：07：35.483016] E [glusterd-store.c：2632：glusterd_resolve_all_bricks] 0-glusterd：解析恢复中的砖块失败 [2015-10-21 08：07：35.483026] D [glusterd-store.c：2639：glusterd_resolve_all_bricks] 0-：返回 -1 [2015-10-21 08：07：35.483035] D [glusterd-store.c：2672：glusterd_restore] 0-：返回 -1 [2015-10-21 08:07:35.483048] E [xlator.c:403:xlator_init] 0-管理：初始化卷“管理”失败，请再次检查您的 volfile [2015-10-21 08：07：35.483059] E [graph.c：307：glusterfs_graph_init] 0-管理：初始化转换器失败 [2015-10-21 08：07：35.483069] E [graph.c：502：glusterfs_graph_activate] 0-graph：初始化失败 [2015-10-21 08：07：35.483552] W [glusterfsd.c：1095：cleanup_and_exit]（-->glusterd（main + 0x503）[0x7ff9d1c13a93]（-->glusterd（glusterfs_volumes_init + 0xd8）[0x7ff9d1c169e8]（-->glusterd（glusterfs_process_volfp + 0x106）[0x7ff9d1c168c6]）））0-：收到 signum（0），正在关闭 [2015-10-21 08：07：35.483570] D [glusterfsd-mgmt.c：2025：glusterfs_mgmt_pmap_signout] 0-fsd-mgmt：未提供 portmapper signout 参数
死砖仍写在卷配置文件中，例如：
[root@nNFS03 电子书]# cat /var/lib/glusterd/vols/ebooks/info 类型=2 计数=3 状态=1 子计数=3 条纹数=1 副本数=3 版本=22 传输类型=0 卷 ID=4ab9ebcb-2172-4027-8760-XXXXXXXX 用户名=537ddb35-089c-44fe-922e-XXXXXXXX 密码=6249f135-17ea-453b-a4b3-XXXXXXXX op-版本=2 客户端操作版本=2 performance.io-线程数=32 性能.缓存大小=256MB 性能.缓存刷新超时=4 性能.缓存最大文件大小=2MB nfs.禁用=开启 诊断程序.客户端日志级别=警告 诊断.brick-日志级别 = 警告 nfs.addr-namelookup=off nfs.enable-ino32=on 砖-0 = nnfs02:-数据-gluster-电子书 砖-1 = nnfs03:-数据-gluster-电子书 砖-2 = nnfs01:-数据-gluster-电子书
总结一下：nnfs02 已死
nnfs03 是包含所有数据的实时服务器
nnfs01 是新的实时服务器，当前仅复制“头像”/“源”卷。“电子书”和“封面”也应复制。
glusterd 无法启动。请参阅附件中的调试日志。