☰

MD: 배열에서 신선하지 않은 SDG를 제거하세요! md/raid:md0: 작동 가능한 장치가 부족합니다(3/7에 실패).

tag-icon • tag-icon linux raid mdadm rescue superblock
MD: 배열에서 신선하지 않은 SDG를 제거하세요! md/raid:md0: 작동 가능한 장치가 부족합니다(3/7에 실패).

오늘은 재난을 겪고 있습니다.

하드 드라이브가 7개 있는 RAID 6이 있는데 어제 디스크 중 하나에 오류가 발생했습니다. 디스크를 교체하고 밤새 재구축한 후 두 번째 HDD가 RAID에서 벗어났음을 알게 되었습니다...
그래서 오늘 외장 드라이브에 파일을 백업하기 시작했지만 원인을 확인하고 Webmins RAID에서 복사를 하다가 복사가 중지되었습니다. sdg가 "닫혀있다"는 것을 알 수 있습니다.
서버를 종료하고 하드웨어를 확인한 결과 하드 드라이브에 대한 백플레인이 누락된 것을 발견했습니다...

수리 후 이제 모든 드라이브가 복원되지만 RAID 6은 더 이상 부팅되지 않습니다. :-/

dmesg shows me:
md: kicking non-fresh sdg from array!
md: kicking non-fresh sdf from array!
md: kicking non-fresh sde from array!
md/raid:md0: not enough operational devices (3/7 failed)
...
and after many
md0: ADD_NEW_DISK not supported
I can read this:
EXT4-fs (md0): unable to read superblock

sudo mdadm --examinesdg, sdf 및 sde, e 및 f가 " "을 표시하는지 확인했는데 , State clean수리 전에 "닫힌" sdg에 " Active"이 표시됩니다. 따라서 장치 7개 중 6개가 "clean"(sdg 제외)으로 표시됩니다.
모든 장치의 출력 목록은 다음과 같습니다.

Disk sdb
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 9180f101:1dacdd9e:4adae9c4:fbeb2552

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 38019182 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdc
/dev/sdc:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 889c6877:5ee5c647:eebd209c:d9c6abcb

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : a71ea53d - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdd
/dev/sdd:
   MBR Magic : aa55
Partition[0] :   3907026944 sectors at         2048 (type fd)
Disk sde
/dev/sde:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 34198042:3d4c802b:36727b02:fdf65808

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:05:00 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : f8fb6b18 - correct
         Events : 256494

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAAA.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdf
/dev/sdf:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : b2e8d640:1f21336f:88d823fe:66ef7be7

Internal Bitmap : 8 sectors from superblock
    Update Time : Wed Mar 23 14:46:56 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 15cd05bb - correct
         Events : 238681

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdg
/dev/sdg:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : active
    Device UUID : 2bc06e22:49aa73e2:3cf7eb79:55df1180

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 17:57:06 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 7f0ddb2a - correct
         Events : 256372

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdh
/dev/sdh:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 7af89a18:52ef08ae:dec5ad7b:75626355

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 17d7b107 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)

다음 명령으로 RAID를 시작하려고 했습니다.

mdadm --run /dev/md0

그리고 얻다:

mdadm: failed to start array /dev/md0: Input/output error

하지만 이 Webmin으로 시작했을 때 다음과 같은 결과가 나타났습니다.

/dev/md0    active, FAILED, Not Started     RAID6 (Dual Distributed Parity)     7.27 TiB

9TB는 7.27입니다.

데이터 손실 없이 RAID를 다시 작동시킬 수 있는 방법에 대한 아이디어가 있습니까?

장치를 다시 RAID에 추가할 수 있다는 내용을 읽었지만 확실하지 않아 먼저 물어보고 싶습니다.

어떤 도움이라도 대단히 감사하겠습니다!

고쳐 쓰다:장치 중 하나가 /dev/sdd1이고 /sdd가 아니라는 것을 잊어버렸습니다!
여기에서 확인하세요:

/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906767872 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=5120 sectors
          State : clean
    Device UUID : d8df004e:44ee4060:ba4d2c22:e7e6bdcb

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 1c4e98a4 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)

여기있어 mdadm -D /dev/md0:

/dev/md0:
           Version : 1.2
        Raid Level : raid0
     Total Devices : 7
       Persistence : Superblock is persistent

             State : inactive
   Working Devices : 7

              Name : N5550:0  (local to host N5550)
              UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
            Events : 256494

    Number   Major   Minor   RaidDevice

       -       8       64        -        /dev/sde
       -       8       32        -        /dev/sdc
       -       8      112        -        /dev/sdh
       -       8       80        -        /dev/sdf
       -       8       16        -        /dev/sdb
       -       8       49        -        /dev/sdd1
       -       8       96        -        /dev/sdg

답변1

많은 드라이브가 어레이에서 제거되는 것 같습니까? 이러한 드라이브에 읽기 오류( smartctl -a재할당/정지/수정할 수 없는 섹터 확인 등)가 있는 경우 ddrescue다른 유형의 데이터 복구를 시도하기 전에 해당 드라이브를 새 드라이브로 전송해야 합니다.

이는 7개 드라이브 RAID-6이므로 이 어레이를 실행하려면 최소 5개 드라이브가 필요합니다. 현재는 3개(sdb, sdc, sdh)만 있어서 작동하지 않습니다...

각 드라이브를 확인하면 1개의 드라이브가 완전히 누락되었으며(출력에 전혀 포함되지 않음), 1개는 매우 오래되었고(sdf), 2개는 약간 오래되었으며(sdg, sde), 3개의 드라이브만 최신임을 알 수 있습니다 Update Time.Events

/dev/sdf: Update Time : Wed Mar 23 14:46:56 2022 Events: 238681
/dev/sdg: Update Time : Sat Mar 26 17:57:06 2022 Events: 256372
/dev/sde: Update Time : Sat Mar 26 18:05:00 2022 Events: 256494
/dev/sdb: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdc: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdh: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508

이 경우 기회를 잡고 mdadm --assemble --force("새롭지 않음" 이벤트 카운터 무시) 매우 오래되고 누락된 드라이브를 무시하고 가장 좋은 5개의 드라이브만 사용할 수 있습니다. 그렇지 않으면mdadm --만들기missing두 개의 드라이브를 장착하는 옵션도 있습니다.

따라서 이 조립 시도에서는 sdf 사용을 피해야 합니다. 드라이브가 오래될수록 파일 시스템 불일치 및 데이터 손상이 더 많이 발생할 가능성이 높습니다. 이는 다른 드라이브에 데이터가 전혀 없는 일부 섹터가 있는 경우(읽기 오류) 최후의 수단일 뿐입니다.

가능하다면 mdadm 실험을 실행하세요.기록 중 복사 덮어쓰기.

행운을 빌어요.

관련 정보