나는 꽤 거친 모양의 Personal Raid 5 배열을 가지고 있습니다. 실패한 어레이에는 시간이 지남에 따라 내 n-2 데스크탑에 내장된 8개의 2TB 드라이브가 있었습니다.
어레이는 내부 컴퓨터인 내 n-2 데스크탑에서 가져옵니다. 스토리지 요구 사항이 증가함에 따라 여기에 8개의 2TB 드라이브를 넣었습니다. 프로세서가 더 작고 메모리도 더 적습니다. 팀이 다운그레이드된 상태라는 것을 알게 된 후, 다시 되돌리려고 여러 번 시도했습니다. 늦은 밤이라 시간과 현금이 부족했습니다.
이제 다른 컴퓨터에 8개의 드라이브가 있습니다. 그러나 어레이가 활성화되지 않습니다. 조립해 보았습니다.
시도하기 전에 무엇을 시도해야 합니까? --assemble --force또는 --create --assume-clean?
배열에 대한 세부정보는 다음과 같습니다.
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md6 : inactive sde[0](S)
1953514496 blocks
md1 : inactive sdf[0](S) sdl[5](S) sdg[1](S) sdh[2](S) sdi[4](S)
9766917560 blocks super 1.2
unused devices: <none>
$ sudo mdadm --examine /dev/sd[e-l] | egrep 'Event|/dev/sd'
/dev/sde:
Events : 2266749
/dev/sdf:
Events : 171
/dev/sdg:
Events : 171
/dev/sdh:
Events : 171
/dev/sdi:
Events : 27
/dev/sdj:
Events : 27
/dev/sdk:
Events : 31
/dev/sdl:
Events : 31
$ sudo mdadm --examine /dev/sd[e-l] | egrep 'Array'
Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAA.... ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAAAAA ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAAAAA ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAA.A. ('A' == active, '.' == missing)
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Array State : AAAA.A. ('A' == active, '.' == missing)
$ dmesg
...
[ 33.532447] scsi7 : rr62x
[ 33.532641] scsi 7:0:0:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532699] scsi 7:0:1:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532751] scsi 7:0:2:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532823] scsi 7:0:3:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532871] scsi 7:0:4:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532919] scsi 7:0:5:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.532978] scsi 7:0:6:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
[ 33.533051] scsi 7:0:7:0: Direct-Access ATA WDC WD20EARX-00P 51.0 PQ: 0 ANSI: 5
...
[ 33.535178] sdg: unknown partition table
...
[ 33.535928] sdh: unknown partition table
[ 33.536042] sdf: unknown partition table
...
[ 33.536481] sdj: unknown partition table
[ 33.536568] sdk: unknown partition table
[ 33.536624] sd 7:0:5:0: [sdj] Attached SCSI disk
[ 33.536663] sdl: unknown partition table
[ 33.536775] sd 7:0:7:0: [sdl] Attached SCSI disk
[ 33.536834] sd 7:0:6:0: [sdk] Attached SCSI disk
[ 33.537042] sdi: unknown partition table
[ 33.537190] sd 7:0:4:0: [sdi] Attached SCSI disk
[ 33.573418] sde: sde1 sde2 < sde5 >
[ 33.573753] sd 7:0:0:0: [sde] Attached SCSI disk
[ 33.609751] md: bind<sdi>
[ 33.612501] md: bind<sdh>
[ 33.615419] md: bind<sdg>
...
[ 34.032720] md: bind<sde>
...
[ 39.140891] md: bind<sdl>
...
[ 64.651514] systemd-udevd[484]: '/sbin/mdadm --incremental /dev/sdk' [2730] terminated by signal 9 (Killed)
[ 64.651589] systemd-udevd[487]: '/sbin/mdadm --incremental /dev/sdj' [2466] terminated by signal 9 (Killed)
...
[ 65.185503] systemd-udevd[488]: '/sbin/mdadm --incremental /dev/sdf' [2470] terminated by signal 9 (Killed)
...
$ sudo mdadm --examine /dev/sd[e-l]
/dev/sde:
Version : 0.90.00
UUID : d7b20e6c:1b319034:e5fb2d97:a1144fba
Creation Time : Sun Apr 29 22:14:28 2012
Raid Level : raid5
Used Dev Size : 1953514496 (1863.02 GiB 2000.40 GB)
Array Size : 13674601472 (13041.12 GiB 14002.79 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 1
Update Time : Fri Dec 27 15:32:54 2013
State : clean
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0
Checksum : 3a37d47e - correct
Events : 2266749
Layout : left-symmetric
Chunk Size : 512K
Number Major Minor RaidDevice State
this 0 8 0 0 active sync /dev/sda
0 0 8 0 0 active sync /dev/sda
1 1 8 16 1 active sync /dev/sdb
2 2 8 32 2 active sync /dev/sdc
3 3 8 48 3 active sync /dev/sdd
4 4 8 64 4 active sync /dev/sde
5 5 8 80 5 active sync /dev/sdf
6 6 8 96 6 active sync /dev/sdg
7 7 8 112 7 active sync /dev/sdh
/dev/sdf:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 9d365d82:23f568c5:46534949:3b2dff9f
Update Time : Sat Mar 29 08:00:25 2014
Checksum : 86b60aea - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdg:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : a21fde1e:07530215:0f854883:bc6484d6
Update Time : Sat Mar 29 08:00:25 2014
Checksum : e354bb1d - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdh:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : f0446a88:6a5d5026:37375e86:1bb5c6cf
Update Time : Sat Mar 29 08:00:25 2014
Checksum : 5a86ed57 - correct
Events : 171
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAA.... ('A' == active, '.' == missing)
/dev/sdi:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : active
Device UUID : ec21c8aa:75a114e6:5cdb77ea:543c438b
Update Time : Sun Jan 19 21:53:52 2014
Checksum : 5bef1322 - correct
Events : 27
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdj:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : active
Device UUID : db1f64fd:5c0b94e8:6f717f78:c2348f0b
Update Time : Sun Jan 19 21:53:52 2014
Checksum : bf5e097a - correct
Events : 27
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 6
Array State : AAAAAAA ('A' == active, '.' == missing)
/dev/sdk:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 5bf385b8:5747c231:196e1bd5:286bb1ef
Update Time : Sun Jan 19 21:58:51 2014
Checksum : 46e4d24 - correct
Events : 31
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : AAAA.A. ('A' == active, '.' == missing)
/dev/sdl:
Version : 1.2
Feature Map : 0x0
Array UUID : 5e410da5:ef0f83c4:aa4b35d6:28916966
Name : mjf-sysa:1
Creation Time : Fri Dec 27 15:53:16 2013
Raid Level : raid5
Raid Devices : 7
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 11720297472 (11177.35 GiB 12001.58 GB)
Used Dev Size : 3906765824 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : a6a63833:7302c477:58127a50:b4204201
Update Time : Sun Jan 19 21:58:51 2014
Checksum : 52121556 - correct
Events : 31
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 5
Array State : AAAA.A. ('A' == active, '.' == missing)
답변1
--createRAID 복구에서는 자신이 수행 중인 작업을 실제로 알지 않는 한 절대로 이 작업을 수행해서는 안 됩니다. 그러나 결과는 해당 작업을 수행한 것처럼 보입니다 --create.
귀하의 RAID는 귀하가 질문에 언급한 대로 8개의 디스크로 구성된 /dev/sdeRAID5로 생성되었습니다 . Sun Apr 29 22:14:28 2012이 RAID는 에 마지막으로 업데이트되었습니다 Fri Dec 27 15:32:54 2013.
그러나 다른 디스크는 RAID5라고 주장하며 생성되고 Fri Dec 27 15:53:16 20137개의 디스크로 구성됩니다. 따라서 금요일에 새 RAID를 생성했다면 복구를 위해 이를 수행했다면 아마도 /dev/sde8디스크 RAID 메타데이터에 표시된 것과 동일한 설정(잘못된 메타데이터 버전, 오프셋 수량, 레이아웃)을 사용하지 않았기 때문에 잘못했을 것입니다. 등.).
--create그러니까 2013년에 이런 일을 하신 것 같은데요 . 그 시점부터는 7개의 디스크 RAID5로 사용됩니다.
이제 문제는 데이터가 어디에 있습니까? 실제로 7개의 디스크 RAID에 있고 잠시 후에 손실됩니까? 아니면 생성한 다른 RAID 위에 8개의 디스크 RAID가 있습니까? 이벤트 수로 판단하면 8개 디스크에서 발생할 가능성이 더 높습니다.
데이터가 8개의 디스크에 있는 경우(즉, 2013년 12월에 손실된 경우) 복구가 불가능할 수 있습니다. 오류 발생 후 복구는 매우 어렵습니다 --create. 특히 새로운/잘못된 RAID가 동기화되도록 허용된 경우 더욱 그렇습니다. 하지만 동시에 온갖 종류의 일이 일어나고 있습니다...그리고 이는 일부 디스크에 결함이 있을 수 있다는 점조차 고려하지 않은 것입니다.
귀하의 상황이 혼란스러워서 어떤 조치를 취해야 할지 제안할 수 없습니다...
무슨 일을 하든 이 디스크에 다시 쓰지 마세요. 이는 어셈블리 없음, 동기화 없음, fsck 없음, 설치 없음을 의미합니다.
꼭 필요한 경우 다음 방법을 사용하세요.https://raid.wiki.kernel.org/index.php/Recovering_a_failed_software_RAID#Making_the_harddisks_read-only_using_an_overlay_file
ddrescue하지만 먼저 위의 방법에서는 디스크에 결함이 없다고 가정하므로 디스크 8개(또는 4TB 디스크 수의 절반)로 구성된 또 다른 세트와 모든 디스크를 구입합니다 .
답변2
"레이드가 다운그레이드된 상태라는 걸 알고 몇 번이나 다시 되돌리려고 노력했다"고 하더군요.
정확히 무엇을 했나요? 성능이 저하된 어레이가 발견되면 장애가 발생한 디스크를 교체해야 합니다. 이 작업을 수행하지 못하고 또 다른 드라이브 오류가 발생하면 RAID가 사라진 것입니다! RAID5는 하나의 드라이브 장애만 허용할 수 있습니다.
RAID5에 8개의 2TB 드라이브가 있다고 하셨습니다. /proc/mdstat에는 6개만 포함되어 있습니다. 나머지 두 개의 디스크는 어디에 있습니까? RAID5를 시작하려면 최소 7개가 필요합니다.
또한 두 개의 RAID 장치 md1 및 md6이 있습니다. sde도 md1에 속하면 안 되나요? 그러나 md1에 sde가 있어도 8개 드라이브로 RAID5를 부팅할 드라이브가 없습니다...
다음에 기억하세요: "RAID 교체에는 백업이 없습니다."