#hardware #server #soft #RAID #home #log #Linux
Ну, понеслась! Едем на RAID 6.
# cat /proc/mdstat | fgrep md127 -A3
md127 : active raid6 sde1[5] sdb1[4] sdi1[0] sdj1[1] sdk1[3]
19531560960 blocks super 1.2 level 6, 512k chunk, algorithm 18 [5/4] [UUU_U]
[>....................] reshape = 0.0% (4549920/9765780480) finish=3157.7min speed=51520K/sec
bitmap: 0/73 pages [0KB], 65536KB chunk
Медленно качусь по наклонной вверх.
Только вот одно мне непонятно. Если грепнуть из mdadm --detail самое важное, то похоже на то, что один из дисков просто встанет как запасной на подмену первого вышедшего из строя, а не будет активным:
https://cp.skobk.in/2172/fb3a17e442805eec
У меня тут пока такие варианты в голове:
1. Один диск используется временно из-за смены формата на RAID 6 и когда закончится ребилд он тоже станет активным (не очень похоже на это).
2. Что-то недонастроено и после ребилда надо будет ещё дополнительно сказать рейду, что ему надо расшириться до 30 ТБ.
Я склоняюсь ко второму варианту, но пока беглый гуглинг ничего прямо сильно полезного не дал.
P.S. Если вдруг кто-то не в контексте, то мой план был сделать одновременно перевод RAID 5 в RAID 6 и расширить его с 20 ТБ (3x10 ТБ) до 30 ТБ (5x10 ТБ) добавлением двух дисков.
@radjah Я думаю, ещё вырастет.
Это же ребилд RAID 5 из трёх дисков по 10 ТБ на RAID 6 из пяти дисков по 10 ТБ.
@radjah
Уточни, что именно ты имеешь в виду?
@radjah Остальное население сервера - это в основном я.
Остальных я просто предупредил, что он будет недоступен какое-то время.
Можно было, в принципе, не предупреждать. Но я решил ускорить процесс и погасить всё, что на этот рейд ходит.
В целом, думаю, можно было бы не сильно увеличивать срок погасив только Transmission (~800 торрентов), т.к. медиасервер и прочие не постоянно дёргают диск. А базы данных на SSD отдельном вертятся.
Но я решил, что поживу без сериалов и анимы пару дней.
Величайшие жертвы во имя производительности!
@radjah
Да. И с приличным кэшем он радикально бы время не менял. В логи срёт только когда кто-то что-то делает с ним, и то немного.
А вот Transmission, который по мелким кусочкам дёргает в тыще мест - это беда. Там почти гигабайтный файловый кеш настроен, но он больше всего влияет на скачивание, а там сидирование.
Впрочем, я не проверял, конечно, на степень влияния.
Помню что когда собирал RAID 5 - уже во время сборки массива на него всё переливал и юзал медиасервер.
@radjah
Да, я в своё время у себя на сервере подобную проблему решал.
Спасло то, что во-первых не малина, ну и твик файлового кэша вместе с переездом на RAID, который распределил нагрузку по дискам ровнее.
У меня, кстати, поверх этого рейда ещё и LUKS 😆
@radjah
Ну, тут все уже склонировано.
В целом можно прямо сейчас их выдернуть - нифига не случится. Два из них, скорее всего, вообще спят.
@skobkin
Looks legit
@radjah
> По ману "reshaping" - это как раз и есть изменение размера
Ну чот да, я пропустил этот момент.
Но, опять же, есть подозрение, что мне к моему:
--grow /dev/x --level=6 --raid-devices=5
Надо было ещё --array-size=max добавить.
Ладно, посмотрим что будет через пару дней когда оно закончится.
> Ну в первом сообщение у тебя сразу было [UUU_U]
Ну да. Я практически сразу после того постика и посмотрел на размер.
@radjah Там, кстати, ещё в LEVEL CHANGES написано, что смена уровня - тоже решейпинг.
> reshaping a 3-drive RAID5 into a 4-drive RAID6
Ну, по крайней мере это логично звучит там, где формат контрольных сумм меняется.
@radjah
У меня и так grow. Но без --array-size был.
Или я не понял, что ты хотел сказать.
@radjah
> У тебя там один большой раздел на 20ТБ был?
Да.
@radjah
MDRAID > LUKS > EXT4
Наращу первый - дальше особо не должно быть проблем: LUKS в принципе пофигу, а EXT4 растянуть несложно.
@radjah Полтора часа, чо.
@radjah Уиии!
Оно закончилось и всё сделало само без лишних пинков:
> Raid Level : raid6
> Array Size : 29297341440 (27940.12 GiB 30000.48 GB)
> Raid Devices : 5
> Total Devices : 5
> State : clean
> Layout : left-symmetric
☺️
Как-то так выглядит временный бекапный сторедж из трёх дисков на случай если во время переезда с RAID 5 на RAID 6 что-то пойдёт не так.
Выглядит достаточно надёжно по-моему.