Follow

Ну, понеслась! Едем на RAID 6.

# cat /proc/mdstat | fgrep md127 -A3
md127 : active raid6 sde1[5] sdb1[4] sdi1[0] sdj1[1] sdk1[3]
19531560960 blocks super 1.2 level 6, 512k chunk, algorithm 18 [5/4] [UUU_U]
[>....................] reshape = 0.0% (4549920/9765780480) finish=3157.7min speed=51520K/sec
bitmap: 0/73 pages [0KB], 65536KB chunk

· · Web · 4 · 0 · 0

Как-то так выглядит временный бекапный сторедж из трёх дисков на случай если во время переезда с RAID 5 на RAID 6 что-то пойдёт не так.

Выглядит достаточно надёжно по-моему.

Медленно качусь по наклонной вверх.

Только вот одно мне непонятно. Если грепнуть из mdadm --detail самое важное, то похоже на то, что один из дисков просто встанет как запасной на подмену первого вышедшего из строя, а не будет активным:

cp.skobk.in/2172/fb3a17e442805

У меня тут пока такие варианты в голове:

1. Один диск используется временно из-за смены формата на RAID 6 и когда закончится ребилд он тоже станет активным (не очень похоже на это).
2. Что-то недонастроено и после ребилда надо будет ещё дополнительно сказать рейду, что ему надо расшириться до 30 ТБ.

Я склоняюсь ко второму варианту, но пока беглый гуглинг ничего прямо сильно полезного не дал.

P.S. Если вдруг кто-то не в контексте, то мой план был сделать одновременно перевод RAID 5 в RAID 6 и расширить его с 20 ТБ (3x10 ТБ) до 30 ТБ (5x10 ТБ) добавлением двух дисков.

@radjah Я думаю, ещё вырастет.
Это же ребилд RAID 5 из трёх дисков по 10 ТБ на RAID 6 из пяти дисков по 10 ТБ.

@skobkin А по IO не сильно жопа, или у тебя не критично?

@radjah
Уточни, что именно ты имеешь в виду?

@skobkin Ну дисковая подсистема сейчас должна быть хорошо так нагружена. На остальном населении сервера это сильно сказывается?

@radjah Остальное население сервера - это в основном я.
Остальных я просто предупредил, что он будет недоступен какое-то время.
Можно было, в принципе, не предупреждать. Но я решил ускорить процесс и погасить всё, что на этот рейд ходит.

В целом, думаю, можно было бы не сильно увеличивать срок погасив только Transmission (~800 торрентов), т.к. медиасервер и прочие не постоянно дёргают диск. А базы данных на SSD отдельном вертятся.

Но я решил, что поживу без сериалов и анимы пару дней.

Величайшие жертвы во имя производительности!

@skobkin Медиасервер линейно же читает и базу по идее по inotify обновляет. Хотя может в логи срать, да.

@radjah
Да. И с приличным кэшем он радикально бы время не менял. В логи срёт только когда кто-то что-то делает с ним, и то немного.
А вот Transmission, который по мелким кусочкам дёргает в тыще мест - это беда. Там почти гигабайтный файловый кеш настроен, но он больше всего влияет на скачивание, а там сидирование.
Впрочем, я не проверял, конечно, на степень влияния.

Помню что когда собирал RAID 5 - уже во время сборки массива на него всё переливал и юзал медиасервер.

@skobkin Про трансмиссию я специально не писал, потому что у меня 4-я малина в качестве примера отлипания дисковой системы после выключения сервиса. :)

@radjah
Да, я в своё время у себя на сервере подобную проблему решал.
Спасло то, что во-первых не малина, ну и твик файлового кэша вместе с переездом на RAID, который распределил нагрузку по дискам ровнее.
У меня, кстати, поверх этого рейда ещё и LUKS 😆

@skobkin Тю! Я когда хард один клонировал через eSATA, он у меня через два переходника и кабель был подключен.
Так-то я на него дышать боялся. :)

@radjah
Ну, тут все уже склонировано.
В целом можно прямо сейчас их выдернуть - нифига не случится. Два из них, скорее всего, вообще спят.

@skobkin
Сервер @uu очень похоже выглядит

@drq @uu
Ну, мой обычно закрыт. Да и постоянные диски там с обратной стороны в специальных корзинах рядами сидят.
Или ты про развал на колонке, а про корпус-куб?

@drq @uu
Это на пару дней только :)
Правда, вот развал во всей окружающей комнате - это надолго 😄

@skobkin По ману "reshaping" - это как раз и есть изменение размера. У тебя там один большой раздел на 20ТБ был?

Ну в первом сообщение у тебя сразу было [UUU_U]

@radjah
> По ману "reshaping" - это как раз и есть изменение размера

Ну чот да, я пропустил этот момент.
Но, опять же, есть подозрение, что мне к моему:
--grow /dev/x --level=6 --raid-devices=5

Надо было ещё --array-size=max добавить.
Ладно, посмотрим что будет через пару дней когда оно закончится.

> Ну в первом сообщение у тебя сразу было [UUU_U]

Ну да. Я практически сразу после того постика и посмотрел на размер.

@radjah Там, кстати, ещё в LEVEL CHANGES написано, что смена уровня - тоже решейпинг.
> reshaping a 3-drive RAID5 into a 4-drive RAID6

Ну, по крайней мере это логично звучит там, где формат контрольных сумм меняется.

@skobkin Я маны погуглил по mdadm. Там везде пишут, что после такого изменения надо grow делать.

> Надо было ещё --array-size=max добавить.

Это сразу grow делает?

@radjah
У меня и так grow. Но без --array-size был.
Или я не понял, что ты хотел сказать.

@radjah
> У тебя там один большой раздел на 20ТБ был?

Да.

@radjah
MDRAID > LUKS > EXT4
Наращу первый - дальше особо не должно быть проблем: LUKS в принципе пофигу, а EXT4 растянуть несложно.

@radjah Уиии!
Оно закончилось и всё сделало само без лишних пинков:

> Raid Level : raid6
> Array Size : 29297341440 (27940.12 GiB 30000.48 GB)
> Raid Devices : 5
> Total Devices : 5
> State : clean
> Layout : left-symmetric

☺️

Sign in to participate in the conversation
Mastodon

lor.sh is yet another mastodon instance.