Как правильно создать раздел 15ТВ [Решено или нет))]

[Cool_Lamer]

Имеем 8 дисков по 2ТВ собранных в аппаратный стрип. Чистыми имеем 14,6ТВ. На раздел пишутся видео-потоки, когда запись достигает около 2ТВ, резко падает скорость чтения в dmesg  валится I/O error (что-то вроде Buffer I/O error on device sdf, logical block 0).
И после ребута система сваливается в аварийный режим, оно то и понятно раздел не монтируется.
fdisk девайс видит, а по "бывшему разделу выдаёт

Код Выделить Развернуть

# fdisk /dev/sdf1

Welcome to fdisk (util-linux 2.25.2).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

/dev/sdf1: device contains a valid 'xfs' signature, it's strongly recommended to wipe the device by command wipefs(8) if this setup is unexpected to avoid possible collisions.

Device does not contain a recognized partition table.
The size of this disk is 14,6 TiB (15991990894080 bytes). DOS partition table format can not be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format (GPT).

Created a new DOS disklabel with disk identifier 0xacdfe55c.

Command (m for help): m

При этом

Код Выделить Развернуть

# fdisk -l /dev/sdf

Disk /dev/sdf: 14,6 TiB, 15991991959552 bytes, 31234359296 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 2D04812C-5E88-4C79-8F1A-1CFA6F73E589

Device     Start         End     Sectors  Size Type
/dev/sdf1   2048 31234359262 31234357215 14,6T Linux filesystem

Как и чем правильно создать раздел (я так понимаю в gpt и xfs)? Гугление толком ни к чему не привело, описывают разные методы, но на каком-то шаге всегда происходит затык. Если кто может, что-то дельное посоветовать, буду рад.

[oermolaev]

Как и чем правильно создать раздел

fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.

[yoric]

Если не трудно, это что-то вроде LVM, но попроще? Вкратце.

[Cool_Lamer]

А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.

Необходимость в раиде - увеличение скорости чтения/записи. Если бы мне нужен был последовательный переход, то я бы взял 4диска по 4ТБ (или какой там нынче максимум), а не 8 по2. Потоков записи не 2-3, а 50-60 (3-4Мбс каждый), примерно столько же чтение, поэтому mhddfs не в этом случае.

И я бы использовал программный райд вместо аппаратного.

Чем он лучше в данном случае? Ведь используя процессор контроллера при аппаратном стрипе, я берегу ресурсы процессора системы, вместе с тем пропускную способность шины ahci.

[oermolaev]

Чем он лучше

Он ближе к линуксу. Подробности "кто кого" в сети.

[Cool_Lamer]

Он ближе к линуксу. Подробности "кто кого" в сети.

Я обосновал своё решение, вы в поддержку своего отправили в гугл. Спасибо, я вас понял.

Кто что ещё может сказать?

[sidbar]

Cool_Lamer, а пробовали gdisk?

[Cool_Lamer]

Cool_Lamer, а пробовали gdisk?

Качнул gparted-live-usb, загрузился не неё. Снёс раздел, создал gpt таблицу, создал/форматнул в xfs раздел. Пробую копировать/писать на диск.

Код Выделить Развернуть

dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000
Скорость, глаз не нарадуется.
Пробуем монтировать, в ответ получаем

Код Выделить Развернуть

# mount /dev/sdf1 /mnt/nys1
mount: wrong fs type, bad option, bad superblock on /dev/sdf1,
       missing codepage or helper program, or other error

       In some cases useful info is found in syslog - try
       dmesg | tail or so.

Почему слетает фс, нифига не пойму.

[qupl]

Cool_Lamer, явно ФС указать ?

Код Выделить Развернуть

mount -t xfs /dev/sdf1 /mnt/nys1
Вывод списка дисков/разделов можно посмотреть?

[ihammers]

fdisk не поддерживает GPT, используйте parted.

Смотря какая версия.

fdisk  is  a  dialog-driven program for creation and manipulation of partition tables.  It understands GPT, MBR, Sun, SGI and BSD partition tables.

Посмотрите в сторону связки GPT и LVM.

[oermolaev]

ihammers, да, подтверждаю вашу правоту, зачеркнул своё умозаключение.

[alsoijw]

Пробуем монтировать, в ответ получаем

А файловая система создана? А то

Код Выделить Развернуть

dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000

затирает все данные.

[Cool_Lamer]

затирает все данные.

Да, уже осознал, спасибо. Форматнул в ext4, тест записи прошёл на ура (700-1400МБс). А вот с чтением беда, всего 5МБс. Копаю дальше.

[hoolyman]

fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.

Вы сами пробовали пользоваться mhddfs, прежде чем советовать? Очень нестабильная штука, можно проблем поиметь (почитайте тут комменты).
В общем-то вся суть в одном:

Открыть содержимое (спойлер)

Отлично! Берем статью двухлетней давности, тупо копипастим, отдаем в продакшен, и даже не удосуживаемся заглянуть на страничку разработчика. Еще и хабраюзерам советуем.
А между тем, там написано:

PLEASE DON'T USE THIS

mhddfs is buggy, unsupported, and has some major security issues.

mergerfs provides more functionality in general and is actively maintained.

[свернуть]

У меня 2 сервера на дебиане, с прокмоксом. На них 3 контейнера, каждый пишет видео (видеонаблюдение) через нфс. И я тоже думал, как собрать 6 винчей по 2 Тб в одну точку монтирования. Попробовал этот самый mhddfs, какое-то время оно поработало, затем начались проблемы с записью (пишется 40-50 потоков одновременно).
В общем есть aufs. Делает тоже самое, но работает как задумано. Была только одна заморочка, из-за которой пришлось noauto в фстаб писать. Иногда, при загрузке, оно монтируется раньше, чем разделы винчей. Особо разбираться не стал, в rc.local написал mount /nfs/data0 и всё стало хорошо. Типа костыль, но работает.
В общем годная штука, попробуйте.

На всякий случай пример fstab:

Открыть содержимое (спойлер)

#Data0
UUID="5b4cf7bf-fabb-4d12-a70d-1ed83bc56d06"   /mnt/data0-0   ext4    defaults,nofail 0 0
UUID="ab467233-77d9-4aaa-a43b-d8c1cb10a4d9"     /mnt/data0-1   ext4    defaults,nofail 0 0

none                                           /nfs/data0      aufs    br:/mnt/data0-0=rw:/mnt/data0-1=rw,create=mfs,sum,noauto 0 0

[свернуть]

З.Ы. Проксмокс на софтовом рейде прекрасно себя чувствует.
Я бы тоже сделал софтовый рейд, и страйп не из 8ми хардов, а 2 по 4 (если хватит скорости). Шанс, что вылетит 1 из 8 довольно высок.

[oermolaev]

[ot]hoolyman, да, я пробовал пользоваться mhddfs, но только в тестах. Был также успешный опыт объединения трёх ресурсов webdav в один с помощью этой програмы. Цитирование комментария с цитатой из несуществующего в настоящее время источника не является пруфом. mhddfs включена в репозитарии всех современных систем основанных на linux. Да, топикстартеру она не подходит, это очевидно. Но объединение восьми дисков в один страйп считаю большой ошибкой. Если потеря всех данных из-за отказа одного из винтов не критична, то зачем такие данные вообще писать? [/ot]
Cообщение объединено 22 апреля 2016, 09:16:26
Cool_Lamer, раз во главу угла ставится скорость, то есть смысл посмотреть на самую прогрессивную файловую систему zfs, которая позволяет создавать массивы разных уровней без всяких дополнительных "прослоек" типа lvm, и даже без создания таблиц разделов.
Предвосхищая вопросы пробовал ли сам, да пробовал и использую на двух рабочих машинах и на одной домашней.