Как правильно создать раздел 15ТВ [Решено или нет))]

Автор Cool_Lamer, 19 апреля 2016, 12:24:29

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Cool_Lamer

Имеем 8 дисков по 2ТВ собранных в аппаратный стрип. Чистыми имеем 14,6ТВ. На раздел пишутся видео-потоки, когда запись достигает около 2ТВ, резко падает скорость чтения в dmesg  валится I/O error (что-то вроде Buffer I/O error on device sdf, logical block 0).
И после ребута система сваливается в аварийный режим, оно то и понятно раздел не монтируется.
fdisk девайс видит, а по "бывшему разделу выдаёт
# fdisk /dev/sdf1

Welcome to fdisk (util-linux 2.25.2).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

/dev/sdf1: device contains a valid 'xfs' signature, it's strongly recommended to wipe the device by command wipefs(8) if this setup is unexpected to avoid possible collisions.

Device does not contain a recognized partition table.
The size of this disk is 14,6 TiB (15991990894080 bytes). DOS partition table format can not be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format (GPT).

Created a new DOS disklabel with disk identifier 0xacdfe55c.

Command (m for help): m

При этом
# fdisk -l /dev/sdf

Disk /dev/sdf: 14,6 TiB, 15991991959552 bytes, 31234359296 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 2D04812C-5E88-4C79-8F1A-1CFA6F73E589

Device     Start         End     Sectors  Size Type
/dev/sdf1   2048 31234359262 31234357215 14,6T Linux filesystem

Как и чем правильно создать раздел (я так понимаю в gpt и xfs)? Гугление толком ни к чему не привело, описывают разные методы, но на каком-то шаге всегда происходит затык. Если кто может, что-то дельное посоветовать, буду рад.


oermolaev

#1
Цитата: Cool_Lamer от 19 апреля 2016, 12:24:29
Как и чем правильно создать раздел
fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.

yoric

Если не трудно, это что-то вроде LVM, но попроще? Вкратце.

Cool_Lamer

Цитата: oermolaev от 19 апреля 2016, 16:27:29
А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.
Необходимость в раиде - увеличение скорости чтения/записи. Если бы мне нужен был последовательный переход, то я бы взял 4диска по 4ТБ (или какой там нынче максимум), а не 8 по2. Потоков записи не 2-3, а 50-60 (3-4Мбс каждый), примерно столько же чтение, поэтому mhddfs не в этом случае.
ЦитироватьИ я бы использовал программный райд вместо аппаратного.
Чем он лучше в данном случае? Ведь используя процессор контроллера при аппаратном стрипе, я берегу ресурсы процессора системы, вместе с тем пропускную способность шины ahci.

oermolaev

Цитата: Cool_Lamer от 19 апреля 2016, 17:51:24Чем он лучше
Он ближе к линуксу. Подробности "кто кого" в сети.

Cool_Lamer

Цитата: oermolaev от 19 апреля 2016, 19:14:59Он ближе к линуксу. Подробности "кто кого" в сети.
Я обосновал своё решение, вы в поддержку своего отправили в гугл. Спасибо, я вас понял.

Кто что ещё может сказать?

sidbar

Devuan GNU/Linux 4 Chimaera x86_64

Cool_Lamer

Цитата: sidbar от 20 апреля 2016, 19:33:35
Cool_Lamer, а пробовали gdisk?
Качнул gparted-live-usb, загрузился не неё. Снёс раздел, создал gpt таблицу, создал/форматнул в xfs раздел. Пробую копировать/писать на диск.
dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000
Скорость, глаз не нарадуется.
Пробуем монтировать, в ответ получаем
# mount /dev/sdf1 /mnt/nys1
mount: wrong fs type, bad option, bad superblock on /dev/sdf1,
       missing codepage or helper program, or other error

       In some cases useful info is found in syslog - try
       dmesg | tail or so.

Почему слетает фс, нифига не пойму.

qupl

Cool_Lamer, явно ФС указать ? mount -t xfs /dev/sdf1 /mnt/nys1
Вывод списка дисков/разделов можно посмотреть?

ihammers

Цитата: oermolaev от 19 апреля 2016, 16:27:29fdisk не поддерживает GPT, используйте parted.
Смотря какая версия.
Цитата: man fdisk версия в Jessie Debian GNU/Linuxfdisk  is  a  dialog-driven program for creation and manipulation of partition tables.  It understands GPT, MBR, Sun, SGI and BSD partition tables.

Посмотрите в сторону связки GPT и LVM.
Debian GNU/Linux Stretch, kernel 4.9.0-5-amd64,
LXQt/KDE/OpenBox AMD Phenon X4 / 16Gb RAM / ATI HD7750 Silent
_______________________________
Debian GNU/Linux Stretch, kernel 4.9.0-5-amd64, LXQt/KDE/OpenBox
Acer Aspire One 722 AMD C60 / 4Gb RAM / ATI HD6290

oermolaev

ihammers, да, подтверждаю вашу правоту, зачеркнул своё умозаключение.

alsoijw

Цитата: Cool_Lamer от 20 апреля 2016, 21:24:31Пробуем монтировать, в ответ получаем
А файловая система создана? А то
Цитата: Cool_Lamer от 20 апреля 2016, 21:24:31
dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000
затирает все данные.
Мало видеть нам начало - надо видеть и конец. Если видишь ты создание - значит где-то есть ТВОРЕЦ
Многие жалуются: геометрия в жизни не пригодилась. Ямб от хорея им приходится отличать ежедневно?

Cool_Lamer

Цитата: alsoijw от 21 апреля 2016, 10:52:59
затирает все данные.
Да, уже осознал, спасибо. Форматнул в ext4, тест записи прошёл на ура (700-1400МБс). А вот с чтением беда, всего 5МБс. Копаю дальше.

hoolyman

#13
Цитата: oermolaev от 19 апреля 2016, 16:27:29
fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.


Вы сами пробовали пользоваться mhddfs, прежде чем советовать? Очень нестабильная штука, можно проблем поиметь (почитайте тут комменты).
В общем-то вся суть в одном:
Открыть содержимое (спойлер)

Отлично! Берем статью двухлетней давности, тупо копипастим, отдаем в продакшен, и даже не удосуживаемся заглянуть на страничку разработчика. Еще и хабраюзерам советуем.
А между тем, там написано:

PLEASE DON'T USE THIS

mhddfs is buggy, unsupported, and has some major security issues.

mergerfs provides more functionality in general and is actively maintained.
[свернуть]

У меня 2 сервера на дебиане, с прокмоксом. На них 3 контейнера, каждый пишет видео (видеонаблюдение) через нфс. И я тоже думал, как собрать 6 винчей по 2 Тб в одну точку монтирования. Попробовал этот самый mhddfs, какое-то время оно поработало, затем начались проблемы с записью (пишется 40-50 потоков одновременно).
В общем есть aufs. Делает тоже самое, но работает как задумано. Была только одна заморочка, из-за которой пришлось noauto в фстаб писать. Иногда, при загрузке, оно монтируется раньше, чем разделы винчей. Особо разбираться не стал, в rc.local написал mount /nfs/data0 и всё стало хорошо. Типа костыль, но работает.
В общем годная штука, попробуйте.

На всякий случай пример fstab:
Открыть содержимое (спойлер)

#Data0
UUID="5b4cf7bf-fabb-4d12-a70d-1ed83bc56d06"   /mnt/data0-0   ext4    defaults,nofail 0 0
UUID="ab467233-77d9-4aaa-a43b-d8c1cb10a4d9"     /mnt/data0-1   ext4    defaults,nofail 0 0

none                                           /nfs/data0      aufs    br:/mnt/data0-0=rw:/mnt/data0-1=rw,create=mfs,sum,noauto 0 0
[свернуть]

З.Ы. Проксмокс на софтовом рейде прекрасно себя чувствует.
Я бы тоже сделал софтовый рейд, и страйп не из 8ми хардов, а 2 по 4 (если хватит скорости). Шанс, что вылетит 1 из 8 довольно высок.

oermolaev

#14
[ot]hoolyman, да, я пробовал пользоваться mhddfs, но только в тестах. Был также успешный опыт объединения трёх ресурсов webdav в один с помощью этой програмы. Цитирование комментария с цитатой из несуществующего в настоящее время источника не является пруфом. mhddfs включена в репозитарии всех современных систем основанных на linux. Да, топикстартеру она не подходит, это очевидно. Но объединение восьми дисков в один страйп считаю большой ошибкой. Если потеря всех данных из-за отказа одного из винтов не критична, то зачем такие данные вообще писать? [/ot]

Cообщение объединено 22 апреля 2016, 09:16:26

Cool_Lamer, раз во главу угла ставится скорость, то есть смысл посмотреть на самую прогрессивную файловую систему zfs, которая позволяет создавать массивы разных уровней без всяких дополнительных "прослоек" типа lvm, и даже без создания таблиц разделов.
Предвосхищая вопросы пробовал ли сам, да пробовал и использую на двух рабочих машинах и на одной домашней.