Автор Тема: Как правильно создать раздел 15ТВ [Решено или нет))]  (Прочитано 3616 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Cool_Lamer

  • Пользователь
  • *
  • Topic Author
  • Сообщений: 30
Имеем 8 дисков по 2ТВ собранных в аппаратный стрип. Чистыми имеем 14,6ТВ. На раздел пишутся видео-потоки, когда запись достигает около 2ТВ, резко падает скорость чтения в dmesg  валится I/O error (что-то вроде Buffer I/O error on device sdf, logical block 0).
И после ребута система сваливается в аварийный режим, оно то и понятно раздел не монтируется.
fdisk девайс видит, а по "бывшему разделу выдаёт
# fdisk /dev/sdf1

Welcome to fdisk (util-linux 2.25.2).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

/dev/sdf1: device contains a valid 'xfs' signature, it's strongly recommended to wipe the device by command wipefs(8) if this setup is unexpected to avoid possible collisions.

Device does not contain a recognized partition table.
The size of this disk is 14,6 TiB (15991990894080 bytes). DOS partition table format can not be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format (GPT).

Created a new DOS disklabel with disk identifier 0xacdfe55c.

Command (m for help): m
При этом
# fdisk -l /dev/sdf

Disk /dev/sdf: 14,6 TiB, 15991991959552 bytes, 31234359296 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 2D04812C-5E88-4C79-8F1A-1CFA6F73E589

Device     Start         End     Sectors  Size Type
/dev/sdf1   2048 31234359262 31234357215 14,6T Linux filesystem
Как и чем правильно создать раздел (я так понимаю в gpt и xfs)? Гугление толком ни к чему не привело, описывают разные методы, но на каком-то шаге всегда происходит затык. Если кто может, что-то дельное посоветовать, буду рад.

« Последнее редактирование: 23 Апрель 2016, 15:10:14 от Cool_Lamer »
 


Оффлайн oermolaev

  • Местный житель
  • ***
  • Сообщений: 296
Re: Как правильно создать раздел 15ТВ
« Ответ #1 : 19 Апрель 2016, 16:27:29 »
Как и чем правильно создать раздел
fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.
« Последнее редактирование: 21 Апрель 2016, 09:23:12 от oermolaev »
 

Оффлайн yoric

  • Старожил
  • ****
  • Сообщений: 733
  • gentoo
  • Jabber: yoric@jabber.ru
Re: Как правильно создать раздел 15ТВ
« Ответ #2 : 19 Апрель 2016, 17:37:19 »
Если не трудно, это что-то вроде LVM, но попроще? Вкратце.
 

Оффлайн Cool_Lamer

  • Пользователь
  • *
  • Topic Author
  • Сообщений: 30
Re: Как правильно создать раздел 15ТВ
« Ответ #3 : 19 Апрель 2016, 17:51:24 »
А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.
Необходимость в раиде - увеличение скорости чтения/записи. Если бы мне нужен был последовательный переход, то я бы взял 4диска по 4ТБ (или какой там нынче максимум), а не 8 по2. Потоков записи не 2-3, а 50-60 (3-4Мбс каждый), примерно столько же чтение, поэтому mhddfs не в этом случае.
Цитировать
И я бы использовал программный райд вместо аппаратного.
Чем он лучше в данном случае? Ведь используя процессор контроллера при аппаратном стрипе, я берегу ресурсы процессора системы, вместе с тем пропускную способность шины ahci.
 

Оффлайн oermolaev

  • Местный житель
  • ***
  • Сообщений: 296
Re: Как правильно создать раздел 15ТВ
« Ответ #4 : 19 Апрель 2016, 19:14:59 »
Чем он лучше
Он ближе к линуксу. Подробности "кто кого" в сети.
 

Оффлайн Cool_Lamer

  • Пользователь
  • *
  • Topic Author
  • Сообщений: 30
Re: Как правильно создать раздел 15ТВ
« Ответ #5 : 19 Апрель 2016, 19:34:14 »
Он ближе к линуксу. Подробности "кто кого" в сети.
Я обосновал своё решение, вы в поддержку своего отправили в гугл. Спасибо, я вас понял.

Кто что ещё может сказать?
 

Оффлайн sidbar

  • Старожил
  • ****
  • Сообщений: 618
  • Debian 7, lxde
Re: Как правильно создать раздел 15ТВ
« Ответ #6 : 20 Апрель 2016, 19:33:35 »
Cool_Lamer, а пробовали gdisk?
Devuan GNU/Linux 3 (beowulf) i686, LXDE
 

Оффлайн Cool_Lamer

  • Пользователь
  • *
  • Topic Author
  • Сообщений: 30
Re: Как правильно создать раздел 15ТВ
« Ответ #7 : 20 Апрель 2016, 21:24:31 »
Cool_Lamer, а пробовали gdisk?
Качнул gparted-live-usb, загрузился не неё. Снёс раздел, создал gpt таблицу, создал/форматнул в xfs раздел. Пробую копировать/писать на диск.
dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000Скорость, глаз не нарадуется.
Пробуем монтировать, в ответ получаем
# mount /dev/sdf1 /mnt/nys1
mount: wrong fs type, bad option, bad superblock on /dev/sdf1,
       missing codepage or helper program, or other error

       In some cases useful info is found in syslog - try
       dmesg | tail or so.
Почему слетает фс, нифига не пойму.
 

Оффлайн qupl

  • Главный модератор
  • Ветеран
  • *****
  • Сообщений: 5005
  • memento mori
  • Jabber: qupl@jabber.ru
Re: Как правильно создать раздел 15ТВ
« Ответ #8 : 21 Апрель 2016, 08:26:22 »
Cool_Lamer, явно ФС указать ? mount -t xfs /dev/sdf1 /mnt/nys1Вывод списка дисков/разделов можно посмотреть?

Оффлайн ihammers

  • Главный модератор
  • Ветеран
  • *****
  • Сообщений: 1742
  • Debian GNU/Linux Stretch
    • Алтайская Группа Пользователей Linux
  • Jabber: ihammers@jabber.ru
Re: Как правильно создать раздел 15ТВ
« Ответ #9 : 21 Апрель 2016, 08:54:46 »
fdisk не поддерживает GPT, используйте parted.
Смотря какая версия.
Цитата: man fdisk версия в Jessie Debian GNU/Linux
fdisk  is  a  dialog-driven program for creation and manipulation of partition tables.  It understands GPT, MBR, Sun, SGI and BSD partition tables.

Посмотрите в сторону связки GPT и LVM.
Debian GNU/Linux Stretch, kernel 4.9.0-5-amd64,
LXQt/KDE/OpenBox AMD Phenon X4 / 16Gb RAM / ATI HD7750 Silent
_______________________________
Debian GNU/Linux Stretch, kernel 4.9.0-5-amd64, LXQt/KDE/OpenBox
Acer Aspire One 722 AMD C60 / 4Gb RAM / ATI HD6290
 

Оффлайн oermolaev

  • Местный житель
  • ***
  • Сообщений: 296
Re: Как правильно создать раздел 15ТВ
« Ответ #10 : 21 Апрель 2016, 09:23:25 »
ihammers, да, подтверждаю вашу правоту, зачеркнул своё умозаключение.
 

Оффлайн alsoijw

  • Fedora 25 GNOME 3 amd64
  • Ветеран
  • *****
  • Сообщений: 1231
Re: Как правильно создать раздел 15ТВ
« Ответ #11 : 21 Апрель 2016, 10:52:59 »
Пробуем монтировать, в ответ получаем
А файловая система создана? А то
dd if=/dev/zero of=/dev/sdf1 bs=5M count=4096000
затирает все данные.
Мало видеть нам начало - надо видеть и конец. Если видишь ты создание - значит где-то есть ТВОРЕЦ
Многие жалуются: геометрия в жизни не пригодилась. Ямб от хорея им приходится отличать ежедневно?
 

Оффлайн Cool_Lamer

  • Пользователь
  • *
  • Topic Author
  • Сообщений: 30
Re: Как правильно создать раздел 15ТВ
« Ответ #12 : 21 Апрель 2016, 17:09:24 »
затирает все данные.
Да, уже осознал, спасибо. Форматнул в ext4, тест записи прошёл на ура (700-1400МБс). А вот с чтением беда, всего 5МБс. Копаю дальше.
 

Оффлайн hoolyman

  • Новичок форума
  • Сообщений: 6
  • Jabber: hoolyman@jabber.ru
Re: Как правильно создать раздел 15ТВ
« Ответ #13 : 21 Апрель 2016, 23:11:23 »
fdisk не поддерживает GPT, используйте parted.
И я бы использовал программный райд вместо аппаратного. А в вашем случае вообще не понятна необходимость в райде. Так бы и писали последовательно переходя с винта на винт. Есть такая программа mhddfs с помощью которой можно объединить все диски в один прозрачно для системы записи видео без создания райда.


Вы сами пробовали пользоваться mhddfs, прежде чем советовать? Очень нестабильная штука, можно проблем поиметь (почитайте тут комменты).
В общем-то вся суть в одном:
Spoiler: ShowHide

Отлично! Берем статью двухлетней давности, тупо копипастим, отдаем в продакшен, и даже не удосуживаемся заглянуть на страничку разработчика. Еще и хабраюзерам советуем.
А между тем, там написано:

PLEASE DON'T USE THIS

mhddfs is buggy, unsupported, and has some major security issues.

mergerfs provides more functionality in general and is actively maintained.


У меня 2 сервера на дебиане, с прокмоксом. На них 3 контейнера, каждый пишет видео (видеонаблюдение) через нфс. И я тоже думал, как собрать 6 винчей по 2 Тб в одну точку монтирования. Попробовал этот самый mhddfs, какое-то время оно поработало, затем начались проблемы с записью (пишется 40-50 потоков одновременно).
В общем есть aufs. Делает тоже самое, но работает как задумано. Была только одна заморочка, из-за которой пришлось noauto в фстаб писать. Иногда, при загрузке, оно монтируется раньше, чем разделы винчей. Особо разбираться не стал, в rc.local написал mount /nfs/data0 и всё стало хорошо. Типа костыль, но работает.
В общем годная штука, попробуйте.

На всякий случай пример fstab:
Spoiler: ShowHide

#Data0
UUID="5b4cf7bf-fabb-4d12-a70d-1ed83bc56d06"   /mnt/data0-0   ext4    defaults,nofail 0 0
UUID="ab467233-77d9-4aaa-a43b-d8c1cb10a4d9"     /mnt/data0-1   ext4    defaults,nofail 0 0

none                                           /nfs/data0      aufs    br:/mnt/data0-0=rw:/mnt/data0-1=rw,create=mfs,sum,noauto 0 0


З.Ы. Проксмокс на софтовом рейде прекрасно себя чувствует.
Я бы тоже сделал софтовый рейд, и страйп не из 8ми хардов, а 2 по 4 (если хватит скорости). Шанс, что вылетит 1 из 8 довольно высок.
« Последнее редактирование: 21 Апрель 2016, 23:52:09 от hoolyman »
 

Оффлайн oermolaev

  • Местный житель
  • ***
  • Сообщений: 296
Re: Как правильно создать раздел 15ТВ
« Ответ #14 : 22 Апрель 2016, 06:55:01 »
[ot]hoolyman, да, я пробовал пользоваться mhddfs, но только в тестах. Был также успешный опыт объединения трёх ресурсов webdav в один с помощью этой програмы. Цитирование комментария с цитатой из несуществующего в настоящее время источника не является пруфом. mhddfs включена в репозитарии всех современных систем основанных на linux. Да, топикстартеру она не подходит, это очевидно. Но объединение восьми дисков в один страйп считаю большой ошибкой. Если потеря всех данных из-за отказа одного из винтов не критична, то зачем такие данные вообще писать? [/ot]

Cообщение объединено 22 Апрель 2016, 09:16:26
Cool_Lamer, раз во главу угла ставится скорость, то есть смысл посмотреть на самую прогрессивную файловую систему zfs, которая позволяет создавать массивы разных уровней без всяких дополнительных "прослоек" типа lvm, и даже без создания таблиц разделов.
Предвосхищая вопросы пробовал ли сам, да пробовал и использую на двух рабочих машинах и на одной домашней.
« Последнее редактирование: 22 Апрель 2016, 09:16:26 от oermolaev »
 

Теги:
 

[Решено] Disabling IRQ #16

Автор xrumchik

Ответов: 19
Просмотров: 12346
Последний ответ 12 Июнь 2013, 19:42:15
от xrumchik
[Решено] Debian 8 намертво виснут иксы

Автор orlyanuch

Ответов: 5
Просмотров: 1840
Последний ответ 24 Сентябрь 2015, 03:26:12
от orlyanuch
[РЕШЕНО] Lenovo B475 выход из ждущего режима

Автор qupl

Ответов: 17
Просмотров: 3796
Последний ответ 31 Октябрь 2012, 18:35:03
от qupl
Windows не видит раздел флешки

Автор Vic

Ответов: 11
Просмотров: 6575
Последний ответ 13 Февраль 2014, 16:36:10
от Vic
[Решено] Подключение графического планшета Huion

Автор puzzled

Ответов: 6
Просмотров: 6102
Последний ответ 11 Июль 2018, 23:49:46
от ferum