От: Фиксировать нумерацию дисков HDD SAS в сервере Supermicro?

kol1978 · 03 октября 2024, 06:35:37

Вопрос путанный - не могу до конца точно сформулировать, как получается:
чтобы много не писать - имеется аналогичный контроллер LSI 8208XLP из статьи - https://habr.com/ru/articles/219507/
удалось заставить работать все установленные диски SAS в корзину и установить/запустить на них ОС...
получилось так :

Цитироватьkol@servkol:~$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 1,8T 0 disk
└─sda1 8:1 0 1,8T 0 part /mnt/sd_x
sdb 8:16 0 1,8T 0 disk
├─sdb1 8:17 0 1,8T 0 part
├─sdb2 8:18 0 1K 0 part
└─sdb5 8:21 0 976M 0 part
sdc 8:32 0 1,8T 0 disk
└─sdc1 8:33 0 1,8T 0 part
sdd 8:48 0 1,8T 0 disk
└─sdd1 8:49 0 1,8T 0 part
sde 8:64 0 1,8T 0 disk
├─sde1 8:65 0 1M 0 part
├─sde2 8:66 0 2G 0 part /boot
└─sde3 8:67 0 1,8T 0 part
└─ubuntu--vg-ubuntu--lv 252:0 0 1,8T 0 lvm /
sdf 8:80 0 1,8T 0 disk
└─sdf1 8:81 0 1,8T 0 part
sdg 8:96 0 1,8T 0 disk
└─sdg1 8:97 0 1,8T 0 part /mnt/sdx
sdh 8:112 0 1,8T 0 disk
├─sdh1 8:113 0 200G 0 part
├─sdh2 8:114 0 200G 0 part [SWAP]
└─sdh3 8:115 0 1,4T 0 part

Диски все одинаковые ST32000444SS кроме одного(допустим) ST2000NM0023. Вопрос: как сделать так что бы при замене одинаковых дисков одинаково разбитых(на разделы) не менялись буквы дисков из списка выше?
На данный момент если допустим поменять местами диски:
sdc 8:32 0 1,8T 0 disk
└─sdc1 8:33 0 1,8T 0 part
sdd 8:48 0 1,8T 0 disk
└─sdd1
они ST32000444SS оба, переставив их взаимно из одного слота в другой, то "картина" нумерации всех дисков меняется...как этого избежать?
Мало того диск как бы "запоминает" своё положение в предыдущем слоту и при установке допустим в слот три обнаруживается в биосе что он в слоте допустим четыре (но не всегда как в том в котором был до этого) - подскажите как с этим разобраться? как нумеровать диски по слотам (ссылки на доки и инфу очень приветствуются)?

03 октября 2024, 07:02:47

03 октября 2024, 07:03:34
фото:
https://www.imagebam.com/view/MEWCKUD https://www.imagebam.com/view/MEWCKUF https://www.imagebam.com/view/MEWCKUH https://www.imagebam.com/view/MEWCKUJ

03 октября 2024, 08:07:32

Цитироватьkol@servkol:~$ hwinfo --disk
101: SCSI 405.0: 10600 Disk
[Created at block.255]
Unique ID: i0+h.dyQdK4CNKHD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdf
SysFS BusID: 4:0:5:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:5/end_device-4:5/target4:0:5/4:0:5:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdf (/dev/sg5)
Device Files: /dev/sdf, /dev/disk/by-id/wwn-0x5000c50034609503, /dev/disk/by-id/scsi-35000c50034609503, /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6BD8Q, /dev/disk/by-diskseq/14, /dev/disk/by-path/pci-0000:05:00.0-sas-phy1-lun-0
Device Number: block 8:80-8:95 (char 21:5)
BIOS id: 0x80
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

102: SCSI 402.0: 10600 Disk
[Created at block.255]
Unique ID: ofUZ.dyQdK4CNKHD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdd
SysFS BusID: 4:0:2:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:2/end_device-4:2/target4:0:2/4:0:2:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdd (/dev/sg2)
Device Files: /dev/sdd, /dev/disk/by-path/pci-0000:05:00.0-sas-phy6-lun-0, /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6D5NT, /dev/disk/by-id/scsi-35000c500346511db, /dev/disk/by-id/wwn-0x5000c500346511db, /dev/disk/by-diskseq/12
Device Number: block 8:48-8:63 (char 21:2)
BIOS id: 0x81
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

103: SCSI 401.0: 10600 Disk
[Created at block.255]
Unique ID: uI_Q.dyQdK4CNKHD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdb
SysFS BusID: 4:0:1:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:1/end_device-4:1/target4:0:1/4:0:1:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdb (/dev/sg1)
Device Files: /dev/sdb, /dev/disk/by-path/pci-0000:05:00.0-sas-phy5-lun-0, /dev/disk/by-id/wwn-0x5000c5003478e18b, /dev/disk/by-diskseq/10, /dev/disk/by-id/scsi-35000c5003478e18b, /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6JRZV
Device Number: block 8:16-8:31 (char 21:1)
BIOS id: 0x82
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

104: SCSI 406.0: 10600 Disk
[Created at block.255]
Unique ID: ACFm.dyQdK4CNKHD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdg
SysFS BusID: 4:0:6:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:6/end_device-4:6/target4:0:6/4:0:6:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdg (/dev/sg6)
Device Files: /dev/sdg, /dev/disk/by-id/scsi-35000c50034758d8f, /dev/disk/by-diskseq/15, /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6GMV9, /dev/disk/by-id/wwn-0x5000c50034758d8f, /dev/disk/by-path/pci-0000:05:00.0-sas-phy2-lun-0
Device Number: block 8:96-8:111 (char 21:6)
BIOS id: 0x83
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

105: SCSI 404.0: 10600 Disk
[Created at block.255]
Unique ID: Frkd.2qUgfS5zAM3
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sde
SysFS BusID: 4:0:4:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:4/end_device-4:4/target4:0:4/4:0:4:0
Hardware Class: disk
Model: "SEAGATE ST2000NM0023"
Vendor: "SEAGATE"
Device: "ST2000NM0023"
Revision: "GS0D"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sde (/dev/sg4)
Device Files: /dev/sde, /dev/disk/by-id/scsi-35000c500589b877b, /dev/disk/by-path/pci-0000:05:00.0-sas-phy4-lun-0, /dev/disk/by-id/wwn-0x5000c500589b877b, /dev/disk/by-id/scsi-SSEAGATE_ST2000NM0023_Z1X2CJ2B, /dev/disk/by-diskseq/13
Device Number: block 8:64-8:79 (char 21:4)
BIOS id: 0x84
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

Интересует строчка - SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:4/end_device-4:4/target4:0:4/4:0:4:0 ? как её разобрать?

dzhoser · 03 октября 2024, 08:27:55

Каждый диск имеет при разметки уникальный uuid. К uuid привязываются остальные идентификаторы типа sda. Следовательно при замене диска у них должны быть одинаковые uuid.
Но в исключительных случаях эта привязка может поплыть, например когда вы подключите дополнительный носитель или usb. Поэтому в fstab предпочтительнее использовать uuid, на не /dev/sda
Чтобы узнать uuid необходимо выполнить команду

Код Выделить

sudo blkid

ogost · 03 октября 2024, 10:13:43

а по ссылке, которую я нашёл в комментарии по статье в хабре смотрели? А точнее в самом низу:

ЦитироватьIf RAID already configured in firmware and you need access to filesystem on it, you'll need to prepare your system as described here and install sys-fs/mdadm package. mdadm daemon will automatically take RAID configuration and provide it to system as /dev/mdX block device. At first time mdadm will start resynchronization, that OK.

Насколько я понимаю, если хотите использовать его как рейд-контроллер, то надо настроить рейд в биосе упомянутого контроллера (который на самом деле софтовый, плохо прикидывающийся аппаратным), а потом настроить mdadm в ОС.
А так, как у вас сейчас настроено, вы можете использовать только как "просто ещё 8 SATA-портов", со всеми вытекающими - смена идентификаторов диска и прочее.

kol1978 · 04 октября 2024, 10:14:52

" А так, как у вас сейчас настроено, вы можете использовать только как "просто ещё 8 SATA-портов", со всеми вытекающими - смена идентификаторов диска и прочее.." - да именно так - 8 дисков по отдельности...рейд следующий этап на другой корзине
"Мало того диск как бы "запоминает" своё положение в предыдущем слоту и при установке допустим в слот три обнаруживается в биосе что он в слоте допустим четыре " - вот это главное! если нет возможности "заморозить" буквы дисков то подскажите почему так происходит?

04 октября 2024, 10:20:01

Цитата: dzhoser от 03 октября 2024, 08:27:55Каждый диск имеет при разметки уникальный uuid. К uuid привязываются остальные идентификаторы типа sda. Следовательно при замене диска у них должны быть одинаковые uuid.
Но в исключительных случаях эта привязка может поплыть, например когда вы подключите дополнительный носитель или usb. Поэтому в fstab предпочтительнее использовать uuid, на не /dev/sda
Чтобы узнать uuid необходимо выполнить команду
Код Выделить Развернуть
sudo blkid

в этом плане уже в курсе...но у меня была задумка именно сделать отвязку немера (чтоб не номер был одинаковый а буква диска) у пары дисков, что бы их моно было на горячую вынимать и система не замечала подмены и можно было использовать точно так же подмененный (если вставляешь в тот же слот и количество подключенных дисков не меняется , то с какой стати меняется буква диска?) диск - скажем диск заполнился, вытащил вставил и дальше поехало... И нужна команда что бы не узнать номер а присвоить этот номер диску?
Как просили :

Цитировать_____________________
kol@debian12:~$ lsblk -a
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
loop0 7:0 0 0B 0 loop
loop1 7:1 0 0B 0 loop
loop2 7:2 0 0B 0 loop
loop3 7:3 0 0B 0 loop
loop4 7:4 0 0B 0 loop
loop5 7:5 0 0B 0 loop
loop6 7:6 0 0B 0 loop
loop7 7:7 0 0B 0 loop
sda 8:0 0 1,8T 0 disk
└─sda1 8:1 0 1,8T 0 part
sdb 8:16 0 1,8T 0 disk
└─sdb1 8:17 0 1,8T 0 part
sdc 8:32 0 1,8T 0 disk
├─sdc1 8:33 0 1M 0 part
├─sdc2 8:34 0 2G 0 part
└─sdc3 8:35 0 1,8T 0 part
sdd 8:48 0 1,8T 0 disk
└─sdd1 8:49 0 1,8T 0 part
sde 8:64 0 1,8T 0 disk
└─sde1 8:65 0 1,8T 0 part
sdf 8:80 0 1,8T 0 disk
└─sdf1 8:81 0 1,8T 0 part
sdg 8:96 0 1,8T 0 disk
├─sdg1 8:97 0 1,8T 0 part /
├─sdg2 8:98 0 1K 0 part
└─sdg5 8:101 0 976M 0 part
sdh 8:112 0 1,8T 0 disk
├─sdh1 8:113 0 200G 0 part [SWAP]
├─sdh2 8:114 0 200G 0 part
└─sdh3 8:115 0 1,4T 0 part
kol@debian12:~$
---------
kol@debian12:~$ sudo hwinfo --disk
101: SCSI 06.0: 10600 Disk
[Created at block.255]
Unique ID: i0+h.D9C62wfvsy4
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdf
SysFS BusID: 0:0:6:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:6/end_device-0:6/target0:0:6/0:0:6:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6GMV9"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdf (/dev/sg6)
Device Files: /dev/sdf, /dev/disk/by-id/scsi-35000c50034758d8f, /dev/disk/by-id/wwn-0x5000c50034758d8f, /dev/disk/by-diskseq/6, /dev/disk/by-path/pci-0000:05:00.0-sas-phy2-lun-0
Device Number: block 8:80-8:95 (char 21:6)
BIOS id: 0x80
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

102: SCSI 03.0: 10600 Disk
[Created at block.255]
Unique ID: ofUZ.QHk_7NolMo6
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdd
SysFS BusID: 0:0:3:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:3/end_device-0:3/target0:0:3/0:0:3:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6D1GD"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdd (/dev/sg3)
Device Files: /dev/sdd, /dev/disk/by-id/wwn-0x5000c50034650d03, /dev/disk/by-path/pci-0000:05:00.0-sas-phy7-lun-0, /dev/disk/by-diskseq/4, /dev/disk/by-id/scsi-35000c50034650d03
Device Number: block 8:48-8:63 (char 21:3)
BIOS id: 0x81
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

103: SCSI 02.0: 10600 Disk
[Created at block.255]
Unique ID: uI_Q.D9HXSNnvl93
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdb
SysFS BusID: 0:0:2:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:2/end_device-0:2/target0:0:2/0:0:2:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6D5NT"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdb (/dev/sg2)
Device Files: /dev/sdb, /dev/disk/by-path/pci-0000:05:00.0-sas-phy6-lun-0, /dev/disk/by-diskseq/2, /dev/disk/by-id/wwn-0x5000c500346511db, /dev/disk/by-id/scsi-35000c500346511db
Device Number: block 8:16-8:31 (char 21:2)
BIOS id: 0x82
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

104: SCSI 01.0: 10600 Disk
[Created at block.255]
Unique ID: ACFm.k8NopWvNsjC
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdg
SysFS BusID: 0:0:1:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:1/end_device-0:1/target0:0:1/0:0:1:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6JRZV"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdg (/dev/sg1)
Device Files: /dev/sdg, /dev/disk/by-diskseq/7, /dev/disk/by-id/wwn-0x5000c5003478e18b, /dev/disk/by-id/scsi-35000c5003478e18b, /dev/disk/by-path/pci-0000:05:00.0-sas-phy5-lun-0
Device Number: block 8:96-8:111 (char 21:1)
BIOS id: 0x83
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

105: SCSI 05.0: 10600 Disk
[Created at block.255]
Unique ID: Frkd.n294BJqWvEC
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sde
SysFS BusID: 0:0:5:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:5/end_device-0:5/target0:0:5/0:0:5:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6BD8Q"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sde (/dev/sg5)
Device Files: /dev/sde, /dev/disk/by-id/wwn-0x5000c50034609503, /dev/disk/by-diskseq/5, /dev/disk/by-id/scsi-35000c50034609503, /dev/disk/by-path/pci-0000:05:00.0-sas-phy1-lun-0
Device Number: block 8:64-8:79 (char 21:5)
BIOS id: 0x84
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

106: SCSI 04.0: 10600 Disk
[Created at block.255]
Unique ID: LUEV.GAFG52Nbr72
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdc
SysFS BusID: 0:0:4:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:4/end_device-0:4/target0:0:4/0:0:4:0
Hardware Class: disk
Model: "SEAGATE ST2000NM0023"
Vendor: "SEAGATE"
Device: "ST2000NM0023"
Revision: "GS0D"
Serial ID: "Z1X2CJ2B"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdc (/dev/sg4)
Device Files: /dev/sdc, /dev/disk/by-id/scsi-35000c500589b877b, /dev/disk/by-path/pci-0000:05:00.0-sas-phy4-lun-0, /dev/disk/by-diskseq/3, /dev/disk/by-id/wwn-0x5000c500589b877b
Device Number: block 8:32-8:47 (char 21:4)
BIOS id: 0x85
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

107: SCSI 00.0: 10600 Disk
[Created at block.255]
Unique ID: R7kM.Goo23RhAzp4
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sda
SysFS BusID: 0:0:0:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:0/end_device-0:0/target0:0:0/0:0:0:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6A7LR"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sda (/dev/sg0)
Device Files: /dev/sda, /dev/disk/by-id/wwn-0x5000c5003460029f, /dev/disk/by-diskseq/1, /dev/disk/by-path/pci-0000:05:00.0-sas-phy0-lun-0, /dev/disk/by-id/scsi-35000c5003460029f
Device Number: block 8:0-8:15 (char 21:0)
BIOS id: 0x86
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

108: SCSI 07.0: 10600 Disk
[Created at block.255]
Unique ID: dNVq.incPjYRAfE5
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdh
SysFS BusID: 0:0:7:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host0/port-0:7/end_device-0:7/target0:0:7/0:0:7:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Serial ID: "9WM6H72Y"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas", "sd_mod"
Device File: /dev/sdh (/dev/sg7)
Device Files: /dev/sdh, /dev/disk/by-id/scsi-35000c5003477be4b, /dev/disk/by-id/wwn-0x5000c5003477be4b, /dev/disk/by-path/pci-0000:05:00.0-sas-phy3-lun-0, /dev/disk/by-diskseq/8
Device Number: block 8:112-8:127 (char 21:7)
BIOS id: 0x87
Geometry (Logical): CHS 243201/255/63
Size: 3907029168 sectors a 512 bytes
Capacity: 1863 GB (2000398934016 bytes)
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)
kol@debian12:~$
----
kol@debian12:~$ sudo fdisk -l
Disk /dev/sdg: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x71aa1ec4

Device Boot Start End Sectors Size Id Type
/dev/sdg1 * 2048 3905028095 3905026048 1,8T 83 Linux
/dev/sdg2 3905030142 3907028991 1998850 976M 5 Extended
/dev/sdg5 3905030144 3907028991 1998848 976M 82 Linux swap / Solaris

Disk /dev/sdb: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xad08daae

Device Boot Start End Sectors Size Id Type
/dev/sdb1 2048 3907029167 3907027120 1,8T 83 Linux

Disk /dev/sde: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x9b7fe4f8

Device Boot Start End Sectors Size Id Type
/dev/sde1 2048 3907029167 3907027120 1,8T 83 Linux

Disk /dev/sdc: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST2000NM0023
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 8958751C-7733-47E6-831E-6C2711DCC781

Device Start End Sectors Size Type
/dev/sdc1 2048 4095 2048 1M BIOS boot
/dev/sdc2 4096 4198399 4194304 2G Linux filesystem
/dev/sdc3 4198400 3907026943 3902828544 1,8T Linux filesystem

Disk /dev/sdf: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x1130541b

Device Boot Start End Sectors Size Id Type
/dev/sdf1 2048 3907029167 3907027120 1,8T 83 Linux

Disk /dev/sdh: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 07F34873-E2C3-49F9-84C2-8CFF32BA6DBE

Device Start End Sectors Size Type
/dev/sdh1 2048 419432447 419430400 200G Linux swap
/dev/sdh2 419432448 838862847 419430400 200G Linux swap
/dev/sdh3 838862848 3907028991 3068166144 1,4T Linux filesystem

Disk /dev/sda: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xb726c178

Device Boot Start End Sectors Size Id Type
/dev/sda1 2048 3907029167 3907027120 1,8T 83 Linux

Disk /dev/sdd: 1,82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST32000444SS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xf5dac945

Device Boot Start End Sectors Size Id Type
/dev/sdd1 2048 3907029167 3907027120 1,8T 83 Linux
kol@debian12:~$

ogost · 04 октября 2024, 11:40:31

Цитата: kol1978 от 04 октября 2024, 10:14:52что бы их моно было на горячую вынимать и система не замечала подмены и можно было использовать точно так же подмененный

Без рейд контроллера вы не сможете выдёргивать диски на горячую, по крайней мере безопасно. У вас он сейчас работает НЕ как рейд контроллер! Вам нужно настроить софтовый mdadm, по ссылке выше.

04 октября 2024, 11:42:37

Цитата: kol1978 от 04 октября 2024, 10:14:52рейд следующий этап на другой корзине

Таак, забудьте что я писал. Вы объясните чего хотите добиться. А то я тут в непонятках.

kol1978 · 05 октября 2024, 04:47:10

Цитата: ogost от 04 октября 2024, 11:40:31
Цитата: kol1978 от 04 октября 2024, 10:14:52что бы их моно было на горячую вынимать и система не замечала подмены и можно было использовать точно так же подмененный
Без рейд контроллера вы не сможете выдёргивать диски на горячую, по крайней мере безопасно. У вас он сейчас работает НЕ как рейд контроллер! Вам нужно настроить софтовый mdadm, по ссылке выше.

04 октября 2024, 11:42:37
Цитата: kol1978 от 04 октября 2024, 10:14:52рейд следующий этап на другой корзине
Таак, забудьте что я писал. Вы объясните чего хотите добиться. А то я тут в непонятках.

Объясню откуда "непонятки"... - любой вопрос уже содержит ответ, при этом правильно сформулированный вопрос содержит этого больше...и строго говоря когда не понимаешь "что и зачем" бывает невозможно сформулировать вопрос.
И так - добиться хочется контроля над системой. Пытался объяснить в чем с моей точки зрения имеется потеря контроля, но (и) при этом понимаю что это получается (по известной мне причине) не в полне "качественно". Резюме : мои вопросы разные, но суть одна т.е. после осознания всей глубины проблемы появиться её решение и только после этого можно точно сформулировать вопрос - парадокс $:-\$
Давайте определимся с формулировками: "Без рейд контроллера вы..." - имеется возможность подключить SAS диски без "рейд контроллера"? как считаю: для подключения этих дисков необходим контроллер (как для любых дисков и вообще устройств; видеокарта в общем то тоже контроллер...), поэтому контроллер по умолчанию есть. Функционально данным контроллером предусмотрена возможность организации "RAID-массивов" и при этом их (массивов рейд) "не организации" тоже...при этом в той же функции предусмотрено как горячее (в настройке БИОС котроллера есть "галочка")
подключение дисков так и без таковой возможности и доступно это в "обеих" вариантах - и для RAID-массивов и для дисков не включенных в RAID.

05 октября 2024, 04:51:06
железо :

Цитироватьобъединительная плата SAS 743TQB-3 контроллера AMI MG9072 SES-2 (SCSI Enclosure Services-2)CSE-M35S (SCSI)
диски SAS
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"

Насколько понимаю для SCSI дисков RAID это функция по умолчанию так как только в этом случае (при использовании RAID0) могут показать своё отличии от SATA дисков - например скоростью обмена данными по своей шине... И получается что по моему RAID и возможность горячей замены в этом плане не связаны(?).

05 октября 2024, 05:24:32
И! думаю стоит разделять RAID и контроллер. Хотя бы по тому что RAID может быть и программный и аппаратный.
Взять систему под контроль это значить иметь возможность использовать предусмотренные функции.
И так функции: 1.создать несколько дисков объединенными в RAID0 установить на них ОС и сделать загрузочными, при этом иметь достум из ОС ко всем остальным дискам с возможностью замены. 2 . тот же RAID0 используется для хранения данных , а ОС установлена на другие диски не объединённые в RAID.
RAID0 создается аппаратно в БИОС контроллера объединение выбранных дисков в одно блочное устройство, смысл этого только в увеличении скорости обмена данными за счет одновременного (параллельного) обращения на чтение/запись к блочному устройство которое физически представляет собой несколько дисков:

Цитировать102: SCSI 405.0: 10600 Disk
[Created at block.255]
Unique ID: ofUZ.dyQdK4CNKHD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdd
SysFS BusID: 4:0:5:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/port-4:5/end_device-4:5/target4:0:5/4:0:5:0
Hardware Class: disk
Model: "SEAGATE ST32000444SS"
Vendor: "SEAGATE"
Device: "ST32000444SS"
Revision: "KS68"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdd (/dev/sg6)
Device Files: /dev/sdd, /dev/disk/by-id/wwn-0x5000c50034784cbf, /dev/disk/by-diskseq/12, /dev/disk/by-path/pci-0000:05:00.0-sas-phy4-lun-0, /dev/disk/by-id/scsi-35000c50034784cbf, /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6JGFQ
Device Number: block 8:48-8:63 (char 21:6)
BIOS id: 0x81
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

103: SCSI 410.0: 10600 Disk
[Created at block.255]
Unique ID: uI_Q.YekQvRpzbuD
Parent ID: Ddhb.o8F4kx1Pq74
SysFS ID: /class/block/sdb
SysFS BusID: 4:1:0:0
SysFS Device Link: /devices/pci0000:00/0000:00:09.0/0000:05:00.0/host4/target4:1:0/4:1:0:0
Hardware Class: disk
Model: "LSI Logical Volume"
Vendor: "LSI"
Device: "Logical Volume"
Revision: "3000"
Driver: "mpt3sas", "sd"
Driver Modules: "mpt3sas"
Device File: /dev/sdb (/dev/sg1)
Device Files: /dev/sdb, /dev/disk/by-id/scsi-3600508e00000000061eed67b85f11804, /dev/disk/by-diskseq/10, /dev/disk/by-path/pci-0000:05:00.0-scsi-0:1:0:0, /dev/disk/by-id/wwn-0x600508e00000000061eed67b85f11804
Device Number: block 8:16-8:31 (char 21:1)
BIOS id: 0x82
Drive status: no medium
Config Status: cfg=new, avail=yes, need=no, active=unknown
Attached to: #71 (Serial Attached SCSI controller)

При этом ОС видит этот RAID Model: "LSI Logical Volume" и не видит входящие в него диски и поэтому нельзя обратиться к диску "внутри" RAID массива например командой "dd " , что бы подсветить его и увидеть его положение в слоте корзины (вопрос из другой темы)? При этом если поменять местами в слотах диски объединенные в RAID то - сохраниться ли работоспособность системы: возможность загрузки с ОС установленной на RAID и (или) загрузка с ОС установленной на другом диске не входящем в RAID (мы же помним что у диска есть номер: /dev/disk/by-id/scsi-SSEAGATE_ST32000444SS_9WM6JGFQ...поможет ли он)?

05 октября 2024, 05:25:46
И далее то же самое но уже с резервированием и поэтому разумеется RAID1 и так далее.

05 октября 2024, 05:31:31
Но, ка что меня "нервирует" уже то, что если воткнуть в один и тот же слот два одинаковых диска (пардон, модели дисков разные; с другой стороны - ну и что?) - сначала один потом заменить на другой, то в итоге они в биосе определяются как в разных слотах, а не в одном и том же (у слота есть свой ID - IDOA...ID10..IDAE и т.д. и именно этот номер используется в биосе для указания загрузочного устройства (к примеру)), и в итоге с вытекающими последствиями для работы ОС... - с этим как разобраться?

kol1978 · 06 октября 2024, 05:24:51

И так проверенно: можно создать несколько RAID0 , но грузиться можно только с одного из них (возможно это просто ограничение конроллера). Можно грузиться и с отдельного диска и с массива RAID выбором "устройства" в биос.
Есть еще вопрос:
UEFI (Unified Extensible Firmware Interface) — замена устаревшему BIOS.
Основные отличия UEFI от BIOS:Поддержка GPT (GUID Partition Table). Насколько мне известно (из руководства) в моем случае биос не поддерживает UEFI.
При загрузке из GPT-раздела с идентификатором EF00 и файловой системой FAT32(по умолчанию), грузится и запускается файл \efi\boot\boot[название архитектуры].efi, например \efi\boot\bootx64.efi т.е.
У UEFI биоса есть возможность читать загрузчик из раздела диска с файловой системой, в отличии от BIOS биос который может читать загрузчик только из первого сектора (из одного сектора) диска. Но так как у "нового" UEFI биоса сохраняется совместимость - возможность чтения загрузчика из MBR (первого раздела диска)...
поэтому для варианта когда в ОС разбиваешь разделы GPT и в твоём биосе нет поддержки UEFI , то с такого диска все равно удастся загрузиться если диск объемом меньше 2 терабайт. Вопрос - можно ли загрузиться (использовать как загрузочный) диск объемом 4 терабайта, при условии, что знаем, что можем загружаться с RAID0 объемом 7,3 терабайта (из нескольких дисков по 2Т)? или ограничение в 2Т загрузочного диска - вымысел? или просто придётся включить его (диск 4Т) в RAID массив, и только это позволит его использовать как загрузочный(но не в одиночку)? Ну и как бы - вопрос про то что биос не может грузиться с диском более 2Т но может грузиться с RAID любого объёма и кол-ва дисков..это как то - мне бы очень хотелось услышать пояснение? Можно ли из установленной ОС точно убедиться в том поддерживает ли биос спецификацию UEFI? допустим нашел команду :

ЦитироватьПримечание - Эквивалентная команда CLI является
sscs modify -p,--prepare-cascade sas-domain команда<sas-domain-name>

но это из оборудования следующего поколения... получается что на нём запускается UEFI Shell командной строки, прям как терминал ОС, из которой система принимает команды... - если этого нет, может не факт что нет поддержки UEFI?

06 октября 2024, 05:46:17
Вроде определился со структурой системы: 1 один диск для горячей замены (переноса информации из вне) 2 два диска организовать в RAID0 под подкачку (для обеспечения режима гибернации) и раздел с данными "непрерывного" использования.
Смысл в RAID0 вроде есть (увеличение скорости): №1

Цитироватьsudo apt install iozone3 тест дисковой системы
-----------
kol@kolserv7t:~/GO$
kol@kolserv7t:~/GO$ iozone -a
Iozone: Performance Test of File I/O
Version $Revision: 3.506 $
Compiled for 64 bit mode.
Build: linux-AMD64

Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
Al Slater, Scott Rhine, Mike Wisner, Ken Goss
Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer,
Vangel Bojaxhi, Ben England, Vikentsi Lapa,
Alexey Skidanov, Sudhir Kumar.

Run began: Sat Oct 5 12:00:22 2024

Auto Mode
Command line used: iozone -a
Output is in kBytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 kBytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
random random bkwd record stride
kB reclen write rewrite read reread read write read rewrite read fwrite frewrite fread freread
--------------------------------------------------------------------------------------------------------------------------------------------не RAID
random random bkwd record stride
kB reclen write rewrite read reread read write read rewrite read fwrite frewrite fread freread
64 4 238862 1087638 2067979 2358717 1690338 1045286 913649 1255511 1460430 1226821 1105556 1553394 2006158
64 8 587635 1279447 3203069 3791156 2801873 1421755 1492919 1690338 2067979 1484662 1304314 2006158 2772930
64 16 673098 1392258 3958892 4018152 3738358 1638743 1722886 1879725 2298136 1452528 1518251 2278628 3022727
64 32 712397 1460430 5283570 5283570 4564786 1828508 1933893 2006158 2467108 1599680 2006158 2467108 3588436
64 64 718114 1562436 6421025 5735102 5283570 1892980 2067979 1879725 2561267 1879725 1599680 2662899 4018152
1024 4 691420 1410588 2260740 2414523 1695735 1374474 1641301 1615374 1689730 1503942 1330203 2146618 2254805
1024 8 819837 1712639 3261656 3696803 2877110 1841906 2419964 2547723 2813041 1903961 1602715 3151562 3458646
1024 16 900637 1969440 3684119 4182843 3447541 2326879 3179559 3063882 3655895 2220992 1865101 3518141 4048778
1024 32 963255 2081090 4634161 5144870 4762630 2559871 3894582 3518141 4531485 2480051 1888889 4339202 4783849
1024 64 979064 2300703 4995276 4972145 5390231 2910252 4265934 3849207 5789881 2672984 2220992 4609294 5175871
1024 128 937600 2343383 4898425 5623115 5536137 2892612 4304412 3923040 5950309 2688041 2338280 4488860 5363307
1024 256 1004951 2343383 4741598 4694950 5310258 2805690 3923040 3591693 5284125 2782064 2448941 4029784 5144870
1024 512 997946 2245375 4995276 5417427 5120336 2681328 4232305 3229770 4339202 2115949 3291652 4195100 4550690
1024 1024 962391 2290886 4339202 4512441 4470172 2275110 3684119 2432298 4033569 2410457 2240689 3735385 4356809
2048 4 702319 1407538 2204352 2401565 1754908 1314690 1639674 1646273 1759581 1542232 1349174 2144371 2265394
2048 8 843821 1754908 3309159 3710866 2782790 1941313 2519185 2512554 2760434 1967097 1639674 3127245 3441748
2048 16 932188 2009902 3960675 4284671 3604966 2345819 3266376 3065856 3738320 2176427 1825003 3812993 4154130
2048 32 969649 2162727 4394265 5264067 4603874 2772014 4023754 3407614 4709895 2378952 2019827 4462754 4983122
2048 64 1005870 2262410 4707314 5754221 5197183 2947000 4472047 3744839 5083385 2582813 2115848 4591569 5447681
2048 128 1008468 2285891 4785996 5416763 5578583 3011047 4396514 4112366 6359119 2659582 2185285 4601407 5420181
2048 256 1019358 2340705 4432815 5644567 5293261 3012103 4170264 3663388 5769681 2592166 2263006 4502520 5349298
2048 512 1011913 2409650 4785996 5156624 5596757 2771120 4231899 3567536 5332694 2741930 2522144 4451191 5564129
2048 1024 985558 2228370 4112366 4945823 4686767 2608697 4267642 2702252 3901313 1982533 3016334 3892474 4807425
2048 2048 965182 2378952 4519101 4864597 4864597 2566606 4112366 2575842 4196751 2482062 2362594 4257067 4785996
4096 4 704994 1396986 2208264 2320724 1727521 1311159 1637143 1651623 1735549 1528348 1346510 2136585 2199781
4096 8 853878 1809206 3240380 3412898 2795836 1849125 2588965 2592481 2797657 1917651 1657040 3150647 3327622
4096 16 930310 2014807 3841819 4137927 3670280 2256706 3253266 3103408 3621537 2127852 1834122 3768502 3957760
4096 32 989577 2197530 4481152 4791076 4681411 2569603 4027344 3618486 4591331 2382847 2015752 4376138 4669958
4096 64 1011067 2295912 4768469 5204750 5157871 2792200 4413235 3977000 5252488 2479484 2158056 4823359 4941279
4096 128 1010592 2363506 4481152 5075585 5171846 2884074 4376138 4125010 5244471 2494606 2135788 4462528 5000244
4096 256 1024758 2341919 4452120 5038371 5263753 2801763 4294102 3856480 5777065 2384170 2137914 4399673 5133213
4096 512 1015370 2360908 4551192 4977067 5204750 2737912 4385074 3686820 5424983 2426601 2275537 4423462 4894820
4096 1024 1002981 2341919 4597474 4917236 4917236 2609016 4253700 3486312 5250883 2474841 2354114 4240052 4703198
4096 2048 992493 2326065 4669958 4723889 4612286 2529871 4108241 3222148 4773769 1994225 3020473 4167033 4452120
4096 4096 939673 2131020 3915366 4016047 3980686 2344476 3559262 2369047 3558525 2304845 2209116 3555579 3954116

---------------------------------------------------------------------------------------------------------------------------------------------RAID
random random bkwd record stride
kB reclen write rewrite read reread read write read rewrite read fwrite frewrite fread freread
64 4 454354 645579 2133730 2467108 1892980 1638743 1143223 1255511 1452528 1210227 1049372 1526887 2067979
64 8 587635 942521 3022727 3588436 2892445 1492919 1518251 1780008 2006158 1599680 1304314 1933893 2689580
64 16 560635 1392258 3791156 3791156 3588436 1722886 1780008 1991276 2467108 1562436 1553394 2278628 3057153
64 32 712397 1421755 4988978 4274062 4564786 1933893 1933893 1933893 2537060 1562436 1991276 2561267 3791156
64 64 710511 1484662 6421025 5860307 5283570 1083249 2067979 2067979 2467108 2067979 1599680 2662899 4018152
1024 4 705735 1769073 2723840 3170172 2598591 1984913 2106609 1727102 1703807 1492445 1286378 2147692 2375790
1024 8 835953 2216407 3835457 4550690 4282950 2737730 3046495 3818408 2686359 1888889 1668074 2960401 3579719
1024 16 922497 2468647 4531485 5444898 5660167 3239514 3764854 4654248 3684119 2098375 1852232 3709575 4356809
1024 32 964120 2666347 5169641 6280976 7113161 3849207 4146499 5226256 4570058 2478620 1973059 4374559 4995276
1024 64 992182 2659742 5623115 6402699 8122014 4356809 4720752 5782087 5821271 2565989 2216407 4720752 5813392
1024 128 996325 2844715 4783849 6441107 8199542 4470172 4700088 5472650 5479632 2619192 2353657 4195100 5277632
1024 256 1009913 2900425 5652717 6830356 8000971 4304412 4493556 4783849 5277632 2966535 2467229 4356809 5720477
1024 512 1004951 2968586 6733974 8542002 8262639 4249053 4694950 3271594 4898425 2281152 3521025 4474829 5813392
1024 1024 995171 3066069 8474583 8680108 8542002 4282950 4679604 2820430 4451639 2737730 2426801 4493556 5853003
2048 4 699688 1915768 2821176 3219850 2578935 1577928 1634681 1643753 1745990 1545562 1341170 2100328 2332443
2048 8 855161 2288326 4056054 4900677 4265523 2837016 2506688 2429413 2793651 1950570 1655474 3043048 3530875
2048 16 919613 2575842 4971585 5884299 5578583 3494960 3235617 3034448 3624742 2171475 1812679 3786104 4265523
2048 32 976594 2798201 5655716 7036283 6823876 4114336 4079167 3458376 4531020 2415069 2026020 4460436 5306340
2048 64 999433 2909075 5852228 7444871 8159088 4367454 4423683 4006862 5107566 2605532 2147051 4653758 5852228
2048 128 1027528 2901215 5674397 7789164 8198022 4385291 4284671 3924484 6321679 2646472 2194777 4663865 5750369
2048 256 1008941 3033377 4653758 5685664 5362657 2909075 4347560 3671217 5447681 2666186 2233585 4462754 5492967
2048 512 1026545 3089009 4853603 5567735 5738844 2855880 4293237 3470953 5345969 2855880 2572756 4559883 5848244
2048 1024 1042745 3047366 5159722 5888333 5836323 2844532 4338776 3287628 5095447 2265394 3494960 4405533 5900467
2048 2048 974821 3106885 8357547 5689430 5852228 2951050 4469720 2921939 4396514 2921939 2467091 4540600 5836323
4096 4 708161 1430605 2181070 2405199 1718879 1346933 1652259 1665070 1742237 1544562 1342092 2136585 2274332
4096 8 863926 2382847 3233063 3664018 2803592 1932970 2515794 2517637 2834585 1945888 1656241 3067940 3524939
4096 16 945569 2014570 3864287 4376138 3761077 2324492 3271853 3140855 3743865 2190525 1845946 3689988 4423462
4096 32 980597 2211675 4526013 5320812 4698053 2703445 4125010 3606332 4696769 2442471 2022635 4438318 5217395
4096 64 1013633 2972395 4847858 5736555 5404504 2983234 4530788 3996428 5334028 2607432 2129963 4708354 5867831
4096 128 1009167 3054847 4511750 5594580 5542240 3020473 4428023 4145915 5404504 2574223 2144586 4501111 5649775
4096 256 1020982 3016231 4453274 5611025 5476867 2976515 4371684 3846119 5988509 2454335 2162402 4438318 5642353
4096 512 1024269 3101168 4664886 5674032 5625724 2864359 4437172 3686820 5469892 2623759 2264141 4490523 5721272
4096 1024 1021164 2399488 4739528 5833956 5808315 2925823 4485833 3568133 5360658 2886496 2615770 4545172 5891980
4096 2048 1020921 3070682 5007531 5664678 5672159 2929815 4447510 3321831 5044289 2028605 2953488 4511750 5696610
4096 4096 975031 3150647 5594580 5761565 5674032 2864359 4366128 2912925 4428023 2820623 2509913 4521249 560 370 4 = 560МБ/с (kBytes/sec и это имено кол-во байт, а не бит Mbit/sek - типа SAS 6Gbps = 6000 Mbit/sek MiB/sec= 750МБ/с)

№2

Цитировать-------------------------------------------------------------------------не RAID
kol@kolserv:~$ sysbench fileio --file-num=200 --file-total-size=200G prepare
sysbench 1.0.20 (using system LuaJIT 2.1.0-beta3)
200 files, 1048576Kb each, 204800Mb total
Creating files for the test...
Extra file open flags: (none)
Creating file test_file.199
214748364800 bytes written in 1764.51 seconds (116.07 MiB/sec).
Creating file test_file.199
214748364800 bytes written in 1863.83 seconds (109.88 MiB/sec).

Creating file test_file.19998
Creating file test_file.19999
212808499200 bytes written in 2766.43 seconds (73.36 MiB/sec).

214958080000 bytes written in 1147.60 seconds (178.63 MiB/sec).
---------------------------------------------------------------------------RAID
Creating file test_file.127
214748364800 bytes written in 614.42 seconds (333.32 MiB/sec).
Creating file test_file.127
214748364800 bytes written in 637.66 seconds (321.18 MiB/sec).
--------------------------------
Creating file test_file.198
Creating file test_file.199
214748364800 bytes written in 601.88 seconds (340.27 MiB/sec).

Creating file test_file.19999
214958080000 bytes written in 1097.77 seconds (186.74 MiB/sec).

---------------------------------------------------------------------------RAMDISK
tmpfs /RAM tmpfs nodev,nosuid,noexec,size=100M 0 0 примонтировали оперативную память в /RAM и запуск в этой папке:

10738073600 bytes written in 5.59 seconds (1832.79 MiB/sec).

Вроде понимаю что проверка "так-себе" - посоветуйте лучше? но не так : https://habr.com/ru/articles/154235/
Как нужно "организовать" (разбиение, монтирование, вс, назначение номера и т.п.) диск для горячей замены в такой структуре?

kol1978 · 09 октября 2024, 06:04:40

5603704 kBytes/sec ~= 5603 МBytes/sec = 5.6 GBytes/sec =~ 60 Gbit/sek в то время как скорость отдельного диска типа SAS 6Gbps (написано на корпусе), и диск SAS 6Gbps = 6000 Mbit/sek, ~6000 MiB/sec = 750МБ/с =~750 Bytes/sec...
и получается по этим данным, что скорость в RAID0 в этом случае возросла в десять раз

(подключено 8 дисков по 6Gbps)?
Что то не то

...может и поверил...но для отдельного диска цифры - 3954116 kBytes/sec слишком большие!

kol1978 · 12 октября 2024, 09:06:34

В общем ответ: создать аппаратный RAID для всех дисков и поверх логические тома...тогда все будет "ровно"

Создам другую тему...