Сетевое хранилище на 100500+++ файлов

[PbI6A]

Пришли к тупику в использовании старого сетевого smb хранилища в виде обычного сервера с raid1 на двух 4Тб винтах. Количество документов растёт, количество директорий и вложений - тоже, резервное копирование всего этого превращается в крайне не тривиальную задачу. Раньше для архивации использовался 7z, потом на увеличивающихся объёмах он стал жрать непомерно много памяти, был заменён на zip со слабой степенью сжатия. Конечно, zip под Linux - это костыль, учитывая его несовместимость по charset имён файлов с Windows, но хоть как-то работает, все документы (3Тб) зипуются 1.5-2 суток. Вторая проблема - ресинхронизация на вторую ноду хранилища. Она настроена идентично первой, и всё ресинхронизируется с помощью rsync. В случае падения основной, предполагалась возможность быстро сделать основной запасную. Но простое прочтение структуры директорий с минимальной ресинхронизацией занимает 1.5-2 часа на raid-1, который в случае mdadm в режиме чтения работает как raid-0. Ситуация более чем тупиковая как технологически, так и технически Выходов видится два. Первый - архивация данных старее N лет в некий 7z|tbz архив с удалением из хранилища с адской нервотрёпкой впоследствии по выдёргиванию всего заархивированного из непрерывного архива назад (а пользователи потребуют что-либо, это вне всякого сомнения), либо cp -ral в архивное место хранения на год-два с зипованием для хранения, чисткой и выдёргиванием "нужного старья" из архива назад. Второе - переход на распределённое хранилище типа Ceph с кучкой небольших серверов по 1-2-4Тб хранения с сохранением каждого элемента хранения в 2-3 местах. Разумеется, можно и даже желательно объединить оба варианта изменений. Но возникает вопрос - пробовал ли кто-нибудь ставить и конфигурить Ceph? Есть смысл ставить его на Debian с нуля, или взять что-то типа Proxmox или подобное?

[oermolaev]

По поводу архиватора: Zstandard. Он теперь по умолчанию в том же Proxmox. И есть ещё Proxmox Backup Server - полгода полёт нормальный.

[endru]

По поводу архивирования, zstd - должен помочь.
По поводу rsync - ну не надо ей скармливать столько файлов) Это чревато) Проблема вижу началась с того, что нет четкой структуры файлов, какие нужны а какие нет. Тогда можно было бы синхронить в первую очередь директории с более важными файлами, а после остальные.

Ceph поможет. Он быстрее будет делать реплику, т.к. ему не нужно сверять структуру каждый раз.

Вообще не понятно откуда столько файлов, и зачем они нужны?) Тем более за такой большой строк хранения в их актуальности я бы давно усомнился. Я делаю так, автоматом раз в месяц ищу файлы которые не находится в папке "ВАЖНО" и срок которых более 1 года и перемещаю их в спец папку "НА УДАЛЕНИЕ", если за полгода этот файл от туда не выдернули - он пропадет навсегда)

[dzhoser]

Не проще ли сделать систему типа SVN/GIT и обслуживать репозиторий?

[ogost]

Не проще ли сделать систему типа SVN/GIT и обслуживать репозиторий?

SVN захлёбывается и на гораздо меньших количествах файлов, чем нужно ТС. Git в разы лучше, но объёмы в терабайты я туда не запихивал, думаю он тоже захлебнётся.

[gardarea51]

Подскажу глупую идею ))
Храните раз в месяц "дисками" 
Выдергиваете один, вставляете пустой, рэйд синхронизируется ))

[TheBigSnake]

Сталкивался с такой проблемой как у ТС.
Решение нашел такое: выделил на samba ресурс Arhive с полной структурой домашних каталогов и раз в год переношу на этот ресурс все файлы старше 1-го января предыдущего года.
Таким образом в домашних dir пользователей лежат документы, которыми они пользовались, а остальное на архивном ресурсе
BackUp версию архивного ресурса делать раз в год придется. Пользовательских ресов - хоть каждый день.

[PbI6A]

Выдалось более-менее свободное время... Откопал старый сломанный виртуальник на ML110, на котором когда-то в доисторические времена (пару лет назад) вертелись почта с проксёй, скинул старые винты (наработка более 90000 часов! , воткнул чуть более новые, поднял аналогичный виртуальник на Devuan Beowulf с libvirtd (установка системы и виртуальника с перерывами на другие работы ~2ч), ставлю первую гостевуху, тоже Devuan. Как будут продвижения, напишу.