Александр Машин (alex_mashin) wrote,
Александр Машин
alex_mashin

Category:

Большие данные

В течение десяти суток с лишним заливал с помощью rsync около 6,8ТБ данных с массива btrfs на новый жёсткий диск объёмом 10ТБ под ext4. В это время, понятно, ни один из двух массивов данных полностью функционален не был: на старый уже не имело смысла записывать что-то новое, а новый был неполон.

Затем выполнял замену диска в 3ТБ на диск в 8ТБ в вышеупомянутом массиве btrfs с помощью btrfs replace чуть меньше полутора суток. Практически, около 2,3ТБ данных было перемещено на новый диск; при этом массив оставался полностью работоспособен, хоть и подтормаживал.

Я это к чему пишу? Именно из-за своего размера, новые жёсткие диски уже не могут использоваться просто так, по одному, потому что отношение их объёма к эффективной пропускной способности реальных систем (в моём случае, узкими местом, очевидно были не диски или их интерфейс) непозволительно велико: таких перерывов в работе никто не может себе позволить.

Нужно собирать их в массивы с помощью mdm, lvm, btrfs или zfs. С решениями под Windows всё не столь благополучно, как я понимаю. Можно попробовать аппаратный RAID, если есть лишние деньги — контроллер может стоить дороже любого вменяемого домашнего сервера — и отвага, потому что, что делать, если RAID превратился в тыкву, а дядюшка Ляо, который его делал, покинул рынок?

Чтобы сделать массив дисков, позволяющий замену с сохранением функциональности, нужна квалификация, несколько превосходящая «уверенного пользователя ПК», а установка нового диска превращается в целую операцию. Следовательно, не каждый сможет хранить большие, по домашним меркам, объёмы данных.

Мне могут возразить: на рынке уже появляются многотерабайтные твердотельные накопители с новыми интерфейсами (SAS, например), у которых эффективная пропускная способность выше. На это я отвечу: за те годы, пока производители будут снимать сливки с корпоративного рынка, требуя невменяемых цен, объёмы данных снова вырастут, съев прирост пропускной способности. Причём заменять надо будет не только диски, но и материнские платы.

Ностальгический P.S. Свою первую дискету объёмом 1,4 МБ я получил в подарок в школе в 1990-ом году, по результатам успехов то ли в каком-то компьютерном конкурсе, то ли каких-то дополнительных курсов. С тех пор объём носителей у меня вырос примерно в 34 миллиона раз. Это несколько быстрее закона Мура (прирост примерно 88% в год против 50% (поправка 12 июня 2017: я плохо помнил цифры в законе Мура. Я думал, что он говорит об увеличении на 50% за год, а там удвоение за два года, что даёт примерно 41,4% в год. Впрочем, тем больше разница)). Возможно, в этом и корень проблемы с отношением объёмов хранилищ и их пропускной способности.

Tags: ИТ
Subscribe

  • Рокировочка

    Как хорошо было бы, если бы Главное оперативное управление Генерального штаба так быстро перебрасывало бы свои резервы и концентрировало силы,…

  • Раскачка национального вопроса

    Украинские уши могут торчать не только из  военкурвомахии. Например, за недавним скандалом на ровном месте о синекуре имени Ивана Ильина для…

  • Военкоры

    Есть публика, которая от  военкоров, которых она называет военкурвы, извиняюсь за выражение, исходит на говно. Как мне только что пришло в голову,…

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 5 comments