Александр Машин (alex_mashin) wrote,
Александр Машин
alex_mashin

Большие данные

В течение десяти суток с лишним заливал с помощью rsync около 6,8ТБ данных с массива btrfs на новый жёсткий диск объёмом 10ТБ под ext4. В это время, понятно, ни один из двух массивов данных полностью функционален не был: на старый уже не имело смысла записывать что-то новое, а новый был неполон.

Затем выполнял замену диска в 3ТБ на диск в 8ТБ в вышеупомянутом массиве btrfs с помощью btrfs replace чуть меньше полутора суток. Практически, около 2,3ТБ данных было перемещено на новый диск; при этом массив оставался полностью работоспособен, хоть и подтормаживал.

Я это к чему пишу? Именно из-за своего размера, новые жёсткие диски уже не могут использоваться просто так, по одному, потому что отношение их объёма к эффективной пропускной способности реальных систем (в моём случае, узкими местом, очевидно были не диски или их интерфейс) непозволительно велико: таких перерывов в работе никто не может себе позволить.

Нужно собирать их в массивы с помощью mdm, lvm, btrfs или zfs. С решениями под Windows всё не столь благополучно, как я понимаю. Можно попробовать аппаратный RAID, если есть лишние деньги — контроллер может стоить дороже любого вменяемого домашнего сервера — и отвага, потому что, что делать, если RAID превратился в тыкву, а дядюшка Ляо, который его делал, покинул рынок?

Чтобы сделать массив дисков, позволяющий замену с сохранением функциональности, нужна квалификация, несколько превосходящая «уверенного пользователя ПК», а установка нового диска превращается в целую операцию. Следовательно, не каждый сможет хранить большие, по домашним меркам, объёмы данных.

Мне могут возразить: на рынке уже появляются многотерабайтные твердотельные накопители с новыми интерфейсами (SAS, например), у которых эффективная пропускная способность выше. На это я отвечу: за те годы, пока производители будут снимать сливки с корпоративного рынка, требуя невменяемых цен, объёмы данных снова вырастут, съев прирост пропускной способности. Причём заменять надо будет не только диски, но и материнские платы.

Ностальгический P.S. Свою первую дискету объёмом 1,4 МБ я получил в подарок в школе в 1990-ом году, по результатам успехов то ли в каком-то компьютерном конкурсе, то ли каких-то дополнительных курсов. С тех пор объём носителей у меня вырос примерно в 34 миллиона раз. Это несколько быстрее закона Мура (прирост примерно 88% в год против 50% (поправка 12 июня 2017: я плохо помнил цифры в законе Мура. Я думал, что он говорит об увеличении на 50% за год, а там удвоение за два года, что даёт примерно 41,4% в год. Впрочем, тем больше разница)). Возможно, в этом и корень проблемы с отношением объёмов хранилищ и их пропускной способности.

Tags: ИТ
Subscribe

  • К вопросу о неолитической революции

    Запись о неолитической революции, сильно перекликающаяся с моей старой записью «Мрачные мысли о неолитической революции».

  • РАО «ЕГС Романи́и»

    Вчера прочитал несколько статей о древнеримских мельницах ( 1, 2, 3), и вот какая картина у меня сложилась по результатам. Водоснабжение в Древнем…

  • Момент истины

    Нам посчастливилось дожить до разоблачения самой грандиозной лжи последних веков — лжи о том, что последовательно называлось просвещением,…

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 5 comments