lqp - FS для файлопомойки
January 8th, 2018
07:03 am

[Link]

Previous Entry Add to Memories Tell A Friend Next Entry
FS для файлопомойки
В какую файловую систему посоветуете разметить внешний диск для файлопомойки (коллекции фильмов, грубо говоря)?

Граничные условия
1) Оно будет использоваться в основном на Linux-машине.
2) Но в случае чего желательно иметь возможность прочитать его и из-под винды (возможность записи не столь важна, но неплохо бы и это тоже)
3) Нагрузка небольшая, необходимая производительность небольшая, все равно оно будет втыкаться в USB-хаб.
4) Сам диск сомнительного качества и будет использоваться вплоть до физического разрушения. То есть Data Recovery есть _ожидаемый_ этап его будущей жизни. Там нет ничего такого, что нельзя бы было в принципе восстановить из интернета, но количество подлежащего такому восстановлению хотелось бы минимизировать. Соответственно, средства для Recovery должны иметься в ассортименте.
5) Размер диска 2 TБ, размер файлов может быть в несколько гигабайт, так что FAT не очень.

Я пока что склоняюсь к ext2, вроде бы под виндой есть к нему драйвер, но может у кого есть другие соображения?

Tags: ,

(30 comments | Leave a comment)

Comments
 
[User Picture]
From:[info]tiphareth
Date:January 8th, 2018 - 02:32 am
(Link)
реально в 80% случаев диск летит целиком (летит, типа, контроллер)
и восстановить все равно не получается. Поэтому я всегда ставлю 2 диска,
соединенные в mirror array. Когда 1 диск, но реально нужно recovery,
пойдет raid5 или raid6, порезать диск на 5 равных частей и пользоваться.
https://en.wikipedia.org/wiki/Standard_RAID_levels#RAID_5
Ну и ext4 поверх этого (ты, возможно, собираешься вручную собирать
остатки файлов из сломанной ext2, я это несколько раз делал и не советую,
возни дофига слишком, проще юзать присущую рэйду от природы
error-correction)
[User Picture]
From:[info]tiphareth
Date:January 8th, 2018 - 02:37 am
(Link)
хотя, по зрелом размышлении, идея делать raid из партиций на одном
диске совершенно мудацкая, не надо это: перформанс полетит к чертям
From:(Anonymous)
Date:January 8th, 2018 - 08:34 am
(Link)
Это идея пиздец какая мудацкая
Когда нужно recovery, делается бэкап (и да, классика — RAID ЭТО НЕ БЭКАП)
То есть любой RAID, хоть бы и из 100500 дисков
From:(Anonymous)
Date:January 8th, 2018 - 05:23 am
(Link)
Контроллер это фигня, только вот в 80% (да в 99%) случаев летит не контроллер, а поверхность блинов или механика, и тут уже точно ничего не восстановишь, как правило.

> То есть Data Recovery есть _ожидаемый_ этап его будущей жизни.
Для домашних данных? Не смешите меня. Цена будет такая, что лучше заранее четыре диска в mirror поставить.
From:[info]lqp
Date:January 8th, 2018 - 11:39 am
(Link)
А какая цена?

Купить новый диск, поставить прогоняться dd-rescue на недельку, на результат напустить gpart если нужно, fsck, debugfs, из логов выцедить списко таки побитого файла для поиска в интернетах (менее 1% обычно).

Что здесь такого ужасного? Ну да, несколько часов хлопот. Но уже то, что диск надо будет покупать не сейчас, а потом, когда он реально понадобится - хлопоты вполне окупает.

>Контроллер это фигня, только вот в 80% (да в 99%) случаев летит не контроллер, а поверхность блинов или механика, и тут уже точно ничего не восстановишь, как правило.

Иными словами, никакого собственного опыта на этот счет у Вас нет, а вы рассказываете то, что прочитали в журнале "Мурзилка".
From:(Anonymous)
Date:January 8th, 2018 - 12:46 pm
(Link)
:facepalm: блядь, я больше ничего не могу сказать. Fsck, dd-rescue — ты ебанутый? Когда у тебя головка блин запиливает или хотя бы адаптивы по пизде пошли?
From:[info]lqp
Date:January 8th, 2018 - 11:17 am
(Link)
Вот у меня на полке штук восемь дисков, сдохших за последние десять лет (не только у меня сдохших). Ни у одного из них не полетел контроллер.

Некоторые из них вероятно и вообще физически исправны, а бэд-блоки возникли из-за скачка напряжения во время записи, перегрева пластин итп.

Я как раз собираюсь это проверить, низкоуровнево отформатировать их, отрезать бэды и использовать для низкоприоритетных данных. Таких, для которых и одного-то нового диска жалко, не то что RAID покупать.

Я не вижу, чем для моих целей ext4 лучше чем ext2. Журнал там скорее вреден, повышение производительности пофиг. И все остальное там слишком тонко, слишком сложно и мне не нужно. А где тонко там рвется.

Для файлопомоек (где файлы меняются сравнительно редко) существуют способы устроить избыточность поверх файловой системы, может быть потом что-нибудь в этом роде и накачу.
From:(Anonymous)
Date:January 8th, 2018 - 01:53 pm
(Link)
>проверить, низкоуровнево отформатировать их, отрезать бэды и использовать для низкоприоритетных данных.

зачем возиться с каким-то старым трешем, который ещё и гигнется не сегодня-завтра в эксплуатации? неинтересно, опыта полезного не приобретешь.
From:(Anonymous)
Date:January 8th, 2018 - 02:42 pm
(Link)
а у меня ни одного ни сдохло за последние 15 лет из 7

вы их с собой носите что ли, на стол кладете с ударом?
From:[info]lqp
Date:January 8th, 2018 - 03:01 pm
(Link)
в частности это

http://lj.rossia.org/users/lqp/593684.html

недавно узнал, что это называется idle3
From:[info]aceler
Date:January 8th, 2018 - 03:11 am
(Link)
Ext4. Прекрасно читается из-под винды и нормально работает на больших размерах разделов. У ext2 нет средств восстановления, поскольку нет журнала. Ну то есть fsck, конечно, есть, но качество его работы ниже, чем для ext4.

Главное, не забыть -m 0, чтобы не резервировал место почём зря.
From:(Anonymous)
Date:January 8th, 2018 - 12:47 pm
(Link)
Я бы, кстати, не страдал хуйнёй и форматировал бы в NTFS. Любой линукс прочитает и запишет, но бонусом внезапно и любая винда прочитает и запишет.
From:[info]lqp
Date:January 8th, 2018 - 12:58 pm
(Link)
У меня был диск в NTFS.

Действительно все легко и просто - пока с диском и с самой NTFS все в порядке. Но fsck для нее нет, и доступ только через FUSE. Последнее означает, что никакие низкоуровневые утилиты типа dd не работают (как им полагается). А обработка ошибок, как бы это сказать помягче, весьма нестандартна и может поставить систему в очень странную позу.

Больше не хочу, короче говоря.
From:(Anonymous)
Date:January 8th, 2018 - 02:36 pm
(Link)
> Но fsck для нее нет
Дык и chkdsk для ext* нет.
From:[info]lqp
Date:January 8th, 2018 - 03:03 pm
(Link)
Ну то есть по любому чиху идти искать винду (а наличная винда - слабосильный нетбук, который чекать будет сутки-двое).

Это уже не говоря о том, что и под виндой chkdsk мягко говоря не фонтан.
From:(Anonymous)
Date:January 8th, 2018 - 04:02 pm
(Link)
По любому чиху искать fsck это ещё более удивительная история.
я.
From:[info]aceler
Date:January 8th, 2018 - 01:08 pm
(Link)
Под линуксом скорость не та. Если пользоваться в основном под линуксом, то лучше всё же ext4, никакой проблемы поставить ext драйвер для винды нет.
From:(Anonymous)
Date:January 8th, 2018 - 02:37 pm
(Link)
Какая нахуй скорость для внешнего винта, вы ёбнулись, что ли?
Тифаретник лором укушен походу.
From:(Anonymous)
Date:January 8th, 2018 - 02:38 pm
(Link)
Ну да, не внешнего, под киношки — это охуеть разница.
From:(Anonymous)
Date:January 8th, 2018 - 02:45 pm
(Link)
USB3 у меня копирование с внешки 100 мб/сек, по-моему норм
From:[info]aceler
Date:January 8th, 2018 - 03:13 pm
(Link)
Да, линуксоидам плавный просмотр видео ни к чему, я забыл.
From:(Anonymous)
Date:January 8th, 2018 - 04:04 pm
(Link)
Они там tearing победили? я не в курсе как-то с MPC-BE
Ну то есть интересна жизнь гельминитов
From:[info]aceler
Date:January 8th, 2018 - 04:14 pm
(Link)
У меня на Wayland всё работает, на слабые машинки лучше ставить Wayland. Но что там у ТС за комбинация видеокарты/дистрибутива — это пусть он сам разбирается.
From:(Anonymous)
Date:January 8th, 2018 - 06:38 pm
(Link)
Использую mpv, никакого тиринга. ЧЯДНТ?
From:[info]lqp
Date:January 8th, 2018 - 07:41 pm
(Link)
Нужно очень уж крутое видео, чтобы создать поток в более двух мегов в секунду (USB2). С точки зрения производительности фс же это - копейки.
From:[info]aceler
Date:January 8th, 2018 - 08:32 pm
(Link)
Драйвер NTFS находится в пользовательском пространстве. Замирание всего I/O при нагрузке на процессор позволяет вернуть Те Самые Ощущения от Windows 95 на контроллере без DMA.

Впрочем, хозяин - барин.
From:[info]lqp
Date:January 9th, 2018 - 07:42 am
(Link)
Где-то еще работают одноядерные процессоры?
From:[info]aceler
Date:January 9th, 2018 - 12:04 pm
(Link)
Ты ж сам писал, что ноутбук слабый :-)

Впрочем, это уже теоретические изыскания.
From:[info]lqp
Date:January 9th, 2018 - 07:47 am
(Link)
Подумал и таки поставил ext3.

Действительно, оказывается существуют средства, позволяющие извлечь полезную информацию из журнала.

С другой стороны, пишут что ext4 менее надежна чем ext3 из-за barriers.
From:[info]aceler
Date:January 9th, 2018 - 12:03 pm
(Link)
А вот это хорошая шутка. ext3 на 2Тб разделе будет проверяться при помощи fsck часа 4 :-)
Powered by LJ.Rossia.org