highly redundant file system

[amarao]

А вот у меня такая идея: файловая система, в которой данные кодируются с избыточностью, таким образом, чтобы всё доступное место использовалось. Всегда.

Чем меньше данных на файловой системе, тем более устойчива она к повреждениям. Да, я понимаю, что она будет невероятно медленной и для записи любых данных нужно будет полностью перезаписывать всё блочное устройство, так что, вероятнее всего, она должна будет работать с кеширующим слоем сверху.

Грубо говоря, если файловая система 500Мб, и на ней хранится 25Мб данных, то файловая система обеспечивает 20-кратную избыточность. Записал ещё 25Мб? Стала 10-кратная избыточность.

Comments

[ex0_planet]

Это не так. Даже система просто из N избыточных копий (просто копий) этим свойством обладает: в пустую исходно ФС мы пишем файл 1.txt и N его копий (до заполнения), потом когда мы хотим записать 2.txt мы удаляем N/2 копий 1.txt и пишем туда 2.txt и N/2 его копий.

Будет ли какой-то избыточный код лучше (эффективнее? гибче?) чем просто копии я не могу сказать, но весьма вероятно что да.

[amarao]

Нет, не обладает. У меня есть 10Гб пространства, там находится десять файлов по 10 Мб. (то есть 100 Мб полезных данных, избыточность 100).

Предположим, у меня всё было на рейд0 с страйпингом, допустим, 1Мб. Один диск умер. Теперь у меня отсутствует каждый чётный мегабайт. Сколько бы копий файла у меня не было на файловой системе, каждый второй мегабайт в каждой копии отсутствует.

Именно потому и нужно erasure coding, так, чтобы любые блоки при правильном декодировании могли бы помочь с восстановлением оригинала.

[ex0_planet]

Это для любой parity-схемы так, то что можно подобрать такой паттерн выбивания блоков, который приведёт к её отказу. Что просто означает что не надо использовать parity-коды. Ну и также и то, что схема с M копиями непрактична, но это мы и так знали :)

Нужным тебе свойством, кажется, обладают (как выяснилось после непродолжительного гугления) fountain-коды, некоторые даже стандартизированы в RFC, там можно отбрасывать блоки без пересчёта, а восстанавливать исходные N блоков из N' любых других (N' слегка больше N).