Форматы двоичных файлов: необходимость исправления ошибок?

Question

Мне нужно сериализовать некоторые данные в двоичном формате для эффективности (datalog, где типичны файлы 10-100 МБ), и я разрабатываю детали форматирования. Мне интересно, реально ли мне беспокоиться о повреждении файла/исправлении ошибок/и т. Д.

Каковы обстоятельства, при которых может произойти повреждение файлов? Должен ли я строить устойчивость к коррупции в своем двоичном формате? Или я должен обернуть поток nonrobust-to-коррупции с помощью какого-то кода с исправлением ошибок? (любые предложения? Я использую Java). Или мне просто не нужно беспокоиться об этом?

редактировать: предварительных двоичный формат, так как у меня есть это прямо сейчас, содержит кучу сегментов переменной длины, поэтому я немного обеспокоен тем, что если я когда-либо повреждение данных, то при чтении его обратно, я мог бы получить не синхронизируется и не может восстановить +, я теряю остальную часть файла.

Answer 1

Я пошел с Reed-Solomon encoding system.. Есть довольно простой в использовании Java implementation на Java в библиотеке Google zxing.

Answer 2

Вы должны хотя бы добавить контрольную сумму. BER хорош на современных жестких дисках, но это не так для других медиа. Потеря мощности во время записи обычно развращает конец файла. Если данные важны, для совершения транзакций вам понадобятся коды исправлений ошибок, триплексные и небуферизованные записи и т. Д.

EXE не имеет исправления ошибок, а однократное изменение может иметь серьезные последствия.

Если файл переносится через TCP, вы можете принять нулевые ошибки.

Answer 3

Я видел, как это случалось раз или два, что файл, перенесенный через Интернет, был поврежден. Вы можете выполнить обнаружение ошибок с помощью контрольной суммы, такой как SHA256.

Answer 4

Возможно, вас заинтересует notes on error detecting codes in HDF5. Где и какая контрольная сумма зависит от того, как вы получаете доступ и обновляете данные, а также то, что является полезным фрагментом для обнаружения ошибки.