Backup oder Archiv?

[Tim Ritberg]

Tach!

Es ist ja schon schön und nützlich ein Backup zu haben. Software gibt's
da genug.

Der einfachste Fehlerfall ist ein Plattenausfall/Computertotalausfall.
Man muss also ans Backup und alles wiederherstellen.

Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.

Wie prüft ihr das?

Tim

[Gregor Szaktilla]

... was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Gerade wegen dieses Problems habe vor ein paar Monaten entschieden, gar
nicht mehr zu rotieren.

Für meine private Datensammlung kann ich das gut tun, weil Speicherplatz
mittlerweile ziemlich billig ist und sich meine Datensammelwut in
Grenzen hält. Wenn mein Backup-Laufwerk wieder voll-ge-rsynct ist,
wandert es in die Schublade und wird einfach durch ein neues ersetzt.
Bis die Schublade voll ist, dauert's noch viele Jahre.

Gruß

Gregor

[Hermann Riemann]

Post by Gregor Szaktilla

... was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Gerade wegen dieses Problems habe vor ein paar Monaten entschieden, gar
nicht mehr zu rotieren.
Für meine private Datensammlung kann ich das gut tun, weil Speicherplatz
mittlerweile ziemlich billig ist und sich meine Datensammelwut in
Grenzen hält. Wenn mein Backup-Laufwerk wieder voll-ge-rsynct ist,
wandert es in die Schublade und wird einfach durch ein neues ersetzt.
Bis die Schublade voll ist, dauert's noch viele Jahre.

Jahre?
<Loading Image...>

rsync schützt nicht vor Fehler in Dateien
Der Dateivergleich mit Python3 (os.walk +
if open(datei1,"rb").read()==open(datei2,"rb").read():..
dauert spürbar länger als rsync.

Problem mit Urzeiten sind noch ISO-utf-Probleme,
Neuübersetzungen bringen neue warnings bzw. Fehlermeldungen
( grr z.B.: const in C-Argumentliste )
Neue Programme können mit alten Daten eventuell nichts anfangen.
( erlebt bei office unter Linux nach einigen Jahren )

System wieder herstellen?
Da hat sich /etc/irgendwa etc inkompatibel geändert
( Daher ziehe ich (seltene) Neuinstallationen vor gegenüber
Sicherung von Systemdateien ( Ausnahmen .emacs /etc/fstat etc )

Die Umstellung von SDL1 auf SDL2 ist noch im Rohbau,
SDL3 ist schon angekündigt..

Und dann gibt es noch neben vielen Platten ( intern M2, SSD, HD )
USB ( HD, SSD, USB-sticks und SD Karten deren Datensicherung..
Und die Trennung Filme und andere Dateien.

Und das Wachstum doppelter Dateien schneller als
jegliche manuelle Sortierung.

Hermann
momentan an seine Sicherungsverwaltung bastelnd.

[Tim Ritberg]

Post by Gregor Szaktilla
Gerade wegen dieses Problems habe vor ein paar Monaten entschieden, gar
nicht mehr zu rotieren.
Für meine private Datensammlung kann ich das gut tun, weil Speicherplatz
mittlerweile ziemlich billig ist und sich meine Datensammelwut in
Grenzen hält. Wenn mein Backup-Laufwerk wieder voll-ge-rsynct ist,
wandert es in die Schublade und wird einfach durch ein neues ersetzt.
Bis die Schublade voll ist, dauert's noch viele Jahre.

Ähm ja...
Mit Borgbackup habe ich eine brauchbare Deduplizierung. Ich habe als
maximales Alter 2 Jahre festgelegt. Mal schauen wie das platzmäßig sich
gibt. Ist trotzdem keine dauerhaft gute Lösung.

Tim

[Markus Schaaf]

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Leider gar nicht. Obwohl ich mir dieses Problems seit Jahren
bewusst bin. Bestimmte Dinge, wie abgeschlossene Projektordner
kopiere ich in ein extra Archiv. Man könnte bestimmte
Verzeichnisse extra in ein Append-only-Repository sichern. Oder,
was semantisch "am richtigsten" erscheint, Dateien, die man nie
löschen will, in eine Versionskontrolle übernehmen.

MfG

[Tim Ritberg]

Leider gar nicht. Obwohl ich mir dieses Problems seit Jahren bewusst
bin. Bestimmte Dinge, wie abgeschlossene Projektordner kopiere ich in
ein extra Archiv. Man könnte bestimmte Verzeichnisse extra in ein
Append-only-Repository sichern. Oder, was semantisch "am richtigsten"
erscheint, Dateien, die man nie löschen will, in eine Versionskontrolle
übernehmen.

Schreibrechte wegnehmen könnte eine Lösung sein.

Tim

[Kay Martinen]

Post by Tim Ritberg

Leider gar nicht. Obwohl ich mir dieses Problems seit Jahren bewusst
bin. Bestimmte Dinge, wie abgeschlossene Projektordner kopiere ich in
ein extra Archiv. Man könnte bestimmte Verzeichnisse extra in ein
Append-only-Repository sichern. Oder, was semantisch "am richtigsten"
erscheint, Dateien, die man nie löschen will, in eine
Versionskontrolle übernehmen.

Schreibrechte wegnehmen könnte eine Lösung sein.

Das hilft aber auch nicht gegen Bit-Rot auf dem Datenträger. Und es
würde auch das über(schreiben) mit einer intakten Kopie; wenn man noch
eine findet; verhindern.

Bevor einer Fragt: die dateien immutable setzen produziert das gleiche
problem.

Da bin ich selbst mal drauf "reingefallen" als ich so meine resolv.conf
vor unerwünschten Veränderungen geschützt hatte. Dann war ich doch mal
am anderen Ort und hatte das +I vergessen und der Editor streikte. ;)

Bye/
/Kay

[Tim Ritberg]

Post by Kay Martinen
Das hilft aber auch nicht gegen Bit-Rot auf dem Datenträger. Und es
würde auch das über(schreiben) mit einer intakten Kopie; wenn man noch
eine findet; verhindern.

Vielleicht- tut's das:
https://manpages.ubuntu.com/manpages/trusty/man8/fcheck.8.html

Tim

[Kay Martinen]

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.

Theoretische Überlegung: Man könnte ein Verzeichnis-listing separat
speichern und damit ein diff machen. Was z.b. früher auf vielen
ftp-servern im hauptverzeichnis lag hieß damals schon so wie der Befehl
der es anlegt 'ls -RL' auf einem Dateisystem.

Post by Tim Ritberg
Wie prüft ihr das?

Derzeit nicht. Wäre aber eine Überlegung wert.

Bye/
/Kay

[Christoph Brinkhaus]

Post by Kay Martinen

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.

Theoretische Überlegung: Man könnte ein Verzeichnis-listing separat
speichern und damit ein diff machen. Was z.b. früher auf vielen
ftp-servern im hauptverzeichnis lag hieß damals schon so wie der Befehl
der es anlegt 'ls -RL' auf einem Dateisystem.

Post by Tim Ritberg
Wie prüft ihr das?

Derzeit nicht. Wäre aber eine Überlegung wert.

Das erledige ich zur Zeit mit mtree. Damit speichere ich den Inhalt plus
Checksummen. Da sich im Archiv nur wenig ändern sollte, überprüfe ich
dessen Checksummen nur gelegentlich. Bei anderen Zielen überprüfe ich
damit auch nach einem Backup, ob die gesichteren Daten die gleichen
Checksummen haben.

Viele Grüße,
Christoph

[Eberhard W Lisse]

On 13/02/2025 14:13, Tim Ritberg wrote:
[...]

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten
möchte. Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup
und sind dann für immer weg.

[...]

Ich würde das mit Unison machen und ggfs soetwas wie cronopete, also
wie auf dem Mac.

Unison is wie ich kürzlich feststellte, als ich meinen Pantera Pico, den
ich nicht mehr für die Praxis brauchte und mit Ubuntu 24.04.1 LTS
bestückte, dort bereits vorinstalliert.

el

[Peter J. Holzer]

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Eigentlich gar nicht.

Aber:

* Wichtige Dinge sind bei mir (fast immer) in Git-Repos. Da ist alles
gehasht und der aktuelle Stand auch meistens mindestens dreimal
vorhanden (weil das Repo auch irgendwo geklont und ausgecheckt ist).
* Backups werden bei mir nie gelöscht. Wenn die USB-Disk voll ist, kommt
sie ins Archiv.[1] Theoretisch sollte ich jedes File, das jemals[2]
für mehr als einen Tag existiert hat, finden[3] und restoren[4] können.

hp

[1] Derzeit sind das bei mir ca. 3 10TB-Disks pro Jahr. Das kann ich mir
leisten.
[2] Naja, seit ich das angefangen habe, also 2010. Und außerdem gibt es
ein paar Lücken, weil ich manchmal etwas schlampig im Kontrollieren
bin.
[3] Wenn ich noch ungefähr weiß, wie das File geheißen hat oder sonstige
ausreichend eninschränkende Kriterien bekannt sind.
[4] Wenn ich die Disk noch lesen kann, was bei 15 Jahre alten Disks
keine Selbstverständlichkeit mehr ist. Aber besser als Bänder, für
die ich kein Laufwerk mehr habe ;-)

[Marcel Mueller]

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Ich halte die Backups auch ewig. Nicht alle, aber halt immer mal
einzelne. Früher habe ich halt so einen Satz DLTs oder LTOs im Jahr
aufgehoben. Mittlerweile sind es deduplizierte Snapshots von rsnapshot.

Tatsächlich hatte ich schon Fälle wo mir vergleichbares passiert ist.
Einer davon ist immer noch pending, weil er sehr lange her ist und
mittlerweile alle 3 DLT-Laufwerke verreckt sind. Muss eins endlich mal
flicken, aber diese TSOP-Chips auslöten ist echt eine Pest.


Marcel

[Tim Ritberg]

Post by Marcel Mueller

Post by Tim Ritberg
Aber was ist, wenn ein paar Dateien verschwinden, so ganz tief im
Verzeichnisbaum. Das bekommt man doch kaum mit. Vor allem nicht bei
Daten, die man vor Urzeiten angelegt hatte und einfach nur behalten möchte.
Irgendwann rotieren diesen "verlorenen" Daten aus dem Backup und sind
dann für immer weg.
Wie prüft ihr das?

Ich halte die Backups auch ewig. Nicht alle, aber halt immer mal
einzelne. Früher habe ich halt so einen Satz DLTs oder LTOs im Jahr
aufgehoben. Mittlerweile sind es deduplizierte Snapshots von rsnapshot.
Tatsächlich hatte ich schon Fälle wo mir vergleichbares passiert ist.
Einer davon ist immer noch pending, weil er sehr lange her ist und
mittlerweile alle 3 DLT-Laufwerke verreckt sind. Muss eins endlich mal
flicken, aber diese TSOP-Chips auslöten ist echt eine Pest.

Ich benutzte jetzt fcheck 1x in der Woche für besonders wichtige
Dateien.

Tim