Heute hab ich durch Zufall einen für mich neuen Robotnamen in einer robots.txt entdeckt: ia_archiver
Der ia_archiver ist der nette kleine Robot der Waybackmachine.
Die Waybackmachine spidert seit Jahren bestehende Seiten und speichert diese in unregelmäßigen Abständen auf den eigenen Servern zwischen, somit ist es für die Nachwelt jederzeit möglich sich ein älteres Abbild einer Seite anzeigen zu lassen. Wie sah z.B. Microsoft.com vor fast 12 Jahren aus? Oder wie lange existiert eine Domain schon in etwa?
Für die meisten ist es sicherlich kein Problem das das Veröffentlichte dort wohlmöglich auf alle Ewigkeiten zwischengespeichert wird. Wer jedoch zu 100% darüber entscheiden möchte für wie lange die eigenen Inhalte für die Nachwelt verfügbar bleiben, der hat über die robots.txt eine einfache Möglichkeit die Archivierung seiner Seite auch nachträglich abzuknipsen.
User-agent: ia_archiver Disallow: /
Zack, innerhalb von ein paar Stunden ist das Archiv zu eurer Domain nicht mehr zugänglich. Natürlich ist es hier auch möglich nur einzelne URLs oder Unterordner für die Archivierung zu sperren.
