Sonntag, 1. September 2019
Änderungen an robots.txt werden nicht übernommen
Hallo allerseits,
erstmal ein herzliches Dankeschön für blogger.de, das ja wohl hauptsächlich an Dirk geht, wenn ich das richtig verstehe.
Meine Frage bezieht sich auf den Bereich Layout --> Skins --> Site Layout --> Various other skins --> Search robot restrictions
Wenn ich die Datei ändere, wird trotzdem für meine Subdomain die Standard-Robots-Datei ausgegeben (malwasanderes.blogger.de/robots.txt). Weder sind meine Einträge die neue robots.txt, noch werden sie der Standard-Datei angehängt oder sonstwie hinzugefügt.
Ist das Absicht, und wenn ja, welche, oder mache ich was falsch? Ist ja schon irritierend, wenn es eine Option gibt, dort etwas zu ändern, das dann aber nicht wie erwartet funktioniert.
Vielen lieben Dank!
P.S.: Wenn ich mir die diff anzeigen lasse, sehe ich, dass schon die Vorgabe nur einen winzigen Bruchteil der gesamten tatsächlichen robots.txt enthält, nämlich
erstmal ein herzliches Dankeschön für blogger.de, das ja wohl hauptsächlich an Dirk geht, wenn ich das richtig verstehe.
Meine Frage bezieht sich auf den Bereich Layout --> Skins --> Site Layout --> Various other skins --> Search robot restrictions
Wenn ich die Datei ändere, wird trotzdem für meine Subdomain die Standard-Robots-Datei ausgegeben (malwasanderes.blogger.de/robots.txt). Weder sind meine Einträge die neue robots.txt, noch werden sie der Standard-Datei angehängt oder sonstwie hinzugefügt.
Ist das Absicht, und wenn ja, welche, oder mache ich was falsch? Ist ja schon irritierend, wenn es eine Option gibt, dort etwas zu ändern, das dann aber nicht wie erwartet funktioniert.
Vielen lieben Dank!
P.S.: Wenn ich mir die diff anzeigen lasse, sehe ich, dass schon die Vorgabe nur einen winzigen Bruchteil der gesamten tatsächlichen robots.txt enthält, nämlich
User-agent: * Disallow: /referrers Disallow: /mostread
Mir ist das unter anderem deswegen wichtig, weil ich nicht möchte, dass das Blog bei archive.org archiviert wird; das erreicht man nur über die robots.txt:
User-agent: ia_archiver Disallow: /
malwasanderes, 01. Sep 2019, 18:22
| link
... kommentieren
Hat tatsächlich niemand dazu eine Idee?
malwasanderes, 06. Sep 2019, 19:46
| link
Sehr dunkel erinnere ich mich, daß das Thema vor 15 Jahren schon mal behandelt wurde - ich meine, daß die robots.txt in den einzelnen Blogs eher dekorativen Charakter hat (nur die von der Hauptdomain blogger.de wird ausgelesen?). Ich glaube, einige meta-Befehle in der "main page"-Skin funktionieren, falls das hilft (Bilder aus der Indizierung lassen usw.)
Erstmal danke, @kid37!
Weiß jemand, ob Dirk Olbertz hier mitliest? Oder ist es angebracht, ihn via E-Mail mit sowas zu behelligen?
… in den einzelnen Blogs eher dekorativen Charakter hat …Schade! Und verwirrend, dass dann eine Editiermöglichkeit sozusagen »vorgegaukelt« wird.
… einige meta-Befehle in der "main page"-Skin funktionieren, falls das hilft …Nein, leider nicht. Wie oben beschrieben, lässt sich das Archivieren durch archive.org nur mit dem
robots.txt-Eintrag verhindern.Weiß jemand, ob Dirk Olbertz hier mitliest? Oder ist es angebracht, ihn via E-Mail mit sowas zu behelligen?
malwasanderes, 08. Sep 2019, 22:01
| link
Ich lese hier mit, wüsste aber auch nicht, wie ich Antville dazu bewege, die robots.txt aus den Einstellungen eines Blogs zu benutzen, statt der globalen.
dirk olbertz, 09. Sep 2019, 13:16
| link
OK, das ist schade, aber vielen Dank für die Antwort. Und wo wir schon dabei sind: Vielen herzlichen Dank auch für blogger.de!
malwasanderes, 09. Sep 2019, 22:04
| link
... kommentieren
