Ich habe mich bisher noch nicht mit dem Thema "Robots.txt" auseinandergesetzt und nutze eine solche Datei auch nicht. Wofür braucht man diese Datei genau? Um den Zugriff von Search Bots zu steuern? Wenn ja, dann wäre das auch für mich interessant. Nur was gehört alles in eine solche Datei hinein?

Hier hatte ich die Datei von @T1N0 gefunden. Was macht die genau? Würde eine Datei mit diesem Inhalt schon ausreichen?