HennWeb

Mithilfe der Funktion Senden des Tools robots.txt-Tester können Sie ganz einfach eine neue robots.txt-Datei für Ihre Website bereitstellen und Google bitten, diese zu crawlen und zu indexieren. Führen Sie die unten aufgeführten Schritte durch, um Ihre robots.txt-Datei zu aktualisieren und Google über die Änderungen zu informieren.

1. Klicken Sie im robots.txt-Editor unten rechts auf Senden. Dadurch wird das Dialogfeld „Senden“ geöffnet.

2. Laden Sie den bearbeiteten robots.txt-Code von der Seite robots.txt-Tester herunter. Klicken Sie dazu im Dialogfeld „Senden“ auf die Schaltfläche Herunterladen.

3. Laden Sie die neue robots.txt-Datei in das Stammverzeichnis Ihrer Domain als Textdatei namens robots.txt hoch. Die URL für Ihre robots.txt-Datei sollte /robots.txt lauten.

Wenn Sie nicht berechtigt sind, Dateien in das Stammverzeichnis Ihrer Domain hochzuladen, bitten Sie Ihren Domainadministrator, die Änderungen vorzunehmen.

Wenn Sie sich die Startseite Ihrer Website zum Beispiel unter subdomain.example.com/site/example/ befindet, können Sie die Robots-Datei subdomain.example.com/robots.txt wahrscheinlich nicht aktualisieren. In diesem Fall sollten Sie den Inhaber von example.com/ bitten, die Änderungen an der Datei robots.txt vorzunehmen.

4. Klicken Sie auf Liveversion überprüfen, um zu festzustellen, ob es sich bei der bereitgestellten robots.txt-Datei um die Version handelt, die von Google gecrawlt werden soll.

5. Klicken Sie auf Liveversion einreichen, um Google mitzuteilen, dass Ihre robots.txt-Datei geändert wurde und nun gecrawlt werden soll.

6. Vergewissern Sie sich, dass Ihre neueste Version von Google erfolgreich gecrawlt wurde. Aktualisieren Sie dazu die Seite in Ihrem Browser, um den Editor des Tools zu aktualisieren und den bereitgestellten robots.txt-Code anzusehen. Nach dem Aktualisieren der Seite können Sie auch auf das Drop-down-Menü oberhalb des Texteditors klicken, um zu prüfen, wann Google die aktuelle Version Ihrer robots.txt-Datei das erste Mal gesehen hat.

Eine Sitemap ist für Google eine wichtige Methode, um URLs auf Ihrer Website zu ermitteln. Die Sitemap kann auch zusätzliche Metadaten zu alternativen Sprachversionen und zu Seiten mit Videos, Bildern oder Nachrichten enthalten. Hier erfahren Sie, wie Sie eine Sitemap erstellen.

Wenn Sie Ihre Sitemap seit dem letzten Crawlen durch Google nicht geändert haben, bringt das erneute Einreichen der Sitemap keine zusätzlichen Vorteile. Wenn Sie Seiten in der Sitemap aktualisiert haben, markieren Sie diese mit <lastmod>.

Sie haben folgende Möglichkeiten, Google über Ihre Sitemap zu benachrichtigen:

• Reichen Sie eine Sitemap mithilfe des Sitemaps-Berichts ein.
• Verwenden Sie das Ping-Tool. Senden Sie über den Browser oder die Befehlszeile eine GET-Anforderung an die folgende Adresse und geben Sie dabei die vollständige URL der Sitemap an. Achten Sie darauf, dass auf die Sitemap-Datei zugegriffen werden kann:
    http://www.google.com/ping?sitemap=<full_URL_of_sitemap>
  Beispiel:
    http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
• Fügen Sie an einer beliebigen Stelle Ihrer robots.txt-Datei die folgende Zeile ein, um den Pfad zu Ihrer Sitemap anzugeben. Wir werden sie finden, wenn wir Ihre Website das nächste Mal crawlen:
      Sitemap: http://example.com/my_sitemap.xml