Das sichtbare URL-Element in mobilen Suchergebnissen vereinfachen | Alien Road

Mobile Suchende sehen bald ein saubereres, stromlinienförmigeres Aussehen dafür, wie URLs in Suchergebnissen angezeigt werden.

Robots-Auffrischung: Einführung einer neuen Serie Montag, 24. Februar 2025Von Zeit zu Zeit erhalten wir Fragen zu robots.txt, robots-Meta-Tags und der

Steuerungsfunktionalität

, die sie bieten. Im Anschluss an unsere

A “Dezember-Serie zum Crawlingdachten wir, dies sei der perfekte Zeitpunkt, um eine leichte Auffrischung zusammenzustellen. Wenn Sie also neugierig auf diese Steuerungen sind, verfolgen Sie diese neue Blogbeitrag-Serie! Fangen wir ganz am Anfang an, mit robots.txt.Was ist also robots.txt? robots.txt ist eine Datei, die jede Website bereitstellen kann. In ihrer einfachsten Form ist es eine Textdatei, die auf dem Server gespeichert ist. Fast alle Websites haben eine robots.txt-Datei.

. Um sich eine anzusehen, nehmen Sie den Domainnamen und fügen

/robots.txt

am Ende hinzu, und rufen Sie dann diese Adresse auf. Die robots.txt-Datei dieser Website befindet sich beispielsweise unter

developers.google.com/robots.txt .
Die meisten Websites verwenden Content-Management-Systeme (CMS), die diese Dateien automatisch erstellen, aber selbst wenn Sie Ihre Website „von Hand“ erstellen, ist sie einfach zu erstellen. Wir werden uns einige der Variationen in zukünftigen Beiträgen ansehen.

Wofür sind diese Dateien?

robots.txt-Dateien teilen Website-Crawlern mit, welche Teile einer Website für den automatisierten Zugriff verfügbar sind (wir nennen das Crawling) und welche nicht. Sie ermöglicht es Websites, alles von ihrer gesamten Website, Teilen ihrer Website oder sogar bestimmten Dateien innerhalb ihrer Website zu adressieren. Die Dateien sind nicht nur maschinenlesbar, sondern auch menschenlesbar. Dies bedeutet, dass es immer eine eindeutige Ja- oder Nein-Antwort darauf gibt, ob auf eine Seite von einem bestimmten Crawler automatisiert zugegriffen werden darf oder nicht.
Es ist gängige Praxis für jeden, der einen Crawler baut, diese Direktiven zu befolgen, und für einen Entwickler ist es einfach, sie zu unterstützen – es gibt mehr als
1000 Open-Source-Bibliotheken
für Entwickler. Die Datei gibt Anweisungen an Crawler für ein optimales Crawling einer Website. Moderne Websites können komplex sein, die automatische Navigation durch sie kann eine Herausforderung sein, und robots.txt-Regeln helfen Crawlern, sich auf geeignete Inhalte zu konzentrieren. Dies hilft Crawlern auch, dynamisch erstellte Seiten zu vermeiden, die den Server belasten und das Crawling unnötig ineffizient machen können. Da robots.txt-Dateien sowohl technisch hilfreich als auch gut für die Beziehungen zu Website-Besitzern sind, befolgen die meisten kommerziellen Crawler-Betreiber sie.
Von der Öffentlichkeit gebaut und erweitert

robots.txt-Dateien gibt es fast so lange wie das Internet existiert, und sie sind eines der wesentlichen Werkzeuge, die es dem Internet ermöglichen, so zu funktionieren, wie es das tut. HTML, das Fundament von Webseiten, wurde 1991 erfunden, die ersten Browser kamen 1992 und robots.txt kam 1994. Das bedeutet, dass sie sogar älter sind als Google, das 1998 gegründet wurde. Das Format ist seitdem weitgehend unverändert geblieben, und

eine Datei aus den Anfängen

wäre jetzt immer noch gültig. Durch dreijähriges Engagement der globalen Community wurde sie 2022 zu einem IETF-Standardvorschlag
gemacht.

Wenn Sie eine Website haben, haben Sie wahrscheinlich auch eine robots.txt-Datei. Es gibt eine lebendige und aktive Community rund um robots.txt, es gibt tausende von Software-Tools, die helfen, robots.txt-Dateien in allen Formen und Größen zu erstellen, zu testen, zu verwalten oder zu verstehen. Das Schöne an robots.txt ist jedoch, dass Sie keine schicken Tools benötigen; es ist möglich, die Datei in einem Browser zu lesen und für eine Website, die Sie verwalten, in einem einfachen Texteditor anzupassen.

Ausblick…

Das robots.txt-Format ist flexibel. Es gibt Raum für Wachstum, die öffentliche Web-Community kann es erweitern, und Crawler können Erweiterungen bei Bedarf ankündigen, ohne die bestehende Nutzung zu beeinträchtigen. Dies geschah 2007, alsSuchmaschinen die „Sitemap“-Direktive

ankündigten. Dies geschieht auch regelmäßig, wenn neue „User-Agents“ von Crawler-Betreibern und Suchmaschinen unterstützt werden, wie z. B. solche, die für KI-Zwecke verwendet werden.