schaf am 05. Juli 2019 um 16:30 |  0 Kommentare | Lesezeit: 53 Sekunden

Googles Parser für robots.txt nun als Open Source verfügbar

Suchmaschinen-Gigant will REP zum offiziellen Standard machen

Google will, dass die Internet Engineering Task Force (IETF) das Robots Exclusion Protocol (REP) zum offiziellen Internet-Standard macht. Dafür wurde nun ein Antrag bei der Organisation eingebracht, die für die technische Weiterentwicklung des World Wide Webs zuständig ist. Das REP gibt die Regeln vor, wie sich Webcrawler verhalten sollen. Das ist ein Computerprogramm, welches das Web automatisch durchsucht und die Inhalte analysiert. Kurzum: Ein unverzichtbarer Dienst für Suchmaschinenanbieter.

Und Google als Marktführer nahm hier eine Vorreiterrolle ein. Sein REP galt mehr oder weniger als inoffizieller Standard, auf dessen Regeln sich die Giganten Google, Microsoft und Yahoo geeinigt haben. Damit REP nun auch offiziell Standard wird, hat Google den Parser für robots.txt offengelegt. Der Parser übersetzt die Erkenntnisse des REP, um sie weiterverarbeiten zu können. Er ist unter GitHub künftig als Open-Source-Software verfügbar. Dabei gibt’s auch eine Funktion, mit der andere Webmaster ihre Regeln prüfen können.

Mehr dazu findest Du auf derstandard.at





Kurze URL:


Bewertung: 2.8/5 (5 Stimmen)


Das könnte Dich auch interessieren:
Pixel 7 bekommt Googles KI-Suche
In Googles neuem Feature Drop für seine Pixel-Smartphones bekommt das Pixel 7 Circle to Search. Außerdem gibt es Neues für die Pixel Watch.


Ähnliche News:

Weitere News:

Einen Kommentar schreiben

Du willst nicht als "Gast" schreiben? Logg Dich Hier ein.

Code:

Code neuladen

Kommentare
(0)

Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.




Kommentare:

Du hast bereits für diesen Kommentar angestimmt...

;-)

Top