Googles Parser für robots.txt nun als Open Source verfügbar

05. Juli 2019, 16:30 |  0 Kommentare

Suchmaschinen-Gigant will REP zum offiziellen Standard machen

Google will, dass die Internet Engineering Task Force (IETF) das Robots Exclusion Protocol (REP) zum offiziellen Internet-Standard macht. Dafür wurde nun ein Antrag bei der Organisation eingebracht, die für die technische Weiterentwicklung des World Wide Webs zuständig ist. Das REP gibt die Regeln vor, wie sich Webcrawler verhalten sollen. Das ist ein Computerprogramm, welches das Web automatisch durchsucht und die Inhalte analysiert. Kurzum: Ein unverzichtbarer Dienst für Suchmaschinenanbieter.

Und Google als Marktführer nahm hier eine Vorreiterrolle ein. Sein REP galt mehr oder weniger als inoffizieller Standard, auf dessen Regeln sich die Giganten Google, Microsoft und Yahoo geeinigt haben. Damit REP nun auch offiziell Standard wird, hat Google den Parser für robots.txt offengelegt. Der Parser übersetzt die Erkenntnisse des REP, um sie weiterverarbeiten zu können. Er ist unter GitHub künftig als Open-Source-Software verfügbar. Dabei gibtÂ’s auch eine Funktion, mit der andere Webmaster ihre Regeln prüfen können.

Mehr dazu findest Du auf derstandard.at


Autor schreiben




Kurze URL:


Bewertung: 2.0/5 (5 Stimmen)


Das könnte Dich auch interessieren:


Ähnliche News:
Googles Kinderkonten erhalten eine digitale Geldbörse
Pixel 6: Googles älteres Smartphone bekommt länger Updates als erwartet
Googles Suchmaschine ist laut Gericht ein Monopol
Weit weg von Klimazielen: KI ließ Googles CO2-Ausstoß um fast 50 Prozent steigen
Angeblicher Leak soll Einblick in Googles Suchalgorithmus offenbaren
Googles Pixel 8a ist da: Bessere Hardware, viel KI und sieben Jahre Support für die Mittelklasse
Googles Pixel 8a komplett geleakt
Googles VPN-App sabotiert DNS-Einstellungen unter Windows
Vor 20 Jahren startete Googles Gmail
Apple will Googles KI in iPhones integrieren


Weitere News:
Broadcom verliert Großkunden mit 20.000 VMs
Das Papamobil fährt nun elektrisch
Milliardäre drängen in die Politik: Zufall oder gezielte Machtstrategie?
Flexbar auf Kickstarter: Apples Touchbar als separates Zubehör
Google Pixel erhält neue Temperatur-Überwachung
Chinas Satelliteninternet drängt auf brasilianischen Markt
OpenAI erwägt Werbung in der kostenlosen Version von ChatGPT
KI-Berater: Mark Zuckerberg möchte bei Trumps Regierung mitmachen
Kritische Sicherheitslücke in Google Chrome behoben
Angeblicher Leak zeigt erstmals die Nintendo Switch 2


Einen Kommentar schreiben

Du willst nicht als "Gast" schreiben? Logg Dich Hier ein.

Code:

Code neuladen

Kommentare
(0)

Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.



Kommentare:

Du hast bereits für diesen Kommentar abgestimmt...

;-)


© by Ress Design Group, 2001 - 2024

Top