Googles Parser für robots.txt nun als Open Source verfügbar
Suchmaschinen-Gigant will REP zum offiziellen Standard machenGoogle will, dass die Internet Engineering Task Force (IETF) das Robots Exclusion Protocol (REP) zum offiziellen Internet-Standard macht. Dafür wurde nun ein Antrag bei der Organisation eingebracht, die für die technische Weiterentwicklung des World Wide Webs zuständig ist. Das REP gibt die Regeln vor, wie sich Webcrawler verhalten sollen. Das ist ein Computerprogramm, welches das Web automatisch durchsucht und die Inhalte analysiert. Kurzum: Ein unverzichtbarer Dienst für Suchmaschinenanbieter.
Und Google als Marktführer nahm hier eine Vorreiterrolle ein. Sein REP galt mehr oder weniger als inoffizieller Standard, auf dessen Regeln sich die Giganten Google, Microsoft und Yahoo geeinigt haben. Damit REP nun auch offiziell Standard wird, hat Google den Parser für robots.txt offengelegt. Der Parser übersetzt die Erkenntnisse des REP, um sie weiterverarbeiten zu können. Er ist unter GitHub künftig als Open-Source-Software verfügbar. Dabei gibtÂ’s auch eine Funktion, mit der andere Webmaster ihre Regeln prüfen können.
Mehr dazu findest Du auf derstandard.at
Kurze URL:
Das könnte Dich auch interessieren:
Experten kritisieren, dass Google jahrelang falsche Angaben zu seiner Vorgehensweise gemacht haben soll. Der Konzern hat sich dazu noch nicht geäußert
Ein deutliches Upgrade bringt das Gerät sehr nahe an die Topgeräte heran. Der Preis steigt in Europa allerdings bereits zum zweiten Mal in Folge
Ähnliche News:
Googles Pixel 8a komplett geleakt
Googles VPN-App sabotiert DNS-Einstellungen unter Windows
Vor 20 Jahren startete Googles Gmail
Apple will Googles KI in iPhones integrieren
Googles Telefon-App erhält nützliche Funktion
Pixel 7 bekommt Googles KI-Suche
In ein paar Wochen soll Googles KI wieder Bilder von Menschen erstellen
Gemini Business: Googles KI gibt es jetzt auch für den Unternehmenseinsatz
Gemini: Googles KI-Assistent für Android lässt sich bereits in Europa nutzen
US-Jury erklärt Googles Play Store zum illegalen Monopol
Googles VPN-App sabotiert DNS-Einstellungen unter Windows
Vor 20 Jahren startete Googles Gmail
Apple will Googles KI in iPhones integrieren
Googles Telefon-App erhält nützliche Funktion
Pixel 7 bekommt Googles KI-Suche
In ein paar Wochen soll Googles KI wieder Bilder von Menschen erstellen
Gemini Business: Googles KI gibt es jetzt auch für den Unternehmenseinsatz
Gemini: Googles KI-Assistent für Android lässt sich bereits in Europa nutzen
US-Jury erklärt Googles Play Store zum illegalen Monopol
Weitere News:
Fujifilm kann plötzliche Nachfrage nach X100-Kameras kaum bedienen
AAA-Spiele auf iPhones werden kaum gekauft
Teamviewer führt Cyberangriff auf russische Hacker zurück
Microsoft warnt Kunden vor abgeflossenen E-Mails
Unbekannter spendet 8 Bitcoins für Assange
Huawei könnte bald unabhängig von westlichen Chips sein
Interpol gelingt großer Schlag gegen Onlinebetrug
Wenn Elon Musk jedem Erdbürger 1 Millarde schenkt ist er nicht mehr sehr reich!
Leak bestätigt, dass Samsungs neue Kopfhörer wie AirPods aussehen
Klage gegen Temu: App ist "gefährliche Malware"
AAA-Spiele auf iPhones werden kaum gekauft
Teamviewer führt Cyberangriff auf russische Hacker zurück
Microsoft warnt Kunden vor abgeflossenen E-Mails
Unbekannter spendet 8 Bitcoins für Assange
Huawei könnte bald unabhängig von westlichen Chips sein
Interpol gelingt großer Schlag gegen Onlinebetrug
Wenn Elon Musk jedem Erdbürger 1 Millarde schenkt ist er nicht mehr sehr reich!
Leak bestätigt, dass Samsungs neue Kopfhörer wie AirPods aussehen
Klage gegen Temu: App ist "gefährliche Malware"
Einen Kommentar schreiben
Kommentare
Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.
(0)
Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.
Kommentare:
Du hast bereits für diesen
Kommentar angestimmt...
;-)
© by Ress Design Group, 2001 - 2024