Alles wat er is te vinden overtag: Robots Exclusion Protocol.
Google wil dat zijn Robots Exclusion Protocol een internetstandaard wordt
Google wil dat zijn decennia oude Robots Exclusion Protocol (REP) gecertificeerd wordt als een officiële inte...