Tag: crawler

Google wil dat zijn Robots Exclusion Protocol een internetstandaard wordt

Google wil dat zijn decennia oude Robots Exclusion Protocol (REP) gecertificeerd wordt als een officiële inte...