robots协议真的有用吗？

robots协议真的有用吗？robots协议真的有用吗？简介:robots协议真的有用吗？我不认为机器人协议有任何实际效果。虽然它明确告诉搜索引擎不要抓取某些页面，但仍然有一些搜索引擎强行抓取这些被明确指示不要抓取的页面。难道没有一种可以直接阻止蜘蛛爬行的吗？