如何写一个合理的robots.txt文件

如何写一个合理的robots.txt文件简介:如何写一个合理的robots.txt文件 ltp gt ltstrong gt善意地说: ltp gt每个网站都不一样。我真的不知道该怎么办。不要什么都禁。让它抓住一切