我的robots写的有点多，这样会不会不利于爬取？悬赏1元已结束

我的机器人写得有点多。这样会对爬行不利吗？1元奖励已结束。我的机器人写得有点多了。这样会对爬行不利吗？1元奖励介绍已结束:如下图，因为网站很多页面内容完全一样，只是网址不一样。为了避免搜索引擎重复收录内容，我写了这个robots，条目有点多。我想知道这是否会给搜索引擎一个工作量的判断？我不知道。像这样的条目也是