url不同但是内容是一样的，在robots.txt屏蔽是否可行

网址不同但内容相同。robots.txt中屏蔽不同网址但内容相同可行吗？简介:由于网站本身的后台系统原因，无法做到内容一致，可以同时归入不同的类别。出于用户体验的考虑，同样的内容需要复制到不同的类别中，导致同样的内容页面会有很多不同的URL，机器人中也不会有页面。