蜘蛛抓取问题，网站蜘蛛模拟抓取文章页会把栏目里的全部内容抓取出来，这种有解决的办法吗

蜘蛛抓取问题，网站蜘蛛会通过模拟抓取文章页面的方式，抓取栏目中的所有内容。有解决办法吗？蜘蛛抓取问题，网站蜘蛛会通过模拟抓取文章页面的方式，抓取栏目中的所有内容。有解决办法吗？简介: ltp gt ltstrong gt推青蛙说: ltp gt1.蜘蛛看网站的源代码，你的头部代码，蜘蛛也会抓取，内容页蜘蛛也会抓取。这很好； ltbr/>；