爬虫通常会抓取它已经在访问的页面中的链接页面。有时，你可能想阻止一个被链接的网页与你的网站相关联，或者不从当前页面中抓取它。在这种情况下