蜘蛛靠链接来爬行互联网，但不是漫无目的的爬，那样爬行的效率是十分的低。当然搜索引擎会搜集很多网站的url，而爬行前先读取数据库的已有的URL，然后根据网站权重、更新、内容、外部链接...