网络蜘蛛是依据什么抓取更多网页的？

提交给搜索引擎的网址他都会顺着爬一下。爬虫的机制只要发现一个网页就会顺着页面所有的链接进到下一个链接，要么深度抓取 要么广度抓取，直到抓完再走

网络蜘蛛（也称为网络爬虫或网络机器人）是一种自动化程序，用于在互联网上自动抓取和收集网页。网络蜘蛛通过访问网站的URL链接，并从页面中提取链接来发现和抓取更多的网页。网络蜘蛛会从一个起始页面开始，并根据页面上的链接来访问其他页面。这些链接可以是页面内部的链接，也可以是外部链接。当蜘蛛访问新页面时，它会继续重复这个过程，查找和抓取更多的页面，形成一个抓取的网页链接链。网络蜘蛛还可以根据其他因素来决定哪些页面应该被抓取。这些因素包括页面的重要性、更新频率、质量等。一些蜘蛛还会根据网站的Robots协议，来判断哪些页面是可以被抓取的，哪些页面应该被排除在外。网络蜘蛛主要依据链接和页面质量等因素来抓取更多的网页。不同的搜索引擎和网络爬虫可能有不同的抓取策略和算法，以适应不同的应用场景和需求。

你首页的域名地址，或者你提交的网站地图Sitemap，或者其他已经收录页面上的链接，只要蜘蛛知道的链接，都会爬一爬