在互聯(lián)網(wǎng)中，URL是每個頁面的入口地址，蜘蛛程序就是通過這些URL列表抓取到頁面的，蜘蛛不斷地從這些頁面中獲取URL資源及存儲頁面，并加入URL列表，如此不斷地循環(huán)，搜索引擎就可以從互聯(lián)網(wǎng)中獲取到足夠的頁面。
URL是頁面的入口，域名則是網(wǎng)站的入口。搜索引擎就是通過域名進入網(wǎng)站，挖掘URL資源。換而言之，搜索引擎在互聯(lián)網(wǎng)中抓取頁面的首要任務就是要有龐大的域名列表，再不斷的通過域名，進入網(wǎng)站抓取網(wǎng)站中的頁面。
而對于seo而言，想被網(wǎng)站搜索引擎收錄，首要條件就是加入搜索引擎的域名列表，常見加入搜索引擎的域名列表的有以下兩種方式。
（1）利用搜索引擎提供的網(wǎng)站登錄入口，向搜索引擎提交網(wǎng)站域名，不過用此方法搜索引擎只會定期抓取并更新，這種做法比較被動，從域名提交到網(wǎng)站被收錄所花費的時間也比較長。
（2）通過與有質量的“外鏈”，使搜索引擎在抓取“別人”的網(wǎng)站頁面時發(fā)現(xiàn)我們的網(wǎng)站，從而實現(xiàn)對網(wǎng)站的收錄，這種方法主動權在我們手上（只要有足夠多的“外鏈”）且收錄速度比第一種方法快，根據(jù)外部鏈接的數(shù)量、質量相關性，一般2-7天就會被搜索引擎收錄。
