如果您不希望網站被搜索引擎收錄而產生大量流量，您可以在您的網站中創建一個純文本文件robots.txt，在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。如果您希望搜索引擎收錄網站上所有內容，就不用建立robots.txt文件啦。