快速生成標(biāo)準(zhǔn)的robots.txt文件，幫助您控制搜索引擎爬蟲(chóng)對(duì)網(wǎng)站的訪問(wèn)權(quán)限。
1. User-agent：指定搜索引擎爬蟲(chóng)，使用 * 表示適用于所有爬蟲(chóng)。
2. Crawl-delay：爬蟲(chóng)訪問(wèn)間隔時(shí)間，單位為秒，可以控制爬蟲(chóng)抓取頻率。
3. Allow：允許爬蟲(chóng)訪問(wèn)的目錄，以 / 開(kāi)頭，例如 /public/。
4. Disallow：禁止爬蟲(chóng)訪問(wèn)的目錄，以 / 開(kāi)頭，例如 /admin/。
5. Sitemap：指定網(wǎng)站地圖的URL地址，幫助搜索引擎更好地抓取網(wǎng)站內(nèi)容。