🤖 robots.txt生成器

📝 规则配置
全局设置
建议留空或设置1-10秒
User-Agent规则
快速模板
📄 生成结果 

                                

                            

                        


                        
                        

                            

                                📋 常见搜索引擎爬虫
                                
                            

                            

                                

                                    

                                        🔍
                                        Google
                                        Googlebot
                                    

                                    

                                        🔵
                                        Bing
                                        Bingbot
                                    

                                    

                                        🐻
                                        百度
                                        Baiduspider
                                    

                                    

                                        🐕
                                        搜狗
                                        Sogou
                                    

                                    

                                        🟢
                                        360
                                        360Spider
                                    

                                    

                                        🇷🇺
                                        Yandex
                                        YandexBot
                                    

                                

                            

                        

                    

                


                

                    

                        
📖 工具说明

                        

                            robots.txt生成器帮助您可视化配置网站爬虫规则，控制搜索引擎如何抓取您的网站内容，保护敏感页面不被索引。
                        

                        

                            
    
                                
  • User-Agent：指定规则适用的爬虫，* 表示所有爬虫
    • 
                                
  • Allow：允许爬取的路径
    • 
                                
  • Disallow：禁止爬取的路径
    • 
                                
  • 生成的robots.txt文件需放置在网站根目录下
    • 
                                
  • 路径区分大小写，建议使用相对路径
    • 
                            

                        

                    

                    

                        
🔗 相关工具