通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
0 收藏
0 点赞
1,256 浏览
262 个字
版权： 转载请注明出处：https://www.mizhanw.com/blog/2057.html
相关推荐
WordPress标签按拼音字母层级排序教程
此教程实现标签按拼音字母（A、B、C 等字母）层级排序，并在页面上添加一个侧边竖向字母导航 <?php /* Template Nam…
日期：2024-11-07
点赞：0
阅读：33
wordpress网站编辑器启隐藏的编辑器功能
如果开启WordPress隐藏的编辑器功能就够你用了，何必安装插件呢。 如何开启隐藏的编辑器功能 WordPress默认不支持TinyMCE…
日期：2024-10-29
点赞：0
阅读：45
在WooCommerce中添加“立即购买”按钮直接跳转到结算页面
add_action( 'woocommerce_after_add_to_cart_button', 'add_content_after…
日期：2024-10-19
点赞：0
阅读：65
实现 WordPress 自动更新所有文章的发布日期为当天的日期
//二开自动更新文章日期为当天发布。 //设置宝塔面板中的定时任务，通过访问带有?update_posts=run的链接触发文章更新.如：c…
日期：2024-09-22
点赞：0
阅读：90
WooCommerce订单列表显示购买产品
// 为 Legacy CPT-based 订单添加自定义列 add_filter('manage_edit-shop_order_colu…
日期：2024-09-20
点赞：0
阅读：179
WooCommerce Order 类的所有Get方法，以面向对象的方法获取订单数据
在开发WooCommerce插件或者与第三方系统交互时，我们需要获取 WooCommerce 订单的数据，WooCommerce的 WC_O…
日期：2024-09-20
点赞：0
阅读：185
还没有评论呢，快来抢沙发~