linux宝塔面板蜘蛛统计脚本(站群/多站版)

作者:zbygseo外链优化      来源:原创      时间:2020-05-08 09:59:24      点击:

如题,直接上代码。


#!/bin/bash
  
m="$(date +%m)"
case $m in
  "01") m='Jan';;
  "02") m='Feb';;
  "03") m='Mar';;
  "04") m='Apr';;
  "05") m='May';;
  "06") m='Jun';;
  "07") m='Jul';;
  "08") m='Aug';;
  "09") m='Sep';;
  "10") m='Oct';;
  "11") m='Nov';;
  "12") m='Dec';;
esac
d="$(date +%d)"
  
spider=(
  Googlebot
  Baiduspider
  baiduboxapp
  Sogou
  YisouSpider
  360Spider
  Bytespider
)
domain=(
  a.com
  b.com
  c.com
  d.com
  e.com
  f.com
  g.com
  h.com
)

for j in ${domain[*]}; do
	echo $j
	for i in ${spider[*]}; do
	  echo -e "$i 	" `cat /www/wwwlogs/*.log |grep $d/$m|grep $i|grep $j|wc -l`
	done
	echo "--------------------------------------------------------"
done

以上是shell脚本。

说明:

spider是蜘蛛标识,domain是要统计蜘蛛的站点域名,只统计当天的蜘蛛。效果如下图。

如果需要记录/分析每天的蜘蛛情况,可以将脚本添加定时任务(23:59)执行,并追加输出到txt文件。

例如:将脚本命名为spider.sh 保存,再使用crontab命令添加定时任务(注意:spider.sh文件需要700权限)。

59 23 * * * sh /www/spider.sh>>/www/spider.txt

代码粗陋,还望各位笑纳。高手可以各自完善。



随机推荐
  • 更多展示机会