环境运维

实用的15个shell脚本

 

 

1、检测两台服务器指定目录下的文件一致性


 
  1. #!/bin/bash

  2. ######################################

  3. 检测两台服务器指定目录下的文件一致性

  4. #####################################

  5. #通过对比两台服务器上文件的md5值,达到检测一致性的目的

  6. dir=/data/web

  7. b_ip=192.168.88.10

  8. #将指定目录下的文件全部遍历出来并作为md5sum命令的参数,进而得到所有文件的md5值,并写入到指定文件中

  9. find dir -type f|xargs md5sum>/tmp/md5_a.txt

  10. sshb_ip "find dir -type f|xargs md5sum>/tmp/md5_b.txt"

  11. scpb_ip:/tmp/md5_b.txt /tmp

  12. #将文件名作为遍历对象进行一一比对

  13. for f in `awk '{print 2} /tmp/md5_a.txt'`do

  14. #以a机器为标准,当b机器不存在遍历对象中的文件时直接输出不存在的结果

  15. if grep -qw "f" /tmp/md5_b.txt

  16. then

  17. md5_a=`grep -w "f" /tmp/md5_a.txt|awk '{print 1}'`

  18. md5_b=`grep -w "f" /tmp/md5_b.txt|awk '{print 1}'`

  19. #当文件存在时,如果md5值不一致则输出文件改变的结果

  20. if [md5_a != md5_b ]then

  21. echo "f changed."

  22. fi

  23. else

  24. echo "$f deleted."

  25. fi

  26. done

2、定时清空文件内容,定时记录文件大小


 
  1. #!/bin/bash

  2. #################################################################

  3. 每小时执行一次脚本(任务计划),当时间为0点或12点时,将目标目录下的所有文件内#容清空,但不删除文件,其他时间则只统计各个文件的大小,一个文件一行,输出到以时#间和日期命名的文件中,需要考虑目标目录下二级、三级等子目录的文件

  4. ################################################################

  5. logfile=/tmp/`date +%H-%F`.log

  6. n=`date +%H`

  7. if [ n -eq 00 ] || [n -eq 12 ]

  8. then

  9. #通过for循环,以find命令作为遍历条件,将目标目录下的所有文件进行遍历并做相应操作

  10. for i in `find /data/log/ -type f`

  11. do

  12. true > i

  13. done

  14. else

  15. for i in `find /data/log/ -type f`

  16. do

  17. du -shi >> $logfile

  18. done

  19. fi

3、检测网卡流量,并按规定格式记录在日志中


 
  1. #!/bin/bash

  2. #######################################################

  3. #检测网卡流量,并按规定格式记录在日志中#规定一分钟记录一次

  4. #日志格式如下所示:

  5. #2019-08-12 20:40

  6. #ens33 input: 1234bps

  7. #ens33 output: 1235bps

  8. ######################################################3

  9. while :

  10. do

  11. #设置语言为英文,保障输出结果是英文,否则会出现bug

  12. LANG=en

  13. logfile=/tmp/`date +%d`.log

  14. #将下面执行的命令结果输出重定向到logfile日志中

  15. exec >> logfile

  16. date +"%F %H:%M"

  17. #sar命令统计的流量单位为kb/s,日志格式为bps,因此要*1000*8

  18. sar -n DEV 1 59|grep Average|grep ens33|awk '{print2,"\t","input:","\t",5*1000*8,"bps","\n",2,"\t","output:","\t",$6*1000*8,"bps"}'

  19. echo "####################"

  20. #因为执行sar命令需要59秒,因此不需要sleep

  21. done

4、计算文档每行出现的数字个数,并计算整个文档的数字总数


 
  1. #!/bin/bash

  2. #########################################################

  3. #计算文档每行出现的数字个数,并计算整个文档的数字总数

  4. ########################################################

  5. #使用awk只输出文档行数(截取第一段)

  6. n=`wc -l a.txt|awk '{print 1}'`

  7. sum=0

  8. #文档中每一行可能存在空格,因此不能直接用文档内容进行遍历

  9. for i in `seq 1n`do

  10. #输出的行用变量表示时,需要用双引号

  11. line=`sed -n "i"p a.txt`#wc -L选项,统计最长行的长度

  12. n_n=`echoline|sed s'/[^0-9]//'g|wc -L`

  13. echo n_nsum=[sum+n_n]

  14. done

  15. echo "sum:$sum"

杀死所有脚本


 
  1. #!/bin/bash

  2. ################################################################

  3. #有一些脚本加入到了cron之中,存在脚本尚未运行完毕又有新任务需要执行的情况,

  4. #导致系统负载升高,因此可通过编写脚本,筛选出影响负载的进程一次性全部杀死。

  5. ################################################################

  6. ps aux|grep 指定进程名|grep -v grep|awk '{print $2}'|xargs kill -9

5、从 FTP 服务器下载文件


 
  1. #!/bin/bash

  2. if [ # -ne 1 ]; then

  3. echo "Usage:0 filename"

  4. fi

  5. dir=(dirname1)

  6. file=(basename1)

  7. ftp -n -v < /dev/null

  8. #设定60s延迟防止脚本bug导致无限重启php-fpm服务

  9. sleep 60

  10. fi

  11. sleep 10

  12. done

6、将结果分别赋值给变量

应用场景:希望将执行结果或者位置参数赋值给变量,以便后续使用。

方法1:


 
  1. for i in (echo "4 5 6"); do

  2. eval ai=idone

  3. echoa4 a5a6

方法2:将位置参数192.168.1.1{1,2}拆分为到每个变量


 
  1. num=0

  2. for i in (eval echo*);do #eval将{1,2}分解为1 2

  3. let num+=1

  4. eval node{num}="i"

  5. done

  6. echo node1node2 node3

  7. # bash a.sh 192.168.1.1{1,2}

  8. 192.168.1.11 192.168.1.12

  9.  
  10. 方法3:arr=(4 5 6)

  11. INDEX1=(echo {arr[0]})

  12. INDEX2=(echo {arr[1]})

  13. INDEX3=(echo ${arr[2]})

7、批量修改文件名

示例:


 
  1. # touch article_{1..3}.html

  2. # lsarticle_1.html article_2.html article_3.html

  3. 目的:把article改为bbs

方法1:

for file in $(ls html); do
mv file bbs_{file#
}
# mv file(echo $file |sed -r ‘s/.*(
.*)/bbs\1/’)
# mv file(echo file |echo bbs_(cut -d_ -f2)
done


 
  1. 方法2:

  2.  
  3. ```bash

  4. for file in (find . -maxdepth 1 -name "*html"); do

  5. mvfile bbs_{file#*_}done

  6. </code></pre>

  7.  
  8. 方法3:

  9.  
  10. <pre><code class="language-bash line-numbers"># rename article bbs *.html

  11. 把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母

  12.  
  13. 1)准备测试文件,文件名为2.txt

  14.  
  15. 第1行1234567不包含字母

  16. 第2行56789BBBBBB

  17. 第3行67890CCCCCCCC

  18. 第4行78asdfDDDDDDDDD

  19. 第5行123456EEEEEEEE

  20. 第6行1234567ASDF

  21. 第7行56789ASDF

  22. 第8行67890ASDF

  23. 第9行78asdfADSF

  24. 第10行123456AAAA

  25. 第11行67890ASDF

  26. 第12行78asdfADSF

  27. 第13行123456AAAA

  28. </code></pre>

  29.  
  30. 2)脚本如下:

  31.  
  32. <pre><code class="language-bash line-numbers">#!/bin/bash

  33. ###############################################################

  34. 把一个文档前五行中包含字母的行删掉,同时删除6到10行包含的所有字母

  35. ##############################################################

  36. sed -n '1,5'p 2.txt |sed '/[a-zA-Z]/'d

  37. sed -n '6,10'p 2.txt |sed s'/[a-zA-Z]//'g

  38. sed -n '11,'p 2.txt

  39. #最终结果只是在屏幕上打印结果,如果想直接更改文件,可将输出结果写入临时文件中,再替换2.txt或者使用-i选项

  40. </code></pre>

  41.  
  42. 10、统计当前目录中以.html结尾的文件总大

  43.  
  44. 方法1:

  45.  
  46. <pre><code class="language-bash line-numbers"># find . -name "*.html" -exec du -k {} \; |awk '{sum+=1}END{print sum}'

  47.  
  48. 方法2:

  49. ```bash

  50. for size in(ls -l *.html |awk '{print 5}'); do

  51. sum=((sum+size))

  52. done

  53. echo $sum

8、扫描主机端口状态


 
  1. #!/bin/bash

  2. HOST=1

  3. PORT="22 25 80 8080"

  4. for PORT inPORT; do

  5. if echo &>/dev/null > /dev/tcp/HOST/PORT; then

  6. echo "PORT open"

  7. else

  8. echo "PORT close"

  9. fi

  10. done

  11. 用 shell 打印示例语句中字母数小于6的单词

  12.  
  13. #示例语句:

  14. #Bash also interprets a number of multi-character options.

  15. #!/bin/bash

  16. ##############################################################

  17. #shell打印示例语句中字母数小于6的单词

  18. ##############################################################

  19. for s in Bash also interprets a number of multi-character options.

  20. do

  21. n=`echo s|wc -c` if [n -lt 6 ]

  22. then

  23. echo $s

  24. fi

  25. done

 9、输入数字运行相应命令


 
  1. #!/bin/bash

  2. ##############################################################

  3. #输入数字运行相应命令

  4. ##############################################################

  5. echo "*cmd menu* 1-date 2-ls 3-who 4-pwd 0-exit "

  6. while :

  7. do

  8. #捕获用户键入值

  9. read -p "please input number :" n

  10. n1=`echo n|sed s'/[0-9]//'g`

  11. #空输入检测 if [ -z "n" ]

  12. then

  13. continue

  14. fi

  15. #非数字输入检测

  16. if [ -n "n1" ]

  17. then

  18. exit 0

  19. fi

  20. break

  21. done

  22. casen in

  23. 1)

  24. date

  25. ;;

  26. 2)

  27. ls

  28. ;;

  29. 3)

  30. who

  31. ;;

  32. 4)

  33. pwd

  34. ;;

  35. 0)

  36. break

  37. ;;

  38. #输入数字非1-4的提示

  39. *)

  40. echo "please input number is [1-4]"

  41. esac

10、Expect 实现 SSH 免交互执行命令

Expect是一个自动交互式应用程序的工具,如telnet,ftp,passwd等。

需先安装expect软件包。

方法1:EOF标准输出作为expect标准输入


 
  1. #!/bin/bash

  2. USER=root

  3. PASS=123.com

  4. IP=192.168.1.120

  5. expect <> /tmp/userpassworddone

11、监控 httpd 的进程数,根据监控情况做相应处理


 
  1. #!/bin/bash

  2. ###############################################################################################################################

  3. #需求:

  4. #1.每隔10s监控httpd的进程数,若进程数大于等于500,则自动重启Apache服务,并检测服务是否重启成功

  5. #2.若未成功则需要再次启动,若重启5次依旧没有成功,则向管理员发送告警邮件,并退出检测

  6. #3.如果启动成功,则等待1分钟后再次检测httpd进程数,若进程数正常,则恢复正常检测(10s一次),否则放弃重启并向管理员发送告警邮件,并退出检测

  7. ###############################################################################################################################

  8. #计数器函数

  9. check_service()

  10. {

  11. j=0

  12. for i in `seq 1 5`

  13. do

  14. #重启Apache的命令

  15. /usr/local/apache2/bin/apachectl restart 2> /var/log/httpderr.log

  16. #判断服务是否重启成功

  17. if [ ? -eq 0 ] then

  18. break

  19. else

  20. j=[j+1] fi

  21. #判断服务是否已尝试重启5次

  22. if [j -eq 5 ] then

  23. mail.py exit

  24. fi

  25. done }while :do

  26. n=`pgrep -l httpd|wc -l`

  27. #判断httpd服务进程数是否超过500

  28. if [ n -gt 500 ] then

  29. /usr/local/apache2/bin/apachectl restart if [? -ne 0 ]

  30. then

  31. check_service

  32. else

  33. sleep 60

  34. n2=`pgrep -l httpd|wc -l`

  35. #判断重启后是否依旧超过500

  36. if [ $n2 -gt 500 ]

  37. then

  38. mail.py exit

  39. fi

  40. fi

  41. fi

  42. #每隔10s检测一次

  43. sleep 10done

12、批量修改服务器用户密码

Linux主机SSH连接信息:旧密码


 
  1. # cat old_pass.txt

  2. 192.168.18.217 root 123456 22

  3. 192.168.18.218 root 123456 22

  4. 内容格式:IP User Password Port

  5.  
  6. SSH远程修改密码脚本:新密码随机生成

  7. https://www.linuxprobe.com/books

  8. #!/bin/bash

  9. OLD_INFO=old_pass.txt

  10. NEW_INFO=new_pass.txt

  11. for IP in (awk '/^[^#]/{print1}' OLD_INFO); do

  12. USER=(awk -v I=IP 'I==1{print 2}'OLD_INFO)

  13. PASS=(awk -v I=IP 'I==1{print3}' OLD_INFO)

  14. PORT=(awk -v I=IP 'I==1{print 4}'OLD_INFO)

  15. NEW_PASS=(mkpasswd -l 8) # 随机密码

  16. echo "IP USERNEW_PASS PORT" >>NEW_INFO

  17. expect -c "

  18. spawn ssh -pPORTUSER@IP

  19. set timeout 2

  20. expect {

  21. \"(yes/no)\" {send \"yes\r\";exp_continue}

  22. \"password:\" {send \"PASS\r\";exp_continue}

  23. \"USER@*\" {send \"echo \'NEW_PASS\' |passwd --stdin $USER\r exit\r\";exp_continue}

  24. }"

  25. done

  26. 生成新密码文件:

  27.  
  28. # cat new_pass.txt

  29. 192.168.18.217 root n8wX3mU% 22

  30. 192.168.18.218 root c87;ZnnL 22

13、iptables 自动屏蔽访问网站频繁的IP

场景:恶意访问,安全防范

1)屏蔽每分钟访问超过200的IP

方法1:根据访问日志(Nginx为例)


 
  1. #!/bin/bash

  2. DATE=(date +%d/%b/%Y:%H:%M)

  3. ABNORMAL_IP=(tail -n5000 access.log |grep DATE |awk '{a[1]++}END{for(i in a)if(a[i]>100)print i}')

  4. #先tail防止文件过大,读取慢,数字可调整每分钟最大的访问量。awk不能直接过滤日志,因为包含特殊字符。

  5. for IP in ABNORMAL_IP; do

  6. if [(iptables -vnL |grep -c "IP") -eq 0 ]; then

  7. iptables -I INPUT -sIP -j DROP fidone

方法2:通过TCP建立的连接


 
  1. #!/bin/bash

  2. ABNORMAL_IP=(netstat -an |awk '4~/:80/ &&6~/ESTABLISHED/{gsub(/:[0-9]+/,"",5);{a[5]++}}END{for(i in a)if(a[i]>100)print i}')

  3. #gsub是将第五列(客户端IP)的冒号和端口去掉

  4. for IP in ABNORMAL_IP; do

  5. if [(iptables -vnL |grep -c "IP") -eq 0 ]; then

  6. iptables -I INPUT -sIP -j DROP

  7. fi

  8. done

2)屏蔽每分钟SSH尝试登录超过10次的IP

方法1:通过lastb获取登录状态:


 
  1. #!/bin/bash

  2. DATE=(date +"%a %b %e %H:%M") #星期月天时分 %e单数字时显示7,而%d显示07

  3. ABNORMAL_IP=(lastb |grep "DATE" |awk '{a[3]++}END{for(i in a)if(a[i]>10)print i}')for IP in ABNORMAL_IP; do

  4. if [(iptables -vnL |grep -c "IP") -eq 0 ]; then

  5. iptables -I INPUT -sIP -j DROP fidone

方法2:通过日志获取登录状态


 
  1. #!/bin/bash

  2. DATE=(date +"%b %d %H")

  3. ABNORMAL_IP="(tail -n10000 /var/log/auth.log |grep "DATE" |awk '/Failed/{a[(NF-3)]++}END{for(i in a)if(a[i]>5)print i}')"

  4. for IP in ABNORMAL_IP; do

  5. if [(iptables -vnL |grep -c "IP") -eq 0 ]; then

  6. iptables -A INPUT -sIP -j DROP

  7. echo "(date +"%F %T") - iptables -A INPUT -sIP -j DROP" >>~/ssh-login-limit.log

  8. fi

  9. done

14、根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁


 
  1. #!/bin/bash

  2. ####################################################################################

  3. #根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁

  4. ####################################################################################

  5. logfile=/data/log/access.log

  6. #显示一分钟前的小时和分钟

  7. d1=`date -d "-1 minute" +%H%M`

  8. d2=`date +%M`

  9. ipt=/sbin/iptables

  10. ips=/tmp/ips.txt

  11. block()

  12. {

  13. #将一分钟前的日志全部过滤出来并提取IP以及统计访问次数

  14. grep 'd1:'logfile|awk '{print 1}'|sort -n|uniq -c|sort -n>ips

  15. #利用for循环将次数超过100的IP依次遍历出来并予以封禁

  16. for i in `awk '1>100 {print2}' ips` doipt -I INPUT -p tcp --dport 80 -s i -j REJECT echo "`date +%F-%T`i" >> /tmp/badip.log

  17. done

  18. }

  19. unblock()

  20. {

  21. #将封禁后所产生的pkts数量小于10的IP依次遍历予以解封

  22. for a in `ipt -nvL INPUT --line-numbers |grep '0.0.0.0/0'|awk '2<10 {print 1}'|sort -nr` doipt -D INPUT a

  23. doneipt -Z

  24. }

  25. #当时间在00分以及30分时执行解封函数

  26. if [ d2 -eq "00" ] || [d2 -eq "30" ]

  27. then

  28. #要先解再封,因为刚刚封禁时产生的pkts数量很少

  29. unblock

  30. block

  31. else

  32. block

  33. fi

15、判断用户输入的是否为IP地址

方法1:


 
  1. #!/bin/bash

  2. function check_ip(){

  3. IP=1

  4. VALID_CHECK=(echo IP|awk -F. '1< =255&&2<=255&&3<=255&&4/dev/null; then

  5. if [VALID_CHECK == "yes" ]; then

  6. echo "IP available."

  7. else

  8. echo "IP not available!"

  9. fi

  10. else

  11. echo "Format error!"

  12. fi

  13. }

  14. check_ip 192.168.1.1

  15. check_ip 256.1.1.1

  16.  

方法2:


 
  1. #!/bin/bash

  2. function check_ip(){

  3. IP=1

  4. if [[IP =~ ^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}]]; then

  5. FIELD1=(echo IP|cut -d. -f1)

  6. FIELD2=(echo IP|cut -d. -f2)

  7. FIELD3=(echo IP|cut -d. -f3)

  8. FIELD4=(echo IP|cut -d. -f4)

  9. if [FIELD1 -le 255 -a FIELD2 -le 255 -aFIELD3 -le 255 -a FIELD4 -le 255 ]; then

  10. echo "IP available."

  11. else

  12. echo "$IP not available!"

  13. fi

  14. else

  15. echo "Format error!"

  16. fi

  17. }

  18. check_ip 192.168.1.1

  19. check_ip 256.1.1.1

增加版:

加个死循环,如果IP可用就退出,不可用提示继续输入,并使用awk判断。


 
  1. #!/bin/bash

  2. function check_ip(){

  3. local IP=1

  4. VALID_CHECK=(echo IP|awk -F. '1< =255&&2<=255&&3<=255&&4/dev/null; then

  5. if [VALID_CHECK == "yes" ]; then

  6. return 0

  7. else

  8. echo "IP not available!"

  9. return 1

  10. fi

  11. else

  12. echo "Format error! Please input again."

  13. return 1

  14. fi

  15. }

  16. while true; do

  17. read -p "Please enter IP: " IP

  18. check_ipIP

  19. [ $? -eq 0 ] && break || continue

  20. done

  21.  

https://blog.csdn.net/xiaoxiaowu0419/article/details/120082386