记一次nginx崩溃事件

article/2024/7/12 19:03:50

一、事件描述

2023年春节复工第一天,项目组同事反馈说业务系统中图像处理代理Nginx服务于1月23日发生崩溃,完成了重启操作,检查nginx的日志有如下报错:

2023/01/23 11:07:07 [crit] 3237#3237: *2253009 pwritev() "/var/cache/nginx/client_temp/0000743846" 
failed (28: No space left on device), 
client: 10.14.32.3, server: localhost, 
request: "POST /Test HTTP/1.1", host: "10.14.32.2:5500"

二、检查分析

1)检查当前文件系统使用情况,未出现分区使用超限情况,应该是nginx重启后缓存释放了;
2)检查nginx配置文件,为对缓存进行额外配置,在编译时配置了缓存目录,如下:

nginx version: nginx/1.16.1
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC)
built with OpenSSL 1.1.1k 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-openssl=/home/software/openssl-1.1.1k --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt=‘-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -fPIC’ --with-ld-opt=‘-Wl,-z,relro -Wl,-z,now -pie’

配置项说明:执行对应模块时nginx所保留的临时文件
–http-client-body-temp-path=/var/cache/nginx/client_temp
–http-proxy-temp-path=/var/cache/nginx/proxy_temp
–http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
–http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp
–http-scgi-temp-path=/var/cache/nginx/scgi_temp

在这里插入图片描述
3) 配置Nginx静态文件缓存

##代理cache##proxy_connect_timeout 500;#跟后端服务器连接的超时时间_发起握手等候响应超时时间proxy_read_timeout 600;#连接成功后_等候后端服务器响应的时间_即已经进入后端的排队之中等候处理的过程时间proxy_send_timeout 500;#后端服务器数据回传时间_即在规定时间内后端服务器必须传完所有数据的时长proxy_buffer_size 128k;#代理请求缓存区_这个缓存区间会保存用户的头信息以供Nginx进行规则处理_一般只要能保存下头信息即可proxy_buffers 4 128k;#同上 告诉Nginx保存单个用户的几个Buffer最大用多大空间proxy_busy_buffers_size 256k;#如果系统很忙的时候可以申请更大的proxy_buffers 官方推荐*2proxy_temp_file_write_size 128k;#proxy缓存临时文件的大小proxy_temp_path /usr/local/nginx/temp;#用于指定本地目录用来缓冲较大的代理请求的目录,如果编译配置了--http-proxy-temp-path,也可以采取默认proxy_cache_path /usr/local/nginx/cache levels=1:2 keys_zone=cache_proxy:200m inactive=1d max_size=30g;#设置web缓存区名为cache_proxy,内存缓存空间大小为200M,自动清除超过1天没有被访问过的缓存数据,硬盘缓存空间大小30g;levels=1:2定义目录深度,并且第一层目录为1个字符,第二层目录为2个字符#这里配置的需要缓存的静态资源后缀名location ~* “\.(jpg|jpeg|png|gif|html|css|js|woff2|woff|map)?$” {proxy_pass http://fdfs;proxy_cache cache_proxy;proxy_cache_valid 200 24h; #200状态缓存24小时proxy_cache_valid 302 10m; #302状态缓存10分钟proxy_set_header Host $host;expires -1;add_header X-Cache-Status $upstream_cache_status; #在http头部增加一个字>段显示是否命中缓存}
#reload后,当出现cache manager process进程时表明缓存已经建立成功

在这里插入图片描述

三、处理

1)针对本次场景,最简单就是迁移目录到存储空间更大的存储上;

2)配置定期清理缓存,nginx缓存虽然可带来吞吐量和性能的提升,但有时候缓存过期后并不会释放,这时我们可借助nginx + ngx_cache_purge 模块,手动清理缓存;

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cp /sbin/nginx /sbin/nginx.back
nginx -V
./configure --prefix=/etc/nginx () --add-module=/root/app/ngx_cache_purge-2.3 
make -j2 #是 make 编译, 不是 make install ,make install 会覆盖原来已经安装好的内容。编译必须没有错误
objs/nginx -V  //验证编译完成后,复制到sbin目录下
/sbin/nginx -s reload
#清理缓存配置
location ~ /clear_cache(.*) {#proxy_cache_purge imooc_cache $host$1$is_args$args;#删除指定缓存区域cache_one的特定缓存文件$1$is_args$argsproxy_cache_purge cache_one $1$is_args$args;#运行本机和10.0.16.0/24;网段的机器访问,拒绝其它所有allow           127.0.0.1;allow           10.0.16.0/24;deny          all;
}
#这样清理某个缓存文件的时候地址前面加上 /clear_cache 即可,比如浏览器访问:
http://10.0.16.12:5500/clear_cache//api/index.php

在这里插入图片描述
没有缓存返回结果如下:

在这里插入图片描述

#示例2:控制满足条件不缓存
server
{……location /api/ {set $a 0; #设置初始值if ( $request_uri ~ /api/noapi/(.*) ){set $a 1; #如果满足不缓存 设置为1}proxy_no_cache $a;……}location ~ /clear_cache(.*) {allow   all;proxy_cache_purge imooc_cache $host$1$is_args$args;}
}#示例3:
add_header      Nginx-Cache     "$upstream_cache_status";
proxy_ignore_headers Expires;
proxy_ignore_headers Cache-Control;set $nocache 0;
# 以 aaa,bbb,ccc 开头的不缓存
if ($request_uri ~ ^/(aaa|bbb|ccc)) {set $nocache 1;
}
proxy_cache_bypass $nocache;# cookie 里面设置了nocache,或者 参数传值里有aaa,bbb 的不缓存,满足一个即可proxy_no_cache $cookie_nocache $arg_aaa $arg_bbb;#client_body模块配置, nginx对客户端请求缓冲区大小有个默认限制,如果超过了该值(比如在上传大文件时),会报500错误。
client_body_buffer_size SIZE // 指定客户端请求体缓冲区大小,如果请求大于该值,会报“500 Internal Server Error”错误。
client_body_temp_path	 /var/tmp/nginx DIR  [l1][lve2][lve3] //指定请求体临时文件的存放目录,可有多级。
client_max_body_size  SIZE //允许客户端请求的最大单文件字节数,如果请求体大于该值,会报“413 Request Entity Too Large”错误。

3)也可以借助 tmpwatch命令加入定时任务来清理,其实,系统/tmp目录,默认情况下每日会处理一次,原理就是使用了tmpwatch。该命令会在/etc/cron.daily/目录下生成一个tmpwatch文件

yum  install -y tmpwatch
cat /etc/cron.daily/tmpwatch
#! /bin/sh
flags=-umc
/usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \-x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix \-X '/tmp/hsperfdata_*' 10d /tmp   #tmp目录会删除240小时未访问过的文件,它可从指定的目录中递归地搜索并删除指定的目录中一段时间未访问的文件。
/usr/sbin/tmpwatch "$flags" 30d /var/tmp  #删除30天前的文件
for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; doif [ -d "$d" ]; then/usr/sbin/tmpwatch "$flags" -f 30d "$d"fi
done
#
/usr/sbin/tmpwatch -afv 3 /tmp //清除/tmp下三小时以内没有使用的文件,并将结果输出。

在这里插入图片描述

四、附录

参考1:https://cloud.tencent.com/developer/article/2048035
参考2:https://www.cnblogs.com/backups/p/nginx4.html
参考3:http://t.zoukankan.com/ecalf-p-4887382.html


http://www.ngui.cc/article/show-845526.html

相关文章

mysql:如何在windows环境下配置并随意切换两种mysql版本

系列文章目录 文章目录系列文章目录前言一、去官网下载zip安装包二、配置创建my.ini文件2.环境变量3、使用管理员身份打开dos命令窗口4、安装mysql8的服务和初始化data5、启动6 错误解决:修改mysql8服务的注册表最后前言 之前安装过5.7的版本 后来由于需要 就安装了…

【Ambari】ambari中添加新服务

背景 栈的定义可以在源代码树中找到/ambari-server/src/main/resources/stacks。当你安装Ambari Server服务之后&#xff0c;栈的定义可以被发现/var/lib/ambari-server/resources/stacks。 结构 一个栈的结构定义如下 |_ stacks|_ <stack_name>|_ <stack_version…

云原生 | Kubernetes - kubectl 备忘单

目录 Kubectl 自动补全 BASH ZSH 关于 --all-namespaces 的一点说明 Kubectl 上下文和配置 Kubectl apply 创建对象 查看和查找资源 更新资源 部分更新资源 编辑资源 对资源进行伸缩 删除资源 与运行中的 Pod 进行交互 从容器中复制文件和目录 与 Deployments …

学习记录675@项目管理之风险管理案例

之前觉得风险管理章节废话太多就没有单独一篇文章记录&#xff0c;但是这个案例还是考到了风险管理的知识&#xff0c;所以借着这个案例梳理下一些重要的知识。 案例 某市石油销售公司计划实施全市的加油卡联网收费系统项目。该石油销售公司选择了系统集成商Simple 公司作为项…

实现文件拷贝,例如将1.c中的内容拷贝到2.c中;

实现文件拷贝&#xff0c;例如将1.c中的内容拷贝到2.c中&#xff1b;通过命令行传参的方式&#xff0c;传入文件名;计算一个文件的大小. 封装成函数通过命令行传参的方式&#xff0c;传入文件名; 统计一个文件有几行。封装成函数代码&#xff1a;#include <stdio.h> //封…

齐晖医药冲刺上市:毛利率持续下滑,刘祥宜和朱建民夫妇为实控人

近日&#xff0c;江苏齐晖医药科技股份有限公司&#xff08;下称“齐晖医药”&#xff09;递交预披露招股书&#xff0c;准备在上海证券交易所主板上市。本次冲刺上市&#xff0c;齐晖医药计划募资6.97亿元&#xff0c;将用于动保原料药生产基地项目、研发中心建设项目&#xf…

星环科技数据治理与数据价值评估实践分享

数据价值评估背景 自2015年8月国务院《促进大数据发展行动纲要》提出“数据已成为国家基础性战略资源”以来&#xff0c;我国出台了诸多政策和法案&#xff0c;推进数据的发展和数据要素的资产化。 2019年10月&#xff0c;第十九届四中全会关于《推进国家治理体系和治理能力现…

解决OpenEuler系统 Minimal BASH-like line editing is supported

2023年开工解决的第一个问题~呃&#xff0c;起因是这样的&#xff0c;由于业务需要&#xff0c;修改内核参数后重新打包内核&#xff0c;然后安装内核rpm包后&#xff0c;强制关机&#xff0c;结果就出现如上界面。网上搜索后绝大部分是因为安装了双系统后找不到grub系统引导文…

【数据结构】8.2 插入排序

文章目录前言1. 直接插入排序直接插入排序算法直接插入排序性能分析2. 折半插入排序3. 希尔排序希尔排序算法希尔排序算法分析排序方法比较前言 类似于俺们打牌时的插入&#xff0c;每抓来一张牌的时候&#xff0c;就将它放在合适的位置上&#xff0c;插入一张牌之后手里的牌仍…

JavaScript基础(18)_Date对象、Math对象

Date对象 Date(日期对象)是一个构造函数,必须使用new来调用创建日期对象 1、创建一个Date对象&#xff0c;如果直接使用构造函数创建一个Date对象&#xff0c;则会封装为当前代码"执行的时间"。 var d new Date(); console.log(d); 2、创建一个指定的时间对象&am…