Logstash正则提取Nginx日志 发表于 2021-12-06 | 分类于 ELK | 暂无评论 为什么需要提取？使用一整行日志无法分析，需要提取单独的字段 - 分析哪个IP访问量大 - 分析Nginx的响应状态码 ```shell Nginx日志格式 192.168.238.90 - - [01/Aug/2020:14:53:35 +0800] "GET /sjg666 HTTP/1.1" 404 3650 "-" "Chrome xxx" "-" Nginx日志格式配置 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; ``` Grok提取利器，需要掌握正则表达式。借助Kibana的Grok工具验证提取 自写正则提取(建议) 内置规则提取（简化）：/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns 阅读全文 »
mysql 锁 Lock wait timeout exceeded 该如何处理？ 发表于 2021-12-01 | 分类于 mysql | 暂无评论 Mysql造成锁的情况有很多，下面我们就列举一些情况： 1. 执行DML操作没有commit，再执行删除操作就会锁表。 2. 在同一事务内先后对同一条数据进行插入和更新操作。 3. 表索引设计不当，导致数据库出现死锁。 4. 长事物，阻塞DDL，继而阻塞所有同表的后续操作。 但是要区分的是Lock wait timeout exceeded与Dead Lock是不一样。 1. Lock wait timeout exceeded：后提交的事务等待前面处理的事务释放锁，但是在等待的时候超过了mysql的锁等待时间，就会引发这个异常。 2. Dead Lock：两个事务互相等待对方释放相同资源的锁，从而造成的死循环，就会引发这个异常。 还有一个要注意的是innodb_lock_wait_timeout与lock_wait_timeout也是不一样的。 1. innodb_lock_wait_timeout：innodb的dml操作的行级锁的等待时间 2. lock_wait_timeout：数据结构ddl操作的锁的等待时间 阅读全文 »
wLogger 安装部署 nginx 日志分析展示 发表于 2021-11-24 | 分类于 日志分析 | 暂无评论 wLogger 是一款集合 日志采集,日志解析持久化存储，web流量实时监控 。三位一体的web服务流量监控应用。 三大功能模块均可独立部署启用互不干扰。目前已内置 nginx 和 apache 的日志解析存储器，简单配置一下，开箱即用。 虽然市面上已经很多类似的开源日志采集监控服务比如goaccess，用了一圈之后始终没有一款用的特别舒心。 - 它可以在日志采集的时候可以按照日志文件的大小，或者在指定时间内自动对日志进行切割日志，存储到指定的目录 （已测2W并发切割日志不丢数据） - 它可以不用像goaccess那样必须配置指定格式才能解析到数据，只用指定当前使用的 nginx/apache 日志格式名称 即可解析数据 - 它可以指定不同的项目走不同的队列服务，分别解析存储到不同的数据库，完全可以自己按需灵活配置 - 它天然支持分布式，日志采集服务队列已内置redis LIST结构，可自行拓展kafka ,mq等其它队列服务 - 它支持自定义持久化存储引擎，日志解析持久化存储服务已内置 mongodb 和 mysql ,可自行拓展其它数据库 - 简单配置，开箱即用，无入侵，高拓展，灵活配置，按需应用 - 运行环境：python3+ linux平台 阅读全文 »
Windows Terminal 安装及添加 git bash 发表于 2021-11-24 | 分类于 Windows | 暂无评论 ## 安装卸载 ### 一. Microstore Store商店安装 1. 打开应用商店，在搜索框输入“Windows Terminal” 2. 点击进行搜索就会跳转到Windows Terminal 页面，然后点击Get进行安装 ### 二.下载文件安装 [Terminal](https://github.com/microsoft/Terminal "github") 1.下载 Microsoft.WindowsTerminal_1.11.2921.0_8wekyb3d8bbwe.msixbundle 文件 2.安装 在下载目录 shift+右键 "在此处打开 Powershell" 窗口 add-appxpackage ./文件 这里可以使用 Tab 快速补全 阅读全文 »
MariaDB 解决已经设置root密码 还能无密码登录 发表于 2021-11-23 | 分类于 mysql | 暂无评论 ### 1.问题描述 mariadb 10.5.10 MariaDB 已经设置好root密码，但是使用 ```shell mysql 回车可以登录 mysql -u root -p 两次回车可以登录，或密码输入任意值也可以登录 mysql -h 127.0.0.1 -u root -p 需要输入密码登录 ``` 阅读全文 »