发表于   |   分类于 ELK   |   暂无评论

为什么需要提取？使用一整行日志无法分析，需要提取单独的字段

  • 分析哪个IP访问量大
  • 分析Nginx的响应状态码
Nginx日志格式
    192.168.238.90 - - [01/Aug/2020:14:53:35 +0800] "GET /sjg666 HTTP/1.1" 404 3650 "-" "Chrome xxx" "-"

Nginx日志格式配置
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

Grok提取利器，需要掌握正则表达式。借助Kibana的Grok工具验证提取
自写正则提取(建议)
内置规则提取（简化）：/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns

阅读全文 »

发表于   |   分类于 mysql   |   暂无评论

Mysql造成锁的情况有很多，下面我们就列举一些情况：

  1. 执行DML操作没有commit，再执行删除操作就会锁表。
  2. 在同一事务内先后对同一条数据进行插入和更新操作。
  3. 表索引设计不当，导致数据库出现死锁。
  4. 长事物，阻塞DDL，继而阻塞所有同表的后续操作。

但是要区分的是Lock wait timeout exceeded与Dead Lock是不一样。

  1. Lock wait timeout exceeded：后提交的事务等待前面处理的事务释放锁，但是在等待的时候超过了mysql的锁等待时间，就会引发这个异常。
  2. Dead Lock：两个事务互相等待对方释放相同资源的锁，从而造成的死循环，就会引发这个异常。

还有一个要注意的是innodb_lock_wait_timeout与lock_wait_timeout也是不一样的。

  1. innodb_lock_wait_timeout：innodb的dml操作的行级锁的等待时间

  2. lock_wait_timeout：数据结构ddl操作的锁的等待时间

阅读全文 »

发表于   |   分类于 日志分析   |   暂无评论

wLogger 是一款集合 日志采集,日志解析持久化存储，web流量实时监控 。三位一体的web服务流量监控应用。 三大功能模块均可独立部署启用互不干扰。目前已内置 nginx 和 apache 的日志解析存储器，简单配置一下，开箱即用。 虽然市面上已经很多类似的开源日志采集监控服务比如goaccess，用了一圈之后始终没有一款用的特别舒心。

  • 它可以在日志采集的时候可以按照日志文件的大小，或者在指定时间内自动对日志进行切割日志，存储到指定的目录 （已测2W并发切割日志不丢数据）
  • 它可以不用像goaccess那样必须配置指定格式才能解析到数据，只用指定当前使用的 nginx/apache 日志格式名称 即可解析数据
  • 它可以指定不同的项目走不同的队列服务，分别解析存储到不同的数据库，完全可以自己按需灵活配置
  • 它天然支持分布式，日志采集服务队列已内置redis LIST结构，可自行拓展kafka ,mq等其它队列服务
  • 它支持自定义持久化存储引擎，日志解析持久化存储服务已内置 mongodb 和 mysql ,可自行拓展其它数据库
  • 简单配置，开箱即用，无入侵，高拓展，灵活配置，按需应用

  • 运行环境：python3+ linux平台

阅读全文 »

发表于   |   分类于 Windows   |   暂无评论

安装卸载

一. Microstore Store商店安装

  1. 打开应用商店，在搜索框输入“Windows Terminal”
  2. 点击进行搜索就会跳转到Windows Terminal 页面，然后点击Get进行安装

二.下载文件安装

Terminal
1.下载 Microsoft.WindowsTerminal_1.11.2921.0_8wekyb3d8bbwe.msixbundle 文件
2.安装
在下载目录 shift+右键 "在此处打开 Powershell" 窗口
add-appxpackage ./文件 这里可以使用 Tab 快速补全

阅读全文 »