SpringBoot + Druid DataSource 实现监控 MySQL 性能
字数 6067 2023-02-27 12:51:49

SpringBoot + Druid DataSource 实现监控 MySQL 性能

1. 基本概念

我们都使用过连接池,比如C3P0,DBCP,hikari, Druid,虽然HikariCP的速度稍快,但Druid能够提供强大的监控和扩展功能,也是阿里巴巴的开源项目。

Druid是阿里巴巴开发的号称为监控而生的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource等等,秒杀一切。

Druid可以很好的监控DB池连接和SQL的执行情况,天生就是针对监控而生的DB连接池。

Spring Boot默认数据源HikariDataSourceJdbcTemplate中已经介绍Spring Boot 2.x默认使用Hikari数据源,可以说Hikari与Driud都是当前Java Web上最优秀的数据源。

而Druid已经在阿里巴巴部署了超过600个应用,经过好几年生产环境大规模部署的严苛考验!

  • stat: Druid内置提供一个StatFilter,用于统计监控信息。
  • wall: Druid防御SQL注入攻击的WallFilter就是通过Druid的SQL Parser分析。Druid提供的SQL Parser可以在JDBC层拦截SQL做相应处理,比如说分库分表、审计等。
  • log4j2: 这个就是 日志记录的功能,可以把sql语句打印到log4j2供排查问题。

2. 相关配置

2.1 添加依赖

<properties>
    <java.version>1.8</java.version>
    <alibabaDruidStarter.version>1.2.11</alibabaDruidStarter.version>
</properties>

<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid-spring-boot-starter</artifactId>
<version>${alibabaDruidStarter.version}</version>
</dependency>

2.2 配置属性

  • 配置Druid数据源(连接池): 如同c3p0、dbcp数据源可以设置数据源连接初始化大小、最大连接数、等待时间、最小连接数 等一样,Druid数据源同理可以进行设置。
  • 配置Druid web监控filter(WebStatFilter): 这个过滤器的作用就是统计web应用请求中所有的数据库信息,比如 发出的sql语句,sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数等等。
  • 配置Druid后台管理Servlet(StatViewServlet): Druid数据源具有监控的功能,并提供了一个web界面方便用户查看,类似安装 路由器 时,人家也提供了一个默认的web页面;需要设置Druid的后台管理页面的属性,比如 登录账号、密码等。

【注意】:Druid Spring Boot Starter配置属性的名称完全遵照Druid,可以通过Spring Boot配置文件来配置Druid数据库连接池和监控,如果没有配置则使用默认值,如下在application.yml配置相关属性:

# spring 配置
spring:
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
password: 123456
username: root
url: jdbc:mysql://localhost:3306/superjson?useUnicode=true&characterEncoding=utf8&useSSL=false
# 连接池配置
druid:
# 初始化大小,最小,最大
initial-size: 5
min-idle: 5
max-active: 20
# 配置获取连接等待超时的时间
max-wait: 60000
# 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位毫秒
time-between-eviction-runs-millis: 60000
# 配置一个连接在池中最小生存时间
min-evictable-idle-time-millis: 300000
validation-query: SELECT 1 FROM user
test-while-idle: true
test-on-borrow: false
test-on-return: false
# 打开 PSCache,并且指定每个连接上 PSCache 的大小
pool-prepared-statements: true
max-pool-prepared-statement-per-connection-size: 20
# 配置监控统计拦截的 Filter,去掉后监控界面 SQL 无法统计,wall 用于防火墙
filters: stat,wall,slf4j
# 通过 connection-properties 属性打开 mergeSql 功能;慢 SQL 记录
connection-properties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
# 配置 DruidStatFilter
web-stat-filter:
enabled: true
url-pattern: /
exclusions: .js,
.gif,.jpg,.bmp,.png,.css,.ico,/druid/
# 配置 DruidStatViewServlet
stat-view-servlet:
url-pattern: /druid/*
# IP 白名单,没有配置或者为空,则允许所有访问
allow: 127.0.0.1
# IP 黑名单,若白名单也存在,则优先使用
deny: 192.168.31.253
# 禁用 HTML 中 Reset All 按钮
reset-enable: false
# 登录用户名/密码
login-username: root
login-password: 123456
# 需要设置enabled=true,否则会报出There was an unexpected error (type=Not Found, status=404).错误,或者将druid-spring-boot-starter的版本降低到1.1.10及以下
# 是否启用StatViewServlet(监控页面)默认值为false(考虑到安全问题默认并未启动,如需启用建议设置密码或白名单以保障安全)
enabled: true

上述配置文件的参数可以在com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatPropertiesorg.springframework.boot.autoconfigure.jdbc.DataSourcePropertie中找到。

2.3 配置Filter

可以通过spring.datasource.druid.filters=stat,wall,log4j ...的方式来启用相应的内置Filter,不过这些Filter都是默认配置。如果默认配置不能满足需求,可以放弃这种方式,通过配置文件来配置Filter,如下所示:

# 配置StatFilter 
spring.datasource.druid.filter.stat.enabled=true
spring.datasource.druid.filter.stat.db-type=h2
spring.datasource.druid.filter.stat.log-slow-sql=true
spring.datasource.druid.filter.stat.slow-sql-millis=2000

# 配置WallFilter
spring.datasource.druid.filter.wall.enabled=true
spring.datasource.druid.filter.wall.db-type=h2
spring.datasource.druid.filter.wall.config.delete-allow=false
spring.datasource.druid.filter.wall.config.drop-table-allow=false

目前为以下Filter提供了配置支持,根据(spring.datasource.druid.filter.)进行配置。

  • StatFilter
  • WallFilter
  • ConfigFilter
  • EncodingConvertFilter
  • Slf4jLogFilter
  • Log4jFilter
  • Log4j2Filter
  • CommonsLogFilter

不想使用内置的Filters,要想使自定义Filter配置生效需要将对应Filter的enabled设置为true,Druid Spring Boot Starter默认禁用StatFilter,可以将其enabled设置为true来启用它。

3 监控页面

  1. 启动项目后,访问http://localhost:8081/druid/login.html来到登录页面,输入用户名密码登录,如下所示:

图片

  1. 数据源页面 是当前DataSource配置的基本信息,上述配置的Filter可以在里面找到,如果没有配置 Filter(一些信息会无法统计,例如SQL监控会无法获取JDBC相关的SQL执行信息)

图片

  1. SQL监控页面,统计了所有SQL语句的执行情况

图片

  1. URL监控页面,统计了所有Controller接口的访问以及执行情况

图片

  1. Spring监控页面,利用aop对指定接口的执行时间,jdbc数进行记录

图片

  1. SQL防火墙页面

druid提供了黑白名单的访问,可以清楚的看到sql防护情况。

  1. Session监控页面

可以看到当前的session状况,创建时间、最后活跃时间、请求次数、请求时间等详细参数。

  1. JSONAPI页面

通过api的形式访问Druid的监控接口,api接口返回Json形式数据。

4. sql监控

配置Druid web监控filter(WebStatFilter)这个过滤器,作用就是统计web应用请求中所有的数据库信息,比如 发出的sql语句,sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数,如下配置:

spring:
datasource:
druid:
########## 配置WebStatFilter,用于采集web关联监控的数据 ##########
web-stat-filter:
enabled: true # 启动 StatFilter
url-pattern: /
# 过滤所有url
exclusions: ".js,.gif,.jpg,.png,.css,.ico,/druid/" # 排除一些不必要的url
session-stat-enable: true # 开启session统计功能
session-stat-max-count: 1000 # session的最大个数,默认100

5. 慢sql记录

有时候,系统中有些SQL执行很慢,我们希望使用日志记录下来,可以开启Druid的慢SQL记录功能,如下配置:

spring:
datasource:
druid:
filter:
stat:
enabled: true # 开启DruidDataSource状态监控
db-type: mysql # 数据库的类型
log-slow-sql: true # 开启慢SQL记录功能
slow-sql-millis: 2000 # 默认3000毫秒,这里超过2s,就是慢,记录到日志

启动后,如果遇到执行慢的SQL,便会输出到日志中

6. spring 监控

访问之后spring监控默认是没有数据的,但需要导入SprngBoot的AOP的Starter,如下所示:

<!--SpringBoot 的aop 模块-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-aop</artifactId>
</dependency>

同时需要在application.yml按如下配置:

Spring监控AOP切入点,如com.springboot.template.dao.,配置多个英文逗号分隔

spring.datasource.druid.aop-patterns="com.springboot.template.dao.*"

7. 去广告(Ad)

访问监控页面的时候,你可能会在页面底部(footer)看到阿里巴巴的广告,如下所示:

图片

原因:引入的druid的jar包中的common.js(里面有一段js代码是给页面的footer追加广告的)

如果想去掉,有两种方式:

1. 直接手动注释这段代码

如果是使用Maven,直接到本地仓库中,查找这个jar包,注释如下代码:

// this.buildFooter();

common.js的位置:

com/alibaba/druid/1.1.23/druid-1.1.23.jar!/support/http/resources/js/common.js

2. 使用过滤器过滤

注册一个过滤器,过滤common.js的请求,使用正则表达式替换相关的广告内容,如下代码所示:

@Configuration
@ConditionalOnWebApplication
@AutoConfigureAfter(DruidDataSourceAutoConfigure.class)
@ConditionalOnProperty(name
= "spring.datasource.druid.stat-view-servlet.enabled",
havingValue = "true", matchIfMissing = true)
public class RemoveDruidAdConfig {

<span class="hljs-comment">/**
* 方法名: removeDruidAdFilterRegistrationBean
* 方法描述 除去页面底部的广告
* <span class="hljs-doctag">@param</span> properties com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties
* <span class="hljs-doctag">@return</span> org.springframework.boot.web.servlet.FilterRegistrationBean
*/</span>
<span class="hljs-meta">@Bean</span>
<span class="hljs-function"><span class="hljs-keyword">public</span> FilterRegistrationBean <span class="hljs-title">removeDruidAdFilterRegistrationBean</span><span class="hljs-params">(DruidStatProperties properties)</span> </span>{

    <span class="hljs-comment">// 获取web监控页面的参数</span>
    DruidStatProperties.StatViewServlet config = properties.getStatViewServlet();
    <span class="hljs-comment">// 提取common.js的配置路径</span>
    String pattern = config.getUrlPattern() != <span class="hljs-keyword">null</span> ? config.getUrlPattern() : <span class="hljs-string">"/druid/*"</span>;
    String commonJsPattern = pattern.replaceAll(<span class="hljs-string">"\\*"</span>, <span class="hljs-string">"js/common.js"</span>);

    <span class="hljs-keyword">final</span> String filePath = <span class="hljs-string">"support/http/resources/js/common.js"</span>;

    <span class="hljs-comment">//创建filter进行过滤</span>
    Filter filter = <span class="hljs-keyword">new</span> Filter() {
        <span class="hljs-meta">@Override</span>
        <span class="hljs-function"><span class="hljs-keyword">public</span> <span class="hljs-keyword">void</span> <span class="hljs-title">init</span><span class="hljs-params">(FilterConfig filterConfig)</span> <span class="hljs-keyword">throws</span> ServletException </span>{}

        <span class="hljs-meta">@Override</span>
        <span class="hljs-function"><span class="hljs-keyword">public</span> <span class="hljs-keyword">void</span> <span class="hljs-title">doFilter</span><span class="hljs-params">(ServletRequest request, ServletResponse response, FilterChain chain)</span> <span class="hljs-keyword">throws</span> IOException, ServletException </span>{
            chain.doFilter(request, response);
            <span class="hljs-comment">// 重置缓冲区,响应头不会被重置</span>
            response.resetBuffer();
            <span class="hljs-comment">// 获取common.js</span>
            String text = Utils.readFromResource(filePath);
            <span class="hljs-comment">// 正则替换banner, 除去底部的广告信息</span>
            text = text.replaceAll(<span class="hljs-string">"&lt;a.*?banner\"&gt;&lt;/a&gt;&lt;br/&gt;"</span>, <span class="hljs-string">""</span>);
            text = text.replaceAll(<span class="hljs-string">"powered.*?shrek.wang&lt;/a&gt;"</span>, <span class="hljs-string">""</span>);
            response.getWriter().write(text);
        }

        <span class="hljs-meta">@Override</span>
        <span class="hljs-function"><span class="hljs-keyword">public</span> <span class="hljs-keyword">void</span> <span class="hljs-title">destroy</span><span class="hljs-params">()</span> </span>{}
    };

    FilterRegistrationBean registrationBean = <span class="hljs-keyword">new</span> FilterRegistrationBean();
    registrationBean.setFilter(filter);
    registrationBean.addUrlPatterns(commonJsPattern);
    <span class="hljs-keyword">return</span> registrationBean;
}

}

两种方式都可以,建议使用的是第一种,从根源解决。

8. 获取 Druid 的监控数据

Druid的监控数据可以在开启StatFilter后,通过DruidStatManagerFacade进行获取;

DruidStatManagerFacade#getDataSourceStatDataList该方法可以获取所有数据源的监控数据,除此之外DruidStatManagerFacade还提供了一些其他方法,可以按需选择使用。

@RestController
@RequestMapping(value = "/druid")
public class DruidStatController {

<span class="hljs-variable">@GetMapping</span>(<span class="hljs-string">"/stat"</span>)
public Object druidStat(){
    <span class="hljs-comment">// 获取数据源的监控数据</span>
    <span class="hljs-selector-tag">return</span> <span class="hljs-selector-tag">DruidStatManagerFacade</span><span class="hljs-selector-class">.getInstance</span>()<span class="hljs-selector-class">.getDataSourceStatDataList</span>();
}

}

&lt; dependency &gt; &lt; groupId &gt; com.alibaba &lt;/ groupId &gt; &lt; artifactId &gt; druid-spring-boot-starter &lt;/ artifactId &gt; &lt; version &gt; ${alibabaDruidStarter.version} &lt;/ version &gt; &lt;/ dependency &gt; 2.2 配置属性 配置Druid数据源(连接池): 如同c3p0、dbcp数据源可以设置数据源连接初始化大小、最大连接数、等待时间、最小连接数 等一样,Druid数据源同理可以进行设置。 配置Druid web监控filter(WebStatFilter): 这个过滤器的作用就是统计web应用请求中所有的数据库信息,比如 发出的sql语句,sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数等等。 配置Druid后台管理Servlet(StatViewServlet): Druid数据源具有监控的功能,并提供了一个web界面方便用户查看,类似安装 路由器 时,人家也提供了一个默认的web页面;需要设置Druid的后台管理页面的属性,比如 登录账号、密码等。 【注意】: Druid Spring Boot Starter 配置属性的名称完全遵照Druid,可以通过Spring Boot配置文件来配置Druid数据库连接池和监控,如果没有配置则使用默认值,如下在 application.yml 配置相关属性: # spring 配置 spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver password: 123456 username: root url: jdbc:mysql://localhost:3306/superjson?useUnicode=true&amp;characterEncoding=utf8&amp;useSSL=false # 连接池配置 druid: # 初始化大小,最小,最大 initial-size: 5 min-idle: 5 max-active: 20 # 配置获取连接等待超时的时间 max-wait: 60000 # 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位毫秒 time-between-eviction-runs-millis: 60000 # 配置一个连接在池中最小生存时间 min-evictable-idle-time-millis: 300000 validation-query: SELECT 1 FROM user test-while-idle: true test-on-borrow: false test-on-return: false # 打开 PSCache,并且指定每个连接上 PSCache 的大小 pool-prepared-statements: true max-pool-prepared-statement-per-connection-size: 20 # 配置监控统计拦截的 Filter,去掉后监控界面 SQL 无法统计,wall 用于防火墙 filters: stat,wall,slf4j # 通过 connection-properties 属性打开 mergeSql 功能;慢 SQL 记录 connection-properties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000 # 配置 DruidStatFilter web-stat-filter: enabled: true url-pattern: / exclusions: .js, .gif, .jpg, .bmp, .png, .css, .ico,/druid/ # 配置 DruidStatViewServlet stat-view-servlet: url-pattern: /druid/* # IP 白名单,没有配置或者为空,则允许所有访问 allow: 127.0 .0 .1 # IP 黑名单,若白名单也存在,则优先使用 deny: 192.168 .31 .253 # 禁用 HTML 中 Reset All 按钮 reset-enable: false # 登录用户名/密码 login-username: root login-password: 123456 # 需要设置enabled=true,否则会报出There was an unexpected error (type=Not Found, status=404).错误,或者将druid-spring-boot-starter的版本降低到1.1.10及以下 # 是否启用StatViewServlet(监控页面)默认值为false(考虑到安全问题默认并未启动,如需启用建议设置密码或白名单以保障安全) enabled: true 上述配置文件的参数可以在 com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties 和 org.springframework.boot.autoconfigure.jdbc.DataSourcePropertie 中找到。 2.3 配置Filter 可以通过 spring.datasource.druid.filters=stat,wall,log4j ... 的方式来启用相应的内置Filter,不过这些Filter都是默认配置。如果默认配置不能满足需求,可以放弃这种方式,通过配置文件来配置Filter,如下所示: # 配置StatFilter spring.datasource.druid.filter.stat.enabled = true spring.datasource.druid.filter.stat.db-type =h2 spring.datasource.druid.filter.stat.log-slow-sql = true spring.datasource.druid.filter.stat.slow-sql-millis = 2000 # 配置WallFilter spring.datasource.druid.filter.wall.enabled = true spring.datasource.druid.filter.wall.db-type =h2 spring.datasource.druid.filter.wall.config.delete-allow = false spring.datasource.druid.filter.wall.config.drop-table-allow = false 目前为以下Filter提供了配置支持,根据( spring.datasource.druid.filter. )进行配置。 StatFilter WallFilter ConfigFilter EncodingConvertFilter Slf4jLogFilter Log4jFilter Log4j2Filter CommonsLogFilter 不想使用内置的Filters,要想使自定义Filter配置生效需要将对应Filter的enabled设置为true, Druid Spring Boot Starter 默认禁用StatFilter,可以将其enabled设置为true来启用它。 3 监控页面 启动项目后,访问 http://localhost:8081/druid/login.html 来到登录页面,输入用户名密码登录,如下所示: 图片 数据源页面 是当前DataSource配置的基本信息,上述配置的Filter可以在里面找到,如果没有配置 Filter(一些信息会无法统计,例如SQL监控会无法获取JDBC相关的SQL执行信息) 图片 SQL监控页面,统计了所有SQL语句的执行情况 图片 URL监控页面,统计了所有Controller接口的访问以及执行情况 图片 Spring监控页面,利用aop对指定接口的执行时间,jdbc数进行记录 图片 SQL防火墙页面 druid提供了黑白名单的访问,可以清楚的看到sql防护情况。 Session监控页面 可以看到当前的session状况,创建时间、最后活跃时间、请求次数、请求时间等详细参数。 JSONAPI页面 通过api的形式访问Druid的监控接口,api接口返回Json形式数据。 4. sql监控 配置Druid web监控filter( WebStatFilter )这个过滤器,作用就是统计web应用请求中所有的数据库信息,比如 发出的sql语句,sql执行的时间、请求次数、请求的url地址、以及seesion监控、数据库表的访问次数,如下配置: spring: datasource: druid: ########## 配置WebStatFilter,用于采集web关联监控的数据 ########## web-stat-filter: enabled: true # 启动 StatFilter url-pattern: / # 过滤所有url exclusions: " .js, .gif, .jpg, .png, .css, .ico,/druid/ " # 排除一些不必要的url session-stat-enable: true # 开启session统计功能 session-stat-max-count: 1000 # session的最大个数,默认100 5. 慢sql记录 有时候,系统中有些SQL执行很慢,我们希望使用日志记录下来,可以开启Druid的慢SQL记录功能,如下配置: spring: datasource: druid: filter: stat: enabled: true # 开启DruidDataSource状态监控 db-type: mysql # 数据库的类型 log-slow-sql: true # 开启慢SQL记录功能 slow-sql-millis: 2000 # 默认3000毫秒,这里超过2s,就是慢,记录到日志 启动后,如果遇到执行慢的SQL,便会输出到日志中 6. spring 监控 访问之后spring监控默认是没有数据的,但需要导入SprngBoot的AOP的Starter,如下所示: &lt;!--SpringBoot 的aop 模块--&gt; &lt; dependency &gt; &lt; groupId &gt; org.springframework.boot &lt;/ groupId &gt; &lt; artifactId &gt; spring-boot-starter-aop &lt;/ artifactId &gt; &lt;/ dependency &gt; 同时需要在application.yml按如下配置: Spring监控AOP切入点,如 com.springboot.template.dao. ,配置多个英文逗号分隔 spring.datasource.druid.aop-patterns = "com.springboot.template.dao.* " 7. 去广告(Ad) 访问监控页面的时候,你可能会在页面底部(footer)看到阿里巴巴的广告,如下所示: 图片 原因:引入的druid的jar包中的common.js(里面有一段js代码是给页面的footer追加广告的) 如果想去掉,有两种方式: 1. 直接手动注释这段代码 如果是使用Maven,直接到本地仓库中,查找这个jar包,注释如下代码: // this .buildFooter(); common.js的位置: com/alibaba/druid/ 1.1 .23 /druid -1.1 .23 .jar! /support/ http/resources/js/common.js 2. 使用过滤器过滤 注册一个过滤器,过滤 common.js 的请求,使用正则表达式替换相关的广告内容,如下代码所示: @Configuration @ConditionalOnWebApplication @AutoConfigureAfter (DruidDataSourceAutoConfigure . class ) @ ConditionalOnProperty ( name = "spring.datasource.druid.stat-view-servlet.enabled" , havingValue = "true" , matchIfMissing = true ) public class RemoveDruidAdConfig { } 两种方式都可以,建议使用的是第一种,从根源解决。 8. 获取 Druid 的监控数据 Druid的监控数据可以在开启 StatFilter 后,通过 DruidStatManagerFacade 进行获取; DruidStatManagerFacade#getDataSourceStatDataList 该方法可以获取所有数据源的监控数据,除此之外 DruidStatManagerFacade 还提供了一些其他方法,可以按需选择使用。 @RestController @RequestMapping (value = "/druid" ) public class DruidStatController { }