MySQL数据库架构--基准测试

发表于 | 分类于 | | 阅读次数: |
字数统计: 1,506 字 | 阅读时长 ≈ 6 分钟
什么是基准测试？

我们看下基准测试的定义：

基准测试是一种测量和评估软件性能指标的活动，用于建立某个时刻的性能基准，以便当系统发生软硬件变化时重新进行基准测试，以评估变化对性能的影响。

基准测试和压力测试的区别：

基准测试：

直接、简单、易于比较，用于评估服务器的处理能力
可以不关心业务逻辑，所使用的查询和业务的真实性和环境没关系

压力测试：

对真实业务数据进行测试，获取系统所能承受的真实压力
需要针对不同主题，所使用的的数据和查询也是真实用到的

基准测试的目的

  • 建立MySQL服务器的性能基准线
    确定当前MySQL服务器运行情况
  • 模拟比当前系统更高的负载，以找出系统的扩展瓶颈
    增加数据库并发，观察QPS，TPS变化，确定并发量与性能最优化的关系
  • 测试不同的硬件、软件和操作系统配置
  • 证明新的硬件设备是否配置正确

如何进行基准测试

  1. 对整个系统进行基准测试

    从系统入口进行测试（如网站web前端、手机app前端）

    优点：

    能够测试整个系统的性能，包括web服务器、程序代码、网络、缓存、数据库等

    能反应出系统中各个组建接口间的性能问题，体现真实性能状况

    缺点：测试设计复杂、消耗时间长

  2. 单独对组件进行测试，对mysql进行基准测试

    优点：测试设计简单，所需好费时间短

    缺点：无法全面了解整个系统的性能基线

MySQL基准测试的常见指标

  • 单位时间内所处理的事务数（TPS）
  • 单位时间内所处理的查询数（QPS）
  • 响应时间：平均响应时间、最小响应时间、最大响应时间、各时间所占百分比
  • 并发量：同时处理的查询请求的数量（并发量不等于连接数）这里的并发量是指正在工作中的并发的操作数或者同时工作的数量，而不是有多少连接的线程。
基准测试

基准测试步骤

  1. 计划和设计基准测试（目标、数据、时间、次数）
    对整个系统还是某一组件
    使用什么样的数据（真数据，假数据）
    准备基准测试及数据收集脚本
    CPU使用率、IO、网络流量、状态与计数器信息等
  2. 运行基准测试

​

基准测试中容易忽略的问题

  1. 使用生产环境数据时只是用了部分数据（推荐使用真实数据库完全备份来测试）
  2. 在多用户的场景中，只做单用户的测试（推荐使用多线程的并发测试）
  3. 在单服务器上测试分布式应用
  4. 反复执行同一查询（容易缓存命中，无法反应真实查询性能）

MySQL基准测试工具与软件

  1. mysqlslap（MySQL自带）
    特点：可以模拟服务器负载，并输出相关统计信息
    可以指定也可以自动生成查询语句
    常用参数说明:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    --auto-generate-sql # 由系统自动生成SQL脚本进行测试
    --auto-generate-sql-add-autoincrement # 在生成的表中增加自增ID（innodb推荐）
    --auto-generate-sql-load-type # 指定测试中使用的查询类型
    --auto-generate-sql-write-number # 指定初始化数据时生成的数据量
    --concurrency # 指定并发线程的数量
    --engine # 指定要测试表的存储引擎，可以用逗号分割多个存储引擎（与--no-drop冲突，不能同时指定）
    --no-drop # 指定不清理测试数据 
    --iterations # 指定测试运行的次数（与--no-drop冲突，不能同时指定）
    --number-of-queries # 指定每个线程执行的查询数量
    --debug-info # 指定输出额外的内存及CPU统计信息
    --number-int-cols # 指定测试表中包含的INT类型列的数量
    --number-char-cols # 指定测试表中包含的varchar类型的数量
    --create-schema # 指定用于执行测试的数据库的名字
    --query # 用于指定自定义的SQL的脚本
    --only-print # 不运行测试脚本，只把生成的脚本打印出来
    1
    [root@hongshaorou ~]# mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=test -u root -p

  1. sysbench

    对io cpu 内存 都可以测试

    下载安装：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    [root@hongshaorou ~]# wget https://github.com/akopytov/sysbench/archive/0.5.zip

    [root@hongshaorou ~]# unzip 0.5.zip

    [root@hongshaorou sysbench-0.5]# sh autogen.sh

    [root@hongshaorou sysbench-0.5]# ./configure --with-mysql-includes=/usr/local/mysql/include/ \ --with-mysql- lib=/usr/local/mysql/lib/

    [root@hongshaorou sysbench-0.5]# make && make install

    常用参数：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    --test # 用于指定所要执行的测试类型，支持一下参数
    Fileio # 文件系统I/O性能测试
    cpu # cpu性能测试
    memory # 内存性能测试
    Oltp # 测试要指定具体的lua脚本Lua脚本位于sysbench-0.5/sysbench/tests/db
    --mysql-db # 用于指定执行基准测试的数据库名
    --mysql-table-engine # 用于指定所使用的存储引擎
    --oltp-tables-count # 执行测试的表的数量
    --oltp-table-size # 指定每个表中数据的行数
    --num-threads # 指定测试的并发线程数量
    --max-time # 指定最大的测试时间
    --report-interval # 指定间隔多长时间输出一次统计信息
    --mysql-user # 指定执行测试的mysql用户
    --mysql-password # 指定执行测试的mysql用户密码
    prepare # 用于准备测试数据
    run # 用于实际进行测试
    cleanup # 用于清理测试数据
知识就是财富
如果您觉得文章对您有帮助, 欢迎请我喝杯水！