最近工作中需要测试数据库的OLTP的性能&＃xff0c;参考了下MariaDB的benchmark中的测试脚本&＃xff0c;发现脚本中已经使用了Sysbench-0.5&＃xff0c;可以在这里https://launchpad.net/sysbench 拉下来trunk&＃xff0c;这就是传说中的0.5版本。
1. 编译安装
1 Shell>pwd
2
3 /home/nocode
4
5 Shell> bzr branch lp:~sysbench-developers/sysbench/0.5 sysbench
6
7 Shell> cd sysbench
8
9 Shell> ./autogen.sh
10
11 Shell> ./configure
12
13 Shell> make
14
15 Shell> sudo make install
2. 使用
1 Shell>pwd
2
3 /home/nocode/sysbench/sysbench
4
5 Shell>./sysbench --num-threads&＃61;1 --test&＃61;./tests/db/oltp.lua --oltp-table-size&＃61;1000 --oltp-tables-count&＃61;1 --mysql-host&＃61;127.0.0.1 --mysql-port&＃61;3306 --mysql-user&＃61;root --mysql-password&＃61; --mysql-db&＃61;test prepare
6
7 Shell>./sysbench --num-threads&＃61;1 --test&＃61;./tests/db/oltp.lua --oltp-table-size&＃61;1000 --oltp-tables-count&＃61;1 --report-interval&＃61;5 --mysql-host&＃61;127.0.0.1 --mysql-port&＃61;3306 --mysql-user&＃61;root --mysql-password&＃61; --mysql-db&＃61;test run
8
9 Shell>./sysbench --num-threads&＃61;1 --test&＃61;./tests/db/oltp.lua --oltp-table-size&＃61;1000 --oltp-tables-count&＃61;1 --mysql-host&＃61;127.0.0.1 --mysql-port&＃61;3306 --mysql-user&＃61;root --mysql-password&＃61; --mysql-db&＃61;test cleanup
3. Sysbench分析
这里可以看出来--test参数的值有所变化&＃xff0c;在之前的版本&＃xff0c;--test取值如下
Compiled-in tests:
fileio - File I/O test
cpu - CPU performance test
memory - Memory functions speed test
threads - Threads subsystem performance test
mutex - Mutex performance test
oltp - OLTP test
新版本的test的取值是lua脚本&＃xff0c;我们看下test/db/下都有哪些脚本&＃xff1a;
Shell>ls
common.lua Makefile.am parallel_prepare.lua update_index.lua
delete.lua Makefile.in select.lua update_non_index.lua
insert.lua oltp.lua select_random_points.lua
Makefile oltp_simple.lua select_random_ranges.lua
这些脚本大部分都是可以作为test的取值的&＃xff0c;这就是新版本有别于之前版本的最大区别&＃xff0c;我们可以自己定义lua脚本&＃xff0c;
进行定制化的测试&＃xff0c;而不需要去修改sysbench的代码&＃xff0c;重新编译再进行测试。
我们首先看下common.lua&＃xff0c;这个文件并非是测试文件&＃xff0c;而是用于prepare和cleanup&＃xff0c;当然还包括参数的读取。
先看下一下这个脚本里面的prepare&＃xff1a;
1 function prepare()
2 local query
3 local i
4 local j
5
6 set_vars()
7
8 db_connect()
9 for i &＃61; 1,oltp_tables_count do
10 create_insert(i)
11 end
12
13 return 0
14 end
prepare函数调用create_insert函数来创建表并插入数据。cleanup函数用来DROP TABLE&＃xff0c;如下所示。
function cleanup()
local iset_vars()for i &＃61; 1,oltp_tables_count do
print("Dropping table &＃39;sbtest" .. i .. "&＃39;...")
db_query("DROP TABLE sbtest".. i )
end
end
下面我们看下oltp.lua文件&＃xff0c;这里面有两个函数&＃xff0c;一个初始化函数&＃xff1a;thread_init&＃xff0c;用于初始化每个线程的参数
function thread_init(thread_id)
set_vars()if (db_driver &＃61;&＃61; "mysql" and mysql_table_engine &＃61;&＃61; "myisam") then
begin_query &＃61; "LOCK TABLES sbtest WRITE"
commit_query &＃61; "UNLOCK TABLES"
else
begin_query &＃61; "BEGIN"
commit_query &＃61; "COMMIT"
endend
这个初始化函数主要是调用了common.lua里面的set_vars函数&＃xff0c;来初始化oltp相关的参数&＃xff0c;如oltp_range_size,oltp_sum_ranges等等&＃xff0c;
这些参数都是用来控制一个T&＃xff08;Transaction&＃xff09;里面语句的类型和个数的。所谓的TPS值的高低也和这些值有关系&＃xff0c;一个T的语句越少&＃xff0c;越简单&＃xff0c;
TPS的值就会越高&＃xff0c;相反&＃xff0c;如果一个T里面语句多&＃xff0c;语句复杂&＃xff0c;那么TPS必然降低。我们来具体看下每个事务执行哪些语句&＃xff0c;这就是函数event做的事情。
我们看下这个函数里面的典型代码&＃xff1a;
if not oltp_skip_trx then
db_query(begin_query)
endfor i&＃61;1, oltp_point_selects do
rs &＃61; db_query("SELECT c FROM ".. table_name .." WHERE id&＃61;" .. sb_rand(1, o ltp_table_size))
endfor i&＃61;1, oltp_simple_ranges do
range_start &＃61; sb_rand(1, oltp_table_size)
rs &＃61; db_query("SELECT c FROM ".. table_name .." WHERE id BETWEEN " .. rang e_start .. " AND " .. range_start .. "&＃43;" .. oltp_range_size - 1)
end
根据oltp_skip_trx来决定是否启用事务&＃xff0c;然后根据oltp_point_selects来决定点查询语句的个数&＃xff0c;oltp_simple_rannges来确定范围查询语句的个数。
4. 定制脚本
默认的sysbench在prepare的时候是使用的多行插入&＃xff0c;而我的测试需要使用单行插入来完成初始化。
故这里需要对common.lua中的create_insert函数进行修改。需要添加一个参数oltp_bulk_insert来决定是否使用多行插入&＃xff0c;
同时需要修改相应的INSERT语句&＃xff0c;看下面的patch就一目了然了。
Shell>bzr diff
&＃61;&＃61;&＃61; modified file &＃39;sysbench/tests/db/common.lua&＃39;
--- sysbench/tests/db/common.lua 2011-12-01 19:43:29 &＃43;0000
&＃43;&＃43;&＃43; sysbench/tests/db/common.lua 2013-09-12 06:51:41 &＃43;0000
&＃64;&＃64; -25,7 &＃43;25,7 &＃64;&＃64;
CREATE TABLE sbtest]] .. i .. [[ (
id INTEGER UNSIGNED NOT NULL ]] ..
((oltp_auto_inc and "AUTO_INCREMENT") or "") .. [[,
-k INTEGER UNSIGNED DEFAULT &＃39;0&＃39; NOT NULL,
&＃43;k INTEGER UNSIGNED DEFAULT &＃39;0&＃39; NOT NULL, KEY(k),
c CHAR(120) DEFAULT &＃39;&＃39; NOT NULL,
pad CHAR(60) DEFAULT &＃39;&＃39; NOT NULL,
]] .. index_name .. [[ (id)
&＃64;&＃64; -58,14 &＃43;58,18 &＃64;&＃64;db_query(query)- db_query("CREATE INDEX k_" .. i .. " on sbtest" .. i .. "(k)")
&＃43; if (db_driver ~&＃61; "mysql") then
&＃43; db_query("CREATE INDEX k_" .. i .. " on sbtest" .. i .. "(k)")
&＃43; endprint("Inserting " .. oltp_table_size .. " records into &＃39;sbtest" .. i .. "&＃39;")- if (oltp_auto_inc) then
- db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES")
- else
- db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES")
&＃43; if (oltp_bulk_insert) then
&＃43; if (oltp_auto_inc) then
&＃43; db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES")
&＃43; else
&＃43; db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES")
&＃43; end
endlocal c_val
&＃64;&＃64; -79,13 &＃43;83,21 &＃64;&＃64;
pad_val &＃61; sb_rand_str([[
###########-###########-###########-###########-###########]])- if (oltp_auto_inc) then
- db_bulk_insert_next("(" .. sb_rand(1, oltp_table_size) .. ", &＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39;)")
&＃43; if (oltp_bulk_insert) then
&＃43; if (oltp_auto_inc) then
&＃43; db_bulk_insert_next("(" .. sb_rand(1, oltp_table_size) .. ", &＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39;)")
&＃43; else
&＃43; db_bulk_insert_next("("..j.."," .. sb_rand(1, oltp_table_size) .. ",&＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39; )")
&＃43; end
else
- db_bulk_insert_next("("..j.."," .. sb_rand(1, oltp_table_size) .. ",&＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39; )")
&＃43; if (oltp_auto_inc) then
&＃43; db_query("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES(" .. sb_rand(1, oltp_table_size) .. ", &＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39;)")
&＃43; else
&＃43; db_query("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES(" ..j.."," .. sb_rand(1, oltp_table_size) .. ", &＃39;".. c_val .."&＃39;, &＃39;" .. pad_val .. "&＃39;)")
&＃43; end
end
&＃43;
end
-
db_bulk_insert_done()
&＃64;&＃64; -150,4 &＃43;162,10 &＃64;&＃64;
oltp_skip_trx &＃61; false
end&＃43; if (oltp_bulk_insert &＃61;&＃61; &＃39;off&＃39;) then
&＃43; oltp_bulk_insert &＃61; false
&＃43; else
&＃43; oltp_bulk_insert &＃61; true
&＃43; end
&＃43;
end
5. 小结
sysbench-0.5使用脚本来决定测试语句&＃xff0c;比之前在代码里写死测试更加方便用户修改和使用&＃xff0c;不需要去修改源程序&＃xff0c;只需要修改相应的lua脚本&＃xff0c;
即可定制不同的测试用例&＃xff0c;真心不错。
京公网安备 11010802041100号