好的测试套件应该:
1
.验证
应该工作事情是否有效
2
.无法验证
时,指出问题
所在
D测试
套件在第2点
惨遭失败.唯一亮点
是自动测试器
,当其中一个测试失败
时,可快速
找到问题根源
.
但每次其他
事情失败时我都会
畏缩,因为我知道要花几个小时/几天
来试图找出
问题在哪及哪里
出了问题.
例如,这里有几次失败.这些都带有无用
日志文件.我不知道出了什么问题
.日志
文件的一些原则:
1
.如果日志
文件显示错误
,应该是错误
,即测试失败
.我经常遇到列出多个错误
的日志文件,但没关系,不需要通过.所有良性错误
消息,弃用
消息,警告
消息都需要修复,所以当日志
文件显示错误
时,就是测试失败
的原因.
2
.导致测试失败
的错误
应是日志文件
中最后一行,而不是后面的300
行.
3
.日志文件需要在每一步
都包含说明动作|目的
的注释文本.
4
.永远不应在"安静"模式下运行Makefiles
,原因很简单,当它失败时你不知道它在干啥.
5
.测试文件必须包含
修复bugzilla
问题的URL
,或在评论中包含目的
的线索.
6
.多进程
测试运行得更快,但由于随机交错
输出日志
文件,因此无法确定
故障位置.
7
.因网络/环境
错误而失败的测试,应自动休息一分钟或十分钟
,然后重试.
8
.超时
终止必须说明哪个测试
超时.
9
.测试应该是薄层
,而非荒谬
.
10
.要记录测试.不能啥都没有
,该有信息不能少.如作用?/单次?/多次?/干啥的?
11
.重新运行整个套件,浪费时间/资源
.