springbatch初识

Spring Batch是什么&＃xff1f; 

      Spring Batch是一个基于Spring的企业级批处理框架&＃xff0c;按照我师父的说法&＃xff0c;所有基于Spring的框架都是使用了spring的IoC特性&＃xff0c;然后加上自己的一些处理规则。因此&＃xff0c;要理解Spring Batch的设计和使用&＃xff0c;首先需要理解批处理的机制和特点。 
      所谓企业批处理就是指在企业级应用中&＃xff0c;不需要人工干预&＃xff0c;定期读取数据&＃xff0c;进行相应的业务处理之后&＃xff0c;再进行归档的这类操作。从上面的描述中可以看出&＃xff0c;批处理的整个流程可以明显的分为3个阶段&＃xff1a; 
         1、读数据 
         2、业务处理 
         3、归档结果数据 
另外&＃xff0c;从定义中可以发现批处理的一个重要特色就是无需人工干预、定期执行&＃xff0c;因此一个批处理框架&＃xff0c;需要关注事务的粒度&＃xff0c;日志监控&＃xff0c;执行方式&＃xff0c;资源管理&＃xff0c;读数据&＃xff0c;处理数据&＃xff0c;写数据的解耦等方面。 
      SpringBatch为我们提供了什么呢&＃xff1f; 
       1、统一的读写接口 
       2、丰富的任务处理方式、 
       3、灵活的事务管理及并发处理 
       4、日志、监控、任务重启与跳过等特性 
注意&＃xff0c;Spring Batch未提供关于批处理任务调度的功能&＃xff0c;因此如何周期性的调用批处理任务需要自己想办法解决&＃xff0c;就Java来说&＃xff0c;Quartz是一个不错的解决方案&＃xff0c;或者写脚本处理之。

Batch框架整体初见

这种分层结构有三个重要的组成部分&＃xff1a;应用层、核心层、基础架构层。应用层包含所有的批处理作业&＃xff0c;通过Spring框架管理程序员自定义的代码。核心层包含了Batch启动和控制所需要的核心类&＃xff0c;如&＃xff1a;JobLauncher、Job和step等。应用层和核心层建立在基础构架层之上&＃xff0c;基础构架层提供共通的读&＃xff08;ItemReader&＃xff09;、写&＃xff08;ItemWriter&＃xff09;、和服务&＃xff08;如RetryTemplate&＃xff1a;重试模块。可以被应用层和核心层使用&＃xff09;。所以使用spring-batch需引入spring-batch-core.jar和spring-batch-infrastructure.jar(建议2.1.8.RELEASE).

Spring Batch执行流程

         Batch执行流程&＃xff1a;外部控制器调用JobLauncher启动一个Job&＃xff0c;Job调用自己的Step去实现对数据的操作&＃xff0c;Step处理完成后&＃xff0c;再将处理结果一步步返回给上一层。其中Job里会配置一次批次处理数量commin-interval&＃xff0c;read读一条传给process一条重复这2个操作直到commin-interval最大值就调用一次writer操作。然后再重复上次操作直到处理完所有的数据。当这个Step的工作完成以后&＃xff0c;或是跳到其他Step&＃xff0c;或是结束处理。

类图介绍

关键类介绍

JobLauncher&＃xff1a;接口JobLauncher只有一个子类SimpleJobLauncher.负责整个batch的启动&＃xff0c;是入口类。使用run(Jobjob, JobParameters jobParameters)方法&＃xff0c;该方法根据JobParameters运行job&＃xff0c;其作用就是绑定一组JobParameters到Job上&＃xff0c;然后运行该Job。

Job:接口Job有个抽象子类AbstractJob扩展了Job功能的属性&＃xff0c;下在有很多子类&＃xff0c;其中SimpleJob是我们常用的子类&＃xff0c;一个job包含若干step。配置批处理任务的领域对象&＃xff0c;该对象的作用&＃xff0c;第一是做Step的容器&＃xff0c;配置该批处理任务需要的Step&＃xff0c;以及他们之间的逻辑关系。第二是配置该批处理任务的特征&＃xff0c;比方说名字&＃xff0c;是否可重启&＃xff0c;是否对JobParameters进行验证以及验证规则等。spring batch3.0支持JobScope后&＃xff0c;它可以确保一个执行中的job只有一个bean实例&＃xff0c;同事我们可以随时为对象注入当前job的上下文实例信息&＃xff0c;只要我们设置bean的scope为“job"&＃xff0c;就可以说使用JobParameters和JobExecutionContext等信息。

 在代码中使用如下&＃xff1a;

public class a{

&＃64;Value("#{jobParameters[transDate]}")

private String transDate;

}

Step: 接口Step有个抽象子类AbstractStep扩展了Step功能的属性&＃xff0c;下面有很多子类&＃xff0c;其中TaskletStep是我们常用的子类&＃xff0c;一个Step包含一个Tasklet实例&＃xff0c;负责具体的事件。这种形式非常自由&＃xff0c;开发人员只需要实现Tasklet接口&＃xff0c;它有一个方法RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception&＃xff0c;返回的是RepeatStatus枚举类&＃xff0c;有三种状态&＃xff1a;CONTINUABLE和FINISHED&＃xff0c;假如是FINISHED&＃xff0c;则表示step已经结束&＃xff0c;进行下一个step。假如是CONTINUABLE&＃xff0c;则表示未完成&＃xff0c;不停的循环&＃xff0c;直到完成这个step&＃xff0c;相当于死循环&＃xff0c;不会进行到下一个step&＃xff0c;这个状态要小心&＃xff0c;也可以直接跑异常&＃xff0c;不同执行下面的step&＃xff0c;使该job失败&＃xff0c;结束job。其中的逻辑完全有自己决定。另一种是Chunk-Oriented形式的&＃xff0c;这种形式定义了一个Step的流程必须是“读-处理&＃xff08;可选&＃xff09;-写”。每一个Step只能由一个Tasklet或者一个Chunk构成。在Spring Batch中&＃xff0c;更方便的方式是通过JobParameter传入。为了实现该功能&＃xff0c;Spring Batch通过自定义scope来达到Job和Step属性的后期绑定&＃xff08;Late Binding&＃xff09;。这是SpringBatch的一个后绑定技术&＃xff0c;就是在生成Step的时候&＃xff0c;才去创建bean&＃xff0c;因为这个时候jobparameter才传过来。如果加载配置信息的时候就创建bean&＃xff0c;这个时候jobparameter的值还没有产生&＃xff0c;会抛出异常&＃xff0c;即抛出初始化bean异常&＃xff0c;所有一定要这么设置&＃xff0c;其他普通bean就默认设置就行了&＃xff0c;只有batch里面的writer,reader,processor等需要配置scope。

JobRepository&＃xff1a;它会为Spring Batch的运维数据提供一种持久化机制。其为所有的运维数据的提供CRUD的操作接口&＃xff0c;并为所有的操作提供事务支持&＃xff0c;是存储job及step的仓库。只有一个子类SimpleJobRepository.它有两种存储方式&＃xff1a;第一个是通过数据库保存信息&＃xff0c;第二个是集合存储。所以当我们使用第一种保存里数据库里要创建对应的表&＃xff0c;而对应的表在Jar里有提供sql

而JobRepositoryFactoryBean和MapJobRepositoryFactoryBean都是JobRepository工厂类&＃xff0c;JobReository需要注入到jobLauncher,job和step里

 job重新启动也是通过JobRepository来实现。

但是&＃xff0c;假如批量job执行状态status为completed或者abandoned&＃xff0c;而且还有参数&＃xff0c;则不能重新启程&＃xff0c;需要修改参数&＃xff0c;或者重置参数为空&＃xff0c;空跑批量job。

ItemReader&＃xff1a;提供了读取数据的能力&＃xff0c;是数据来源&＃xff0c;是单行读取数据&＃xff0c;有文件读取方式(FlatFileItemReader,必需配置resource和lineMapper两个属性&＃xff0c;其它可选配)&＃xff0c;和数据库读取方式(AbstractPagingItemReader,必需配置参数queryId&＃xff0c;sqlMapCLient&＃xff0c; dataSource&＃xff0c;其它选配)

ItemProcessor&＃xff1a;我们可以通过它处理自定义的业务逻辑&＃xff0c;完成转换、过滤等操作。数据来自reader的数据&＃xff0c;也是单行处理。当处理到size&＃61;1000(可以自定义)的时候&＃xff0c;批量给writer写操作

ItemWriter&＃xff1a;提供了写数据的能力&＃xff0c;批量化处理。

batch监听器&＃xff0c;通过监听器&＃xff0c;可以监听job&＃xff0c;step&＃xff0c;reader&＃xff0c;processor&＃xff0c;writer所有的状态数据&＃xff0c;以备以后找错使用

注意&＃xff1a;

1&＃xff0c;jobName不能重复

2&＃xff0c;批量name和定时任务name不能重复

3&＃xff0c;批量传参的时候key值不能重复&＃xff0c;不然会被覆盖

4&＃xff0c;定时任务的实例跟批量的实例不能相同&＃xff0c;即不能有相同的id&＃xff0c;包括bean中的id