Echarts创建中国3D地图

Spring Batch 简介

Spring Batch 提供了可重复使用的功能，用来处理大量数据。包括记录、跟踪，事务管理，作业处理统计，作业重启，跳过和资源管理。
此外还提供了更高级的技术服务和功能，通过优化和分区技术实现极高容量和高性能的批处理作业。

Spring Batch 使用场景

(1)一般的批处理程序

·从数据库，文件或者队列中读取大量数据
·处理读取到的数据
·将处理完成的数据保存到文件，数据库

(2)业务场景

·定期提交批处理
·并发批处理，并行处理 Job
·分阶段的企业消息驱动处理
·大规模并行批处理
·失败后手动或预定重启
·依赖步骤的顺序处理
·部分处理，跳过记录
·整批交易，适用于批量较小或现有存储过程/脚本的情况

Spring Batch 主要组成部分

·JobRepository，用来注册 job 的容器
·JobLauncher，用来启动 job 的接口
·Job，实际执行的任务，包含一个或多个 Step
·Step，step 包含 ItemReader、ItemProcessor 和 ItemWriter
·ItemReader，用来读取数据的接口
·ItemProcessor，用来处理数据的接口
·ItemWriter，用来输出数据的接口
以上 Spring Batch 的主要组成部分只需要注册成 Spring 的 Bean 即可。批处理的配置类上需要使用@EnabelBatchProcessing。

代码

(1)监听器 JobListener

@Component
public class JobListener implements JobExecutionListener{
 @Override
 public void beforeJob(JobExecution jobExecution){
  // Job执行前需要执行的操作
 }

 @Override
 public void afterJob(JobExecution jobExecution){
  // Job执行完成后需要执行的操作
 }
}

(2)配置类 DataBatchConfiguration

@Configuration
@EnableBatchProcessing
public class DataBatchConfiguration{
 // 用于构建Job
 @Resource
 private JobBuilderFactory jobBuilderFactory;

 // 用于构建Step
 @Resource
 private StepBuilderFactory stepBuilderFactory;

 // 监听器
 @Resource
 private JobListener jobListener;

 // ItemReader(使用的其中一种读取方式)
 @Autowired
 private RepositoryItemReader readerData;

 // ItemWriter
 @Autowired
 private ItemReader writerData;

 // Job
 @Bean
 public Job dataHandleJob(){
  return jobBuilderFactory.get("dataHandleJob").incrementer(new RunIdIncrementer()).start(getDataStep())
   .listener(jobListener).build();
 }

 // Step
 // User:要处理的对象
 @Bean
 public Step getTDistSellOut() {
 return stepBuilderFactory.get("getData").<User, User>chunk(10000) // 一次commit数据的数量
   .faultTolerant().retryLimit(3)
   .retry(Exception.class)
   .skipLimit(100)            // 发生异常时，允许重试的次数
   .skip(Exception.class)
   .reader(readerData)              // reader
   .writer(writerData).build();        // writer
 }
}

(3)读取类 ReaderStep

@Component
public class ReaderStep{
 @Resource
 private EntityManagerFactory emf;

 @Autowired
 private UserRepository userRepository;

 @Bean RepositoryItemReader<User> readerData(){
  // 排序map(读取数据按照ID进行正序排列)
  Map<String,Sort.Direction> map = new HashMap<>();
  map.put("id",sort.Direction.ASC);
  // SQL语句所需参数LIST
  List<String> params = new ArrayList<>();
  params.add("2019-03-20");
  RepositoryItemReader<User> repositoryItemReader = new new RepositoryItemReader<>();
  // Set Repository
  repositoryItemReader.setRepository(userRepository);
  // Set PageSize(没有会报错)
  repositoryItemReader.setPageSize(5);
  // Set Repository Method
  repositoryItemReader.setMethodName("findByDateLike");
  // Set 参数List
  repositoryItemReader.setArguments(params);
  // Set 排序Map
  repositoryItemReader.setSort(map);
  return repositoryItemReader;
 }
}

(4)写出类 WriterStep

@Component
public class WriterStep {
 @Resource
 private UserRepository userRepository;

 @Bean
 public RepositoryItemWriter<User> writerData(){
  RepositoryItemWriter<User> repositoryItemWriter = new RepositoryItemWriter<>();
  repositoryItemWriter.setRepository(userRepository);
  repositoryItemWriter.setMethodName("save");
  return repositoryItemWriter;
 }
}

参考网址

https://www.cnblogs.com/ealenxie/p/9647703.html