热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

gradle中的增量构建浅析

这篇文章主要介绍了gradle中的增量构建,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

文章目录 简介增量构建自定义inputs和outputs运行时API隐式依赖输入校验自定义缓存方法输入归一化其他使用技巧

简介

在我们使用的各种工具中,为了提升工作效率,总会使用到各种各样的缓存技术,比如说docker中的layer就是缓存了之前构建的image。在gradle中这种以task组合起来的构建工具也不例外,在gradle中,这种技术叫做增量构建。

增量构建

gradle为了提升构建的效率,提出了增量构建的概念,为了实现增量构建,gradle将每一个task都分成了三部分,分别是input输入,任务本身和output输出。下图是一个典型的java编译的task。

以上图为例,input就是目标jdk的版本,源代码等,output就是编译出来的class文件。

增量构建的原理就是监控input的变化,只有input发送变化了,才重新执行task任务,否则gradle认为可以重用之前的执行结果。

所以在编写gradle的task的时候,需要指定task的输入和输出。

并且要注意只有会对输出结果产生变化的才能被称为输入,如果你定义了对初始结果完全无关的变量作为输入,则这些变量的变化会导致gradle重新执行task,导致了不必要的性能的损耗。

还要注意不确定执行结果的任务,比如说同样的输入可能会得到不同的输出结果,那么这样的任务将不能够被配置为增量构建任务。

自定义inputs和outputs

既然task中的input和output在增量编译中这么重要,本章将会给大家讲解一下怎么才能够在task中定义input和output。

如果我们自定义一个task类型,那么满足下面两点就可以使用上增量构建了:

第一点,需要为task中的inputs和outputs添加必要的getter方法。

第二点,为getter方法添加对应的注解。

gradle支持三种主要的inputs和outputs类型:

  1. 简单类型:简单类型就是所有实现了Serializable接口的类型,比如说string和数字。
  2. 文件类型:文件类型就是 File 或者 FileCollection 的衍生类型,或者其他可以作为参数传递给 Project.file(java.lang.Object) 和 Project.files(java.lang.Object…) 的类型。
  3. 嵌套类型:有些自定义类型,本身不属于前面的1,2两种类型,但是它内部含有嵌套的inputs和outputs属性,这样的类型叫做嵌套类型。

接下来,我们来举个例子,假如我们有一个类似于FreeMarker和Velocity这样的模板引擎,负责将模板源文件,要传递的数据最后生成对应的填充文件,我们考虑一下他的输入和输出是什么。

输入:模板源文件,模型数据和模板引擎。

输出:要输出的文件。

如果我们要编写一个适用于模板转换的task,我们可以这样写:

import java.io.File;
import java.util.HashMap;
import org.gradle.api.*;
import org.gradle.api.file.*;
import org.gradle.api.tasks.*;

public class ProcessTemplates extends DefaultTask {
  private TemplateEngineType templateEngine;
  private FileCollection sourceFiles;
  private TemplateData templateData;
  private File outputDir;

  @Input
  public TemplateEngineType getTemplateEngine() {
    return this.templateEngine;
  }

  @InputFiles
  public FileCollection getSourceFiles() {
    return this.sourceFiles;
  }

  @Nested
  public TemplateData getTemplateData() {
    return this.templateData;
  }

  @OutputDirectory
  public File getOutputDir() { return this.outputDir; }

  // 上面四个属性的setter方法

  @TaskAction
  public void processTemplates() {
    // ...
  }
}

上面的例子中,我们定义了4个属性,分别是TemplateEngineType,FileCollection,TemplateData和File。前面三个属性是输入,后面一个属性是输出。

除了getter和setter方法之外,我们还需要在getter方法中添加相应的注释: @Input , @InputFiles ,@Nested 和 @OutputDirectory, 除此之外,我们还定义了一个 @TaskAction 表示这个task要做的工作。

TemplateEngineType表示的是模板引擎的类型,比如FreeMarker或者Velocity等。我们也可以用String来表示模板引擎的名字。但是为了安全起见,这里我们自定义了一个枚举类型,在枚举类型内部我们可以安全的定义各种支持的模板引擎类型。

因为enum默认是实现Serializable的,所以这里可以作为@Input使用。

sourceFiles使用的是FileCollection,表示的是一系列文件的集合,所以可以使用@InputFiles。

为什么TemplateData是@Nested类型的呢?TemplateData表示的是我们要填充的数据,我们看下它的实现:

import java.util.HashMap;
import java.util.Map;
import org.gradle.api.tasks.Input;

public class TemplateData {
  private String name;
  private Map variables;

  public TemplateData(String name, Map variables) {
    this.name = name;
    this.variables = new HashMap<>(variables);
  }

  @Input
  public String getName() { return this.name; }

  @Input
  public Map getVariables() {
    return this.variables;
  }
}

可以看到,虽然TemplateData本身不是File或者简单类型,但是它内部的属性是简单类型的,所以TemplateData本身可以看做是@Nested的。

outputDir表示的是一个输出文件目录,所以使用的是@OutputDirectory。

使用了这些注解之后,gradle在构建的时候就会检测和上一次构建相比,这些属性有没有发送变化,如果没有发送变化,那么gradle将会直接使用上一次构建生成的缓存。

注意,上面的例子中我们使用了FileCollection作为输入的文件集合,考虑一种情况,假如只有文件集合中的某一个文件发送变化,那么gradle是会重新构建所有的文件,还是只重构这个被修改的文件呢?
留给大家讨论

除了上讲到的4个注解之外,gradle还提供了其他的几个有用的注解:

@InputFile: 相当于File,表示单个input文件。

@InputDirectory: 相当于File,表示单个input目录。

@Classpath: 相当于Iterable,表示的是类路径上的文件,对于类路径上的文件需要考虑文件的顺序。如果类路径上的文件是jar的话,jar中的文件创建时间戳的修改,并不会影响input。

@CompileClasspath:相当于Iterable,表示的是类路径上的java文件,会忽略类路径上的非java文件。

@OutputFile: 相当于File,表示输出文件。

@OutputFiles: 相当于Map 或者 Iterable,表示输出文件。

@OutputDirectories: 相当于Map 或者 Iterable,表示输出文件。

@Destroys: 相当于File 或者 Iterable,表示这个task将会删除的文件。

@LocalState: 相当于File 或者 Iterable,表示task的本地状态。

@Console: 表示属性不是input也不是output,但是会影响console的输出。

@Internal: 内部属性,不是input也不是output。

@ReplacedBy: 属性被其他的属性替换了,不能算在input和output中。

@SkipWhenEmpty: 和@InputFiles 跟 @InputDirectory一起使用,如果相应的文件或者目录为空的话,将会跳过task的执行。

@Incremental: 和@InputFiles 跟 @InputDirectory一起使用,用来跟踪文件的变化。

@Optional: 忽略属性的验证。

@PathSensitive: 表示需要考虑paths中的哪一部分作为增量的依据。

运行时API

自定义task当然是一个非常好的办法来使用增量构建。但是自定义task类型需要我们编写新的class文件。有没有什么办法可以不用修改task的源代码,就可以使用增量构建呢?

答案是使用Runtime API。

gradle提供了三个API,用来对input,output和Destroyables进行获取:

  • Task.getInputs() of type TaskInputs
  • Task.getOutputs() of type TaskOutputs
  • Task.getDestroyables() of type TaskDestroyables

获取到input和output之后,我们就是可以其进行操作了,我们看下怎么用runtime API来实现之前的自定义task:

task processTemplatesAdHoc {
  inputs.property("engine", TemplateEngineType.FREEMARKER)
  inputs.files(fileTree("src/templates"))
    .withPropertyName("sourceFiles")
    .withPathSensitivity(PathSensitivity.RELATIVE)
  inputs.property("templateData.name", "docs")
  inputs.property("templateData.variables", [year: 2013])
  outputs.dir("$buildDir/genOutput2")
    .withPropertyName("outputDir")

  doLast {
    // Process the templates here
  }
}

上面例子中,inputs.property() 相当于 @Input ,而outputs.dir() 相当于@OutputDirectory。

Runtime API还可以和自定义类型一起使用:

task processTemplatesWithExtraInputs(type: ProcessTemplates) {
  // ...

  inputs.file("src/headers/headers.txt")
    .withPropertyName("headers")
    .withPathSensitivity(PathSensitivity.NONE)
}

上面的例子为ProcessTemplates添加了一个input。

隐式依赖

除了直接使用dependsOn之外,我们还可以使用隐式依赖:

task packageFiles(type: Zip) {
  from processTemplates.outputs
}

上面的例子中,packageFiles 使用了from,隐式依赖了processTemplates的outputs。

gradle足够智能,可以检测到这种依赖关系。

上面的例子还可以简写为:

task packageFiles2(type: Zip) {
  from processTemplates
}

我们看一个错误的隐式依赖的例子:

plugins {
  id 'java'
}

task badInstrumentClasses(type: Instrument) {
  classFiles = fileTree(compileJava.destinationDir)
  destinatiOnDir= file("$buildDir/instrumented")
}

这个例子的本意是执行compileJava任务,然后将其输出的destinationDir作为classFiles的值。

但是因为fileTree本身并不包含依赖关系,所以上面的执行的结果并不会执行compileJava任务。

我们可以这样改写:

task instrumentClasses(type: Instrument) {
  classFiles = compileJava.outputs.files
  destinatiOnDir= file("$buildDir/instrumented")
}

或者使用layout:

task instrumentClasses2(type: Instrument) {
  classFiles = layout.files(compileJava)
  destinatiOnDir= file("$buildDir/instrumented")
}

或者使用buildBy:

task instrumentClassesBuiltBy(type: Instrument) {
  classFiles = fileTree(compileJava.destinationDir) {
    builtBy compileJava
  }
  destinatiOnDir= file("$buildDir/instrumented")
}

输入校验

gradle会默认对@InputFile ,@InputDirectory 和 @OutputDirectory 进行参数校验。

如果你觉得这些参数是可选的,那么可以使用@Optional。

自定义缓存方法

上面的例子中,我们使用from来进行增量构建,但是from并没有添加@InputFiles, 那么它的增量缓存是怎么实现的呢?

我们看一个例子:

public class ProcessTemplates extends DefaultTask {
  // ...
  private FileCollection sourceFiles = getProject().getLayout().files();

  @SkipWhenEmpty
  @InputFiles
  @PathSensitive(PathSensitivity.NONE)
  public FileCollection getSourceFiles() {
    return this.sourceFiles;
  }

  public void sources(FileCollection sourceFiles) {
    this.sourceFiles = this.sourceFiles.plus(sourceFiles);
  }

  // ...
}

上面的例子中,我们将sourceFiles定义为可缓存的input,然后又定义了一个sources方法,可以将新的文件加入到sourceFiles中,从而改变sourceFile input,也就达到了自定义修改input缓存的目的。

我们看下怎么使用:

task processTemplates(type: ProcessTemplates) {
  templateEngine = TemplateEngineType.FREEMARKER
  templateData = new TemplateData("test", [year: 2012])
  outputDir = file("$buildDir/genOutput")

  sources fileTree("src/templates")
}

我们还可以使用project.layout.files()将一个task的输出作为输入,可以这样做:

 public void sources(Task inputTask) {
    this.sourceFiles = this.sourceFiles.plus(getProject().getLayout().files(inputTask));
  }

这个方法传入一个task,然后使用project.layout.files()将task的输出作为输入。

看下怎么使用:

task copyTemplates(type: Copy) {
  into "$buildDir/tmp"
  from "src/templates"
}

task processTemplates2(type: ProcessTemplates) {
  // ...
  sources copyTemplates
}

非常的方便。

如果你不想使用gradle的缓存功能,那么可以使用upToDateWhen()来手动控制:

task alwaysInstrumentClasses(type: Instrument) {
  classFiles = layout.files(compileJava)
  destinatiOnDir= file("$buildDir/instrumented")
  outputs.upToDateWhen { false }
}

上面使用false,表示alwaysInstrumentClasses这个task将会一直被执行,并不会使用到缓存。

输入归一化

要想比较gradle的输入是否是一样的,gradle需要对input进行归一化处理,然后才进行比较。

我们可以自定义gradle的runtime classpath 。

normalization {
  runtimeClasspath {
    ignore 'build-info.properties'
  }
}

上面的例子中,我们忽略了classpath中的一个文件。

我们还可以忽略META-INF中的manifest文件的属性:

normalization {
  runtimeClasspath {
    metaInf {
      ignoreAttribute("Implementation-Version")
    }
  }
}

忽略META-INF/MANIFEST.MF :

normalization {
  runtimeClasspath {
    metaInf {
      ignoreManifest()
    }
  }
}

忽略META-INF中所有的文件和目录:

normalization {
  runtimeClasspath {
    metaInf {
      ignoreCompletely()
    }
  }
}

其他使用技巧

如果你的gradle因为某种原因暂停了,你可以送 --continuous 或者 -t 参数,来重用之前的缓存,继续构建gradle项目。

你还可以使用 --parallel 来并行执行task。

到此这篇关于gradle中的增量构建的文章就介绍到这了,更多相关gradle增量构建内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!


推荐阅读
  • 深入解析 RuntimeClass 及多容器运行时应用
    本文旨在探讨RuntimeClass的起源、功能及其在多容器运行时环境中的实际应用。通过详细的案例分析,帮助读者理解如何在Kubernetes集群中高效管理不同类型的容器运行时。 ... [详细]
  • 梭子鱼NGFW在最新对比评测中拔得头筹
    梭子鱼下一代防火墙在最新的独立测试中展现出卓越性能,成为唯一实现100%恶意软件检测率且无误报的产品。 ... [详细]
  • 数据安全:企业数字化转型的关键保障
    在数字化转型的大潮中,数据已成为企业核心竞争力的重要组成部分。确保数据的安全不仅关乎企业运营的连续性,更是企业在激烈市场竞争中的生存之道。本文探讨了在云计算和大数据背景下,企业如何有效保障数据安全,并介绍了新兴的数据安全解决方案。 ... [详细]
  • IEC60825激光产品安全标准详解
    随着激光技术在全球范围内的广泛应用,尤其是激光投影显示技术的兴起,了解和遵守相关的安全标准变得尤为重要。本文将详细介绍IEC60825激光产品安全标准及其重要性。 ... [详细]
  • MySQL 8.0 新特性详解:免费视频教程上线
    本文介绍了一套在慕课网上发布的免费视频教程,深入解析 MySQL 8.0 的核心新功能,包括增强的安全性、用户管理、新的索引类型、CTE 和窗口函数等。 ... [详细]
  • 本文探讨了Java中有效停止线程的多种方法,包括使用标志位、中断机制及处理阻塞I/O操作等,旨在帮助开发者避免使用已废弃的危险方法,确保线程安全和程序稳定性。 ... [详细]
  • 本文详细介绍了Oracle RMAN中的增量备份机制,重点解析了差异增量和累积增量备份的概念及其在不同Oracle版本中的实现。通过对比两种备份方式的特点,帮助读者选择合适的备份策略。 ... [详细]
  • 深入解析mt_allocator内存分配器(二):多线程与单线程场景下的实现
    本文详细介绍了mt_allocator内存分配器在多线程和单线程环境下的实现机制。该分配器以2的幂次方字节为单位分配内存,支持灵活的配置和高效的性能。文章分为内存池特性描述、内存池实现、单线程内存池实现、内存池策略类实现及多线程内存池实现等部分,深入探讨了内存池的初始化、内存分配与回收的具体实现。 ... [详细]
  • 本文介绍了进程的基本概念及其在操作系统中的重要性,探讨了进程与程序的区别,以及如何通过多进程实现并发和并行。文章还详细讲解了Python中的multiprocessing模块,包括Process类的使用方法、进程间的同步与异步调用、阻塞与非阻塞操作,并通过实例演示了进程池的应用。 ... [详细]
  • 本文详细介绍了Objective-C中的面向对象编程概念,重点探讨了类的定义、方法的实现、对象的创建与销毁等内容,旨在帮助开发者更好地理解和应用Objective-C的面向对象特性。 ... [详细]
  • 第1章选择流程控制语句1.1顺序结构的基本使用1.1.1顺序结构概述是程序中最简单最基本的流程控制,没有特定的语法结构,按照代码的先后顺序,依次执行,程序中大多数的代码都是这样执行 ... [详细]
  • 最新进展:作为最接近官方声明的信息源,本文吸引了大量关注。若需获取最新动态,请访问:lkhill.com/ccie-version-5-update ... [详细]
  • APP及其接口测试全面解析
    本文深入探讨了移动应用(APP)及其接口测试的关键点,包括安装与卸载、功能一致性、系统兼容性、权限管理等多个方面的测试策略,以及针对接口的功能、边界值、参数组合等专业测试方法。同时,介绍了几款常用的测试工具,帮助开发者提高测试效率和质量。 ... [详细]
  • Kubernetes 实践指南:初次体验
    本文介绍了如何通过官方提供的简易示例,快速上手 Kubernetes (K8S),并深入理解其核心概念和操作流程。 ... [详细]
  • 本文介绍了基于Java的在线办公工作流系统的毕业设计方案,涵盖了MyBatis框架的应用、源代码分析、调试与部署流程、数据库设计以及相关论文撰写指导。 ... [详细]
author-avatar
看人生愤怒
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有