需求分析_对速度的需求，访问现有数据的速度提高了1000倍

需求分析

了解如何通过使用标准Java 8流和Speedment的In-JVM-Memory加速器将分析数据库应用程序加速1000倍。

Web和移动应用程序有时会很慢&＃xff0c;因为后备数据库很慢和/或与数据库的连接施加了延迟。 现代UI和交互式应用程序需要快速后端&＃xff0c;并且理想情况下没有可观察到的延迟&＃xff0c;否则用户将继续使用其他服务&＃xff0c;或者只会感到厌倦并完全停止使用该服务。

在本文中&＃xff0c;我们将学习如何使用标准Java 8流和Speedment的in-JVM内存加速技术将分析数据库应用程序加速几个数量级。 最后&＃xff0c;我们将运行具有代表性基准的JMH测试服&＃xff0c;这些基准表明加速因子超过1,000倍。

以流查看数据库

速度是基于ORM的现代流&＃xff0c;这意味着表被视为标准Java 8流。 在本文中&＃xff0c;我们将使用“ Sakila”数据库&＃xff0c;这是一个开放源代码示例数据库&＃xff0c;可从Oracle直接在此处获得。 Sakila示例数据库包含电影&＃xff0c;演员等。 这是来自数据库的Java 8流的样子&＃xff1a;

List secondPage &＃61; films.stream().filter(Film.RATING.equal("PG-13")).sorted(Film.TITLE.comparator()).skip(50).limit(50).collect(Collectors.toList());

该流将仅过滤出评级等于“ PG-13”的电影&＃xff0c;然后按电影标题对其余电影进行排序。 之后&＃xff0c;将跳过前50部电影&＃xff0c;然后将接下来的50部电影收集到列表中。 因此&＃xff0c;我们获得了按标题顺序排序的所有PG-13电影的第二页。 通常&＃xff0c;我们还需要知道总共有多少部电影的评级为“ PG-13”&＃xff0c;以便在我们的应用程序中显示正确缩放的滚动条。 可以这样完成&＃xff1a;

long count &＃61; films.stream().filter(Film.RATING.equal("PG-13")).count();

使用数据库

Speedment将自动将Streams呈现为SQL。 这样&＃xff0c;我们可以保持在纯类型安全的Java环境中&＃xff0c;而不必编写SQL代码。 通过启用日志记录&＃xff0c;我们可以看到第一个分页流将呈现给以下SQL查询(假设我们使用的是MySQL)&＃xff1a;

SELECT&＃96;film_id&＃96;,&＃96;title&＃96;,&＃96;description&＃96;&＃96;release_year&＃96;,&＃96;language_id&＃96;,&＃96;original_language_id&＃96;,&＃96;rental_duration&＃96;,&＃96;rental_rate&＃96;,&＃96;length&＃96;,&＃96;replacement_cost&＃96;,&＃96;rating&＃96;,&＃96;special_features&＃96;,&＃96;last_update&＃96;
FROM &＃96;sakila&＃96;.&＃96;film&＃96;
WHERE (&＃96;sakila&＃96;.&＃96;film&＃96;.&＃96;rating&＃96; &＃61; ? COLLATE utf8_bin)
ORDER BY &＃96;sakila&＃96;.&＃96;film&＃96;.&＃96;title&＃96; ASC
LIMIT ? OFFSET ?values:[PG-13, 50, 50]

第二个计数流将呈现为&＃xff1a;

SELECT COUNT(*) FROM (SELECT&＃96;film_id&＃96;,&＃96;title&＃96;,&＃96;description&＃96;&＃96;release_year&＃96;,&＃96;language_id&＃96;,&＃96;original_language_id&＃96;,&＃96;rental_duration&＃96;,&＃96;rental_rate&＃96;,&＃96;length&＃96;,&＃96;replacement_cost&＃96;,&＃96;rating&＃96;,&＃96;special_features&＃96;,&＃96;last_update&＃96;FROM&＃96;sakila&＃96;.&＃96;film&＃96; WHERE (&＃96;sakila&＃96;.&＃96;film&＃96;.&＃96;rating&＃96; &＃61; ? COLLATE utf8_bin)
) AS Avalues:[PG-13]

因此&＃xff0c;将流操作呈现为有效SQL。 当在具有MySQL标准服务器配置的便携式计算机上并行运行一千个查询时&＃xff0c;它们分别在700毫秒和175毫秒的总延迟中完成。 如果您正在考虑第二条SQL语句如何有效&＃xff0c;那么事实是数据库将基本上可以消除内部选择。

使用JVM中的内存加速

现在到有趣的部分。 让我们在应用程序中激活Speedment中的JVM内存中加速组件&＃xff0c;称为DataStore。 这是通过以下方式完成的&＃xff1a;

SakilaApplication app &＃61; new SakilaApplicationBuilder().withPassword("sakila-password")// Activate DataStore.withBundle(DataStoreBundle.class).build();// Load a snapshot of the database into off heap memoryapp.get(DataStoreComponent.class).ifPresent(DataStoreComponent::load);

启动应用程序时&＃xff0c;数据库的快照被拉入JVM&＃xff0c;并以堆外方式存储。 由于数据是堆外存储的&＃xff0c;因此数据不会影响垃圾收集&＃xff0c;并且数据量仅受可用RAM的限制。 如果我们有那么多的可用RAM&＃xff0c;没有什么可以阻止我们加载TB级的数据。

如果现在再次运行同一应用程序&＃xff0c;则将获得22毫秒和1毫秒的总延迟。 这意味着等待时间分别减少了30倍和170倍。 必须说是一个重大的改进。 但是&＃xff0c;它还在变得更好。

使用JVM中的内存加速和Json

REST和JSON通常用于为最近请求数据的客户端提供服务。 Speedment有一个特殊的收集器&＃xff0c;它可以使用所谓的就地反序列化来收集JSON数据&＃xff0c;从而仅从收集器内存中反序列化收集器所需的字段。 我们可以通过首先在pom文件中添加依赖项来依赖Json插件&＃xff1a;

com.speedment.enterprise.pluginsjson-stream${speedment.enterprise.version}

然后&＃xff0c;我们将插件安装在ApplicationBuilder中&＃xff0c;如下所示&＃xff1a;

SakilaApplication app &＃61; new SakilaApplicationBuilder().withPassword("sakila-password").withBundle(DataStoreBundle.class)// Install the Json Plugin.withBundle(JsonBundle.class).build();

如果我们只希望在json输出中使用Film字段“ title”&＃xff0c;“ rating”和“ length”&＃xff0c;则可以创建一个Json编码器&＃xff0c;如下所示&＃xff1a;

final JsonComponent json &＃61; app.getOrThrow(JsonComponent.class);final JsonEncoder filmEncoder &＃61; json.emptyEncoder().put(Film.TITLE).put(Film.RATING).put(Film.LENGTH).build();

该解码器是不可变的&＃xff0c;可以在我们的应用程序中反复使用&＃xff1a;

String json &＃61; films.stream().filter(Film.RATING.equal("PG-13")).sorted(Film.TITLE.comparator()).skip(50 * pageNo).limit(50).collect(JsonCollectors.toList(filmEncoder));

与处理整个实体相比&＃xff0c;这为我们提供了2的额外加速因子。 JsonComponent可以做的不仅仅是将事情收集到列表中。 例如&＃xff0c;它还可以使用就地反序列化来创建聚合。

使用In-JVM-Memory加速运行您自己的项目

自己尝试在JVM-Memory中加速很容易。 在这里可以找到免费的初始化器。 只需在您想要的数据库类型中打勾&＃xff0c;您就会得到一个POM和一个为您自动生成的应用程序模板。 您还需要许可证密钥才能运行。 只需在同一页面上单击“请求免费试用许可证密钥”即可获得一个。 如果您需要更多帮助来设置项目&＃xff0c;请查看Speedment GitHub页面或浏览手册。

Real的速度有多快&＃xff1f;

Speedment支持许多数据库类型&＃xff0c;包括Oracle&＃xff0c;MySQL&＃xff0c;MariaDB&＃xff0c;PostgreSQL&＃xff0c;Microsoft SQL Server&＃xff0c;DB2和AS400。 Speedment也可以使用Hadoop使用的Avro文件。 在此示例中&＃xff0c;我们将运行MySQL。

在Java应用程序中测试性能非常困难。 使用JMH框架&＃xff0c;我编写了许多典型的应用程序&＃xff0c;每个应用程序运行了数十万次&＃xff0c;并将纯MySQL和MySQL与Speedment的in-JVM加速器的结果进行了比较。 下面的性能数据以每秒操作数的形式给出(越高越好)。

可以看出&＃xff0c;在大多数情况下&＃xff0c;带有Speedment In-JVM加速器MySQL比纯MySQL的性能高出1,000倍甚至更多。 观察到的最小加速因子是50倍&＃xff0c;这仍然非常好。

测试环境

MySQL&＃xff0c;5.7.16标准安装&＃xff0c;MySQL JDBC驱动程序5.1.42&＃xff0c;Oracle Java 1.8.0_131&＃xff0c;Speedment Enterprise 1.1.10&＃xff0c;macOS Sierra 10.12.6&＃xff0c;Macbook Pro 2.2 GHz i7(2015年中)&＃xff0c;16 GB RAM。

基准代码

以下是基准代码外观的一些示例。 完整的基准测试应用程序可以在GitHub上找到。 我鼓励您克隆它并运行它&＃xff0c;以查看您自己的目标计算机上的加速因素。

&＃64;Benchmarkpublic String paging() {return films.stream().filter(Film.RATING.equal("PG-13")).skip(50).limit(50).collect(filmCollector);}&＃64;Benchmarkpublic String aggregationWithFilter() {return films.stream().filter(Film.RATING.equal("PG-13")).collect(sumLengthCollector);}

需要多少RAM&＃xff1f;

速度通常比数据库本身更有效地将数据存储在RAM中。 基准测试中的Sakila数据库在磁盘上占用6.6 MB&＃xff0c;但Speedment仅使用3 MB内存。 考虑到Speedment默认情况下对所有列编制索引&＃xff0c;而数据库仅索引少数列&＃xff0c;因此Speedment显着提高了内存效率。

加载数据需要多长时间&＃xff1f;

Sakila数据库在不到1秒的时间内就被Speedment加载并建立索引。 Speedment可以在后台从数据库刷新数据&＃xff0c;并且可以跟踪针对哪个数据库快照版本(MVCC)运行的流。

我自己的应用程序可以运行多少速度&＃xff1f;

任何人都可以猜测&＃xff0c;在特定项目中可以减少多少延迟。 是x10&＃xff0c;x50&＃xff0c;x100还是更多&＃xff1f; 抓住机会&＃xff0c;找出自己的项目可以提高多少速度&＃xff01;

旋转一下

在GitHub上了解有关Speedment的更多信息&＃xff0c;并使用Speedment Initializer启动您自己的项目&＃xff0c;并记住勾选“启用内存中加速”&＃xff0c;并使用初始化程序也获得免费的评估许可证密钥。 在此处浏览有关Speedment in-JVM加速器的手册部分&＃xff0c;或使用我的Twitter句柄&＃64;PMinborg

翻译自: https://www.javacodegeeks.com/2017/09/need-speed-access-existing-data-1000x-faster.html

需求分析