从数百万个光纤（而不是数千个线程）中查询数据库

jOOQ是在Java中执行SQL的好方法&＃xff0c; Quasar光纤带来了大大提高的并发性

我们很高兴在平行宇宙的 Fabio Tudone的jOOQ博客上宣布另一个非常有趣的来宾帖子。

Parallel Universe开发了一个开源堆栈&＃xff0c;使开发人员可以轻松地在JVM上对极端的并发应用程序进行编码。 使用Parallel Universe堆栈&＃xff0c;您可以构建与现代硬件协调工作的软件&＃xff0c;而不是动every动脑&＃xff0c;同时保持您的编程语言和简单&＃xff0c;熟悉的编程风格。

Fabio Tudone作为Comsat项目的一部分&＃xff0c;开发和维护Quasar集成模块。 在加入Parallel Universe团队之前&＃xff0c;他曾参与并领导了基于云的企业内容治理平台的开发工作数年&＃xff0c;并且他在整个职业生涯中一直在编写JVM软件。 他的兴趣包括Dev和DevOps实践&＃xff0c;可伸缩性&＃xff0c;并发和功能编程以及运行时平台。 他自然好奇&＃xff0c;喜欢探索&＃xff0c;他喜欢从人&＃xff0c;地方和文化中收集知识和理解。 他还对意识实践感兴趣&＃xff0c;喜欢写各种各样的东西。

Quasar作为Comsat项目的一部分&＃xff0c;具有JDBC和jOOQ的集成&＃xff0c;因此让我们来看看它的内部。

JDBC&＃xff0c;jOOQ和Quasar

comsat-jdbc提供了JDBC API的光纤阻塞包装程序&＃xff0c;因此您可以在光纤而不是常规Java线程中使用连接。

为什么要这么做&＃xff1f; 因为光纤是轻量级线程&＃xff0c;并且与正在运行的JVM中的线程相比 &＃xff0c;您可以拥有更多的光纤。 “更多”意味着我们要说的是数百万人&＃xff0c;而不是数千人。

这意味着在等待JDBC执行时&＃xff0c;您的系统中有更多的并行能力来并行执行其他操作&＃xff0c;无论是并发/并行计算&＃xff08;例如在高度可靠的类Quasar Erlang类actor系统中 交换actor消息 &＃xff09;阻止I / O&＃xff08;例如&＃xff0c; 服务 Web 请求 &＃xff0c; 调用微服务 &＃xff0c;通过光纤NIO读取文件或访问其他启用了光纤的数据源&＃xff08;如MongoDB &＃xff09;&＃xff09;。

如果您的数据库能忍受它&＃xff0c;而更多的常规线程不会使您的系统崩溃&＃xff08;甚至&＃xff09;&＃xff0c;您甚至可以增加光纤JDBC池&＃xff08;请参阅附加点&＃xff1a;后面的等待线 &＃xff09;并发送更多并发的jOOQ命令。

由于jOOQ使用JDBC连接访问数据库&＃xff0c;因此在光纤上运行jOOQ就像引入comsat-jooq依赖项并将启用光纤的JDBC连接传递到jOOQ上下文一样简单&＃xff1a;

import java.sql.Connection;
import static org.jooq.impl.DSL.*;// ...Connecton conn &＃61; FiberDataSource.wrap(dataSource).getConnection();
DSLContext create &＃61; DSL.using(connection);// ...

当然&＃xff0c;您也可以将ConnectionProvider配置为从FiberDataSource提取连接。

从这一刻起&＃xff0c;您可以使用常规的jOOQ&＃xff0c;所有操作都将在光纤阻塞模式下发生&＃xff0c;而不是在线程阻塞下发生。 而已。

不&＃xff0c;真的&＃xff0c; 绝对没有其他东西了&＃xff1a;您将继续使用出色的jOOQ&＃xff0c;仅使用效率更高的光纤而不是线程。 Quasar是一个好公民&＃xff0c;不会强迫您使用新的API&＃xff08;特别是当原始API很好时&＃xff0c;这很好&＃xff09;。

由于JVM 目前不支持可用于实现轻量级线程的本机绿色线程或延续 &＃xff0c;因此Quasar通过字节码检测实现了延续&＃xff08;以及它们之上的光纤&＃xff09;。 这可以在编译时完成&＃xff0c;但是使用Quasar的代理通常更方便&＃xff08;尤其是在检测第三方库时&＃xff09;&＃xff0c;因此这是一个基于Dropwizard的Gradle示例项目 &＃xff0c;其中还包括Quasar代理设置&＃xff08;不要忘了Capsule &＃xff0c;这是一种非常出色的Java部署工具&＃xff0c;可满足各种需求&＃xff0c;这无疑使使用Quasar和代理变得轻而易举。 该示例未使用所有jOOQ功能&＃xff0c;而是属于SQL构建用例 &＃xff08;用于查询和CRUD&＃xff09;&＃xff0c;但是建议您更改它以适合您的需求。 without-comsat分支包含一个线程阻止版本&＃xff0c;因此您可以比较并查看与Comsat版本的&＃xff08;最小&＃xff09;差异。

排队等候在哪里&＃xff1f;

您可能现在想知道&＃xff1a;好的&＃xff0c;但是JDBC是一个线程阻塞 API&＃xff0c;Quasar如何将其转换为光纤 阻塞 API&＃xff1f; 因为JDBC没有异步模式&＃xff0c;所以Quasar在后台使用了一个线程池&＃xff0c;光纤在该线程池中调度JDBC操作&＃xff0c;并且在JDBC操作完成后将其解冻并计划恢复&＃xff08;请查看Quasar的集成模式以了解更多信息&＃xff09;信息&＃xff09;。

是的&＃xff0c;这是讨厌的等待行 &＃xff1a;等待线程池执行的JDBC命令。 尽管您并未将数据库并行性提高到超过JDBC线程池的大小&＃xff0c;但是即使您仍在使用简单且熟悉的阻塞API&＃xff0c;也不会损害光纤。 您仍然可以拥有数百万的纤维。

是否可以改善总体状况&＃xff1f; 没有标准的异步Java RDBMS API&＃xff0c;我们将无能为力。 但是&＃xff0c;如果数据库是您的瓶颈&＃xff0c;那么这可能根本不重要。 关于此主题有很多不错的文章和讨论 &＃xff0c;该论据等于确定您要将等待线移至何处。

奖励&＃xff1a;巧妙的jOOQ集成

目前&＃xff0c;Quasar需要开发人员&＃xff08;或集成商&＃xff09;告诉它要进行检测的内容&＃xff0c;尽管正在进行自动检测&＃xff08;此功能取决于Java 9之前不会发布的一些较小的JRE更改&＃xff09;。 如果您可以方便地更改源代码&＃xff08;或已编译的类&＃xff09;&＃xff0c;则足以使用&＃64;Suspendable注释方法或让它们throws SuspendExecution &＃xff0c;但是对于库通常不是这种情况。 但是可以在META-INF/suspendables和META-INF/suspendable-supers中分别列出具有要检测的固定名称的方法&＃xff0c;分别用于可以具有可挂起实现的具体方法和抽象/接口方法。

如果有很多&＃xff08;或涉及代码生成&＃xff09;&＃xff0c;则可以编写SuspendableClassifier随集成一起提供&＃xff0c;并在Quasar的SPI中注册它以提供其他检测逻辑&＃xff08;请参阅jOOQs &＃xff09;。 SuspendableClassifier的工作是在检测阶段检查有关运行时类路径中每个方法的签名信息&＃xff0c;并确定该方法是否可挂起&＃xff0c;是否可以挂起&＃xff0c;是否可以实现或不确定。 &＃xff08;其他一些分类器稍后可能会说“可悬浮”或“可悬浮-超级”&＃xff09;。

总结一下

好吧……只需要在高效纤维上享受出色的jOOQ&＃xff01;

翻译自: https://www.javacodegeeks.com/2015/06/querying-your-database-from-millions-of-fibers-rather-than-thousands-of-threads.html