JavaGPU编程

是。
Java3D，LWJGL和JOGL支持GLSL（OpenGL阴影语言）。

如果要在GPU上进行与平台无关的通用计算，则可以使用OpenCL。尽管功能集和执行环境千差万别，但该框架使您可以编写将所有处理单元均一地对待的代码。但是，与Java相比，这是非常底层的编程。

似乎理想的情况是使用OpenCL支持编写的JVM。在网上搜索时，我发现对该创意有点兴趣，但没有任何重大支持的证据。

可以期望多少性能提升

这取决于您所运行的系统以及要处理的数据类型（矩阵和矢量数学在GPU上极为有效）。您可能会在像我这样的系统上获得一些重大收获，该系统具有两个强大的GPU和一个适度的单核CPU。但是，在具有适度GPU和四核CPU的计算机上，性能提升可能很难克服开销。