maprfs架构_将MapR与Ruby集成：JRuby上的MapRDB和MapR流入门

mapr-fs 架构

MapR Streams和MapR-DB都是MapR融合数据平台中非常激动人心的开发。 在这篇博客文章中&＃xff0c;我将向您展示如何获取Ruby代码以与MapR-DB和MapR Streams进行本机交互。 我是Ruby开发人员&＃xff0c;并且HBase和Kafka的现有Ruby客户端/库在MapR等效项下无法正常工作。 因此&＃xff0c;我着手寻找一种方法来使Ruby代码与这两种MapR技术进行本地对话。 我决定探索将Java示例移植到JRuby的方法&＃xff0c;效果很好。 这篇文章中包含几个Java示例&＃xff0c;因此我还将引导您逐步了解如何将Java代码移植到JRuby&＃xff08;Ruby的全线程Java实现&＃xff09;。 让我们开始吧&＃xff01;

这篇文章的源代码可以在https://github.com/rvictory/MapR-JRuby-Demos中找到&＃xff0c;并且受https://github.com/mapr-demos/maprdb-ojai-101和https的影响很大&＃xff1a; //github.com/mapr-demos/mapr-streams-sample-programs

基础知识–加载MapR客户端库

JRuby尽最大努力保持Ruby约定&＃xff0c;同时允许您与Java代码和库进行接口。 但是&＃xff0c;为了使其“查找” Java类&＃xff0c;您需要像加载Gem或另一个Ruby源文件一样加载它们的JAR。 为了加载所有内容&＃xff0c;我采取了非常笨拙的方法&＃xff08;据我所知&＃xff0c;这不会影响性能&＃xff09;。 基本上&＃xff0c;我准备了脚本&＃xff0c;以能够引用任何MapR JAR&＃xff0c;并且在每个Ruby脚本的顶部都包含以下几行&＃xff1a;

包含Java

Dir["/opt/mapr/lib/\*.jar"].each { |jar| require jar }

显然&＃xff0c;这仅在MapR安装在/ opt / mapr中时才有效&＃xff1b; 但是&＃xff0c;如果您不在该默认配置下运行&＃xff0c;那么更改就足够容易了。

在JRuby中使用MapR-DB

既然我们已经引用了适当的JAR&＃xff0c;现在就可以将代码从Java移植到Ruby了。 在大多数情况下&＃xff0c;这是一项无缝的任务-只需采用Java中使用的结构并将其制成“ Ruby”即可。 例如&＃xff0c;这是MapR-DB演示中的以下代码&＃xff1a;

Table table;
if (!MapRDB.tableExists(tableName)) { table &＃61; MapRDB.createTable(tableName); // Create the table if not already present } else { table &＃61; MapRDB.getTable(tableName); // get the table
}

成为&＃xff1a;

table &＃61; nil
if !MapRDB.tableExists(tableName)table &＃61; MapRDB.createTable(tableName)
elsetable &＃61; MapRDB.getTable(tableName)
end

需要注意的一件事是&＃xff0c;您需要调用构造函数的实例将按照您可能期望的方式进行处理&＃xff0c;即以下Java代码&＃xff1a;

Test test &＃61; new Test("arguments");

成为以下Ruby代码&＃xff1a;

test &＃61; Test.new("arguments")

另外&＃xff0c;Java泛型在JRuby中也不是“物”&＃xff08;因为无论如何都会推断类型&＃xff09;&＃xff0c;因此在大多数情况下&＃xff08;至少我发现的情况&＃xff09;&＃xff0c;您可以简单地忽略它们。 在某些情况下&＃xff0c;JRuby编译器/解释器无法确定类型-我还没有遇到过这种情况&＃xff0c;但是我敢肯定有一种解决方法。

至于使用MapR-DB&＃xff0c;我们可以简单地使用与Java中相同的API&＃xff1a;

&＃xff08; http://maprdocs.mapr.com/apidocs/maprdb_json/51/com/mapr/db/MapRDB.html &＃xff09;。 要创建新文档&＃xff0c;我们可以采用以下两种方法之一&＃xff1a;

document &＃61; MapRDB.newDocument().set("_id", "jdoe").set("first_name", "John").set("last_name", "Doe").set("dob", ODate.parse("1970-06-23"))
table.insertOrReplace(document)

或者我们可以使用JSON格式而不是API&＃xff1a;

document &＃61; MapRDB.newDocument(&＃39;{"_id" : "test", "first_name" : "John", "last_name" : "Doe", "dob" : "1970-06-23"}&＃39;)
table.insertOrReplace(document)

对于使用JRuby的MapR-DB的基础知识来说&＃xff0c;这差不多了。 请查看源代码文件“ maprdb.rb”以获取完整示例。 值得一提的是&＃xff0c;默认情况下&＃xff0c;针对当前用户&＃xff0c;创建的表存储在MapR-FS的用户目录中。 如果您以不是mapr的用户身份运行&＃xff0c;请确保在MapR-FS中为用户创建目录/users/ &＃xff0c;并且您的用户有权读写该目录。