ApacheCassandra的配置与相关问题

在这里我们将介绍的是NoSQL数据库Apache Cassandra的配置与相关问题。现在数据库市场对于NoSQL的关注度日益升高&＃xff0c;我们也该看到未来数据库技术的变革。

上次说了安装的问题&＃xff0c;可以参考《VirtualBox 虚拟机 Debian系统上安装Cassandra步骤及遇到的问题》。当然&＃xff0c;在windows下也可以使用&＃xff0c;但是要设置JAVA_HOME参数&＃xff0c;然后启动目录 bin里的cassandra.bat。编辑cassandra.bat看到

1. if NOT DEFINED CASSANDRA_HOME set CASSANDRA_HOME&＃61;%CD% 

改成

1. if NOT DEFINED CASSANDRA_HOME set CASSANDRA_HOME&＃61;F:\apache-cassandra-0.5.1 

“F:\apache-cassandra-0.5.1”是我的安装目录。

一、cassandra的单节点服务器配置

先说下cassandra的配置&＃xff0c;还是讲Linux下的。需要配置的文件一共有三个&＃xff0c;当然&＃xff0c;也可以使用默认配置。

这个三个文件分别是&＃xff1a;

bin/cassandra.in.sh

conf/log4j.properties

conf/storage-conf.xml

其中&＃xff0c;log4j.properties是日志的配置&＃xff0c;其它两个是配置的运行环境。

cassandra.in.sh文件一般不需要调整&＃xff0c;当然&＃xff0c;加入你没有使用alternatives调整java的默认环境&＃xff0c;而你又需要使用jre6.0,这种情况下&＃xff0c;可以设置cassandra.in.sh中

1. #JAVA_HOME&＃61;/usr/local/jdk6 

为

JAVA_HOME&＃61;/usr/local/jre6   #这里是你的jre解压缩的路径

log4j.properties的配置网上讲的很多&＃xff0c;就不说了。

storage-conf.xml的配置是最重要的。

第一个是Keyspaces&＃xff0c;这个默认只设置了Keyspace1&＃xff0c;可以增加另外的Keyspaces。客户端调用需要使用这个名字。

Keyspace节点中的KeysCachedFraction设置的键索引的内存大小。说明上也写了&＃xff0c;假如键的数量较少&＃xff0c;长度较长&＃xff0c;可以增加这个值。而设置为0&＃xff0c;则是禁用。

接下来是设置ColumnFamily&＃xff0c;这里配置的名称&＃xff0c;在客户端调用时候也要是有。另外还指定了列的类型。

ReplicationFactor设置了副本的数目&＃xff0c;这个是在分布式部署中有用&＃xff0c;保持数据的冗余&＃xff0c;以至于某几台服务坏掉&＃xff0c;能保证数据完整。

CommitLogDirectory以及接下来的几行都是设置目录的&＃xff0c;这个就不说了。

Seeds也是和分部署主从服务器部署方式有关的&＃xff0c;本文不准备讲这个。

ThriftAddress是比较重要的&＃xff0c;这个是设置客户端访问的&＃xff0c;而ThriftPort是设置访问的端口。接下来的部分是和性能有关的&＃xff0c;这些说明可以仔细阅读。贫道对下面的设置也理解不深入&＃xff0c;就不献丑了。

二、如何编程访问cassandra

从http://incubator.apache.org/cassandra/找了好久&＃xff0c;找到了http://github.com /rantav/hector  &＃xff08;java&＃xff09;。这个是一个访问cassandra的包装。很遗憾的是&＃xff0c;我使用这个包装访问时候&＃xff0c;读取一个Key的值需要 7&＃xff5e;8秒&＃xff01;&＃xff01;&＃xff01;晕倒。我开始以为是虚拟机的原因&＃xff0c;结果部署到其他两台linux服务器上还是一样。当然这些机器和我的机器都不在同一个网段&＃xff0c;我不知道这点 是不是会对性能有很大的影响。后来&＃xff0c;我放到自己机器上&＃xff0c;以及把写好的程序当道目标机器上&＃xff0c;读取速度变成了20MS每条。性能相差也太大了。一个是速度慢得 和蚂蚁一样&＃xff0c;而第二次则是坐上乌龟了。

其它语言的访问包装可以在http://wiki.apache.org/cassandra/ClientExamples 这里找到。当然&＃xff0c;没有C#的。

三、用C#和Java访问cassandra

cassandra用到了另外一个好用的东西&＃xff1a;thrift。这个东东可以在http://www.thrift-rpc.org/下载。

具体在http://www.thrift-rpc.org/?p&＃61;thrift.git;a&＃61;shortlog;h&＃61;refs/misc/instant&＃xff0c;一般点第一个snapshot就行了&＃xff0c;这是最新的。版本几个小时更新一个&＃xff0c;太牛叉了。

下载完后&＃xff0c;搞到Linux上&＃xff0c;解压。进入目录后进行安装。

1. #chmod &＃43;x *  //设置执行权限  
2. #./bootstrap.sh  
3. #./configure  
4. #make  
5. #make install 

安装好了&＃xff0c;接下来&＃xff0c;开始生成操作。

切换到cassandra的interface目录。

然后&＃xff0c;使用/home/xieping/thrift/ompiler/cpp/thrift -gen csharp cassandra.thrift 命令生成。运行该命令后&＃xff0c;在interface目录增加了gen-csharp目录。把它搞到你的机器&＃xff0c;然后&＃xff0c;切换到/home/xieping /thrift/lib/csharp目录。把src目录搞下来。打开Thrift.csproj文件&＃xff0c;右键Thrift项目&＃xff0c;设置编译符号为 NET_2_0。新建个C#项目&＃xff0c;把gen-csharp目录下的东西添加进去&＃xff0c;然后&＃xff0c;引用Thrift项目&＃xff0c;就可以写以下代码调用&＃xff1a;

1. using System;  
2. using Thrift.Transport;  
3. using Thrift.Protocol;  
4. using Apache.Cassandra;namespace TestCa {      
5. class Program {          
6. static void Main(string[] args)   
7. {              
8. TTransport transport &＃61; new TSocket("192.168.93.30", 9160);              
9. TProtocol protocol &＃61; new TBinaryProtocol(transport);              
10. Cassandra.Client client &＃61; new Cassandra.Client(protocol);              
11. transport.Open();              
12. System.Text.Encoding utf8Encoding &＃61; System.Text.Encoding.UTF8;              
13. long timeStamp &＃61; DateTime.Now.Millisecond;            
14. ColumnPath nameColumnPath &＃61; new ColumnPath() {                  
15. Column_family &＃61; "Standard1",                  
16. Column &＃61; utf8Encoding.GetBytes("name")              
17. };              
18. client.insert("Keyspace1",                            
19. "1",                          nameColumnPath,                          
20. utf8Encoding.GetBytes("测试输入1"),    
21. timeStamp,   
22. ConsistencyLevel.ONE);              
23. client.insert("Keyspace1",                            
24. "2",                            
25. nameColumnPath,                            
26. utf8Encoding.GetBytes("测试输入2"),                            
27. timeStamp,                            
28. ConsistencyLevel.ONE);              
29. ColumnOrSuperColumn returnedColumn &＃61; client.get("Keyspace1", "1", nameColumnPath, ConsistencyLevel.ONE);              
30. Console.WriteLine("Keyspace1/Standard1 列值: 键: {0}, 值: {1}",                                
31. utf8Encoding.GetString(returnedColumn.Column.Name),                              
32. utf8Encoding.GetString(returnedColumn.Column.Value));            
33. transport.Close();              
34. Console.ReadKey();          
35. }    }} 

而Java的就变成

/home/xieping/thrift/ompiler/cpp/thrift -gen java cassandra.thrift

java相应的代码

1. import static me.prettyprint.cassandra.utils.StringUtils.bytes;  
2. import java.io.UnsupportedEncodingException;  
3. import org.apache.cassandra.service.Cassandra;  
4. import org.apache.cassandra.service.ColumnOrSuperColumn;  
5. import org.apache.cassandra.service.ColumnPath;  
6. import org.apache.cassandra.service.ConsistencyLevel;  
7. import org.apache.cassandra.service.InvalidRequestException;  
8. import org.apache.cassandra.service.NotFoundException;  
9. import org.apache.cassandra.service.TimedOutException;  
10. import org.apache.cassandra.service.UnavailableException;  
11. import org.apache.thrift.TException;  
12. import org.apache.thrift.protocol.TBinaryProtocol;  
13. import org.apache.thrift.protocol.TProtocol;  
14. import org.apache.thrift.transport.*;public class Program {      
15. public class s{              
16. }          
17. /**     * &＃64;param args       
18. * &＃64;throws Exception        
19. */      
20. public static void main(String[] args) throws Exception {          
21. Long startTime &＃61; System.currentTimeMillis();           
22. for(int i &＃61; 0;i < 10000;i&＃43;&＃43;){              
23. run();          
24. }          
25. Long endTime &＃61; System.currentTimeMillis();         System.out.println("程序运行到此处计算机当前毫秒数 " &＃43; startTime);          
26. System.out.println("程序共计运行 "&＃43; (endTime-startTime)&＃43;" 毫秒");      
27.  }          
28. static void run() throws InvalidRequestException, UnavailableException, TimedOutException, TException, NotFoundException, UnsupportedEncodingException{        TTransport transport &＃61; new TSocket("192.168.93.30",9160);          
29. TProtocol protocol &＃61; new TBinaryProtocol(transport);          
30. Cassandra.Client client &＃61; new Cassandra.Client(protocol);          
31. transport.open();          
32. Long timeStamp &＃61; System.currentTimeMillis();                   
33. ColumnPath nameColumnPath &＃61; new ColumnPath("Standard1",null,bytes("name"));          
34. client.insert("Keyspace1",                        
35. "1",                      nameColumnPath,                        
36. bytes("测试数据1"),                      timeStamp,                      ConsistencyLevel.ONE);          
37. client.insert("Keyspace1",                        
38. "2",                      nameColumnPath,                        
39. bytes("测试数据2"),                      timeStamp,                      ConsistencyLevel.ONE);          
40. ColumnOrSuperColumn returnedColumn &＃61; client.get("Keyspace1", "1", nameColumnPath, ConsistencyLevel.ONE);                  
41. System.out.println(String.format("key:%s;value:%s",                   
42. new String(returnedColumn.column.name),                new String(returnedColumn.column.value,"utf-8")));          
43. transport.close();     
44.  }    }