在Eclipse中运行JAVA代码远程操作HBase的示例

分类: 大数据 2014-03-04 13:47 3762人阅读 评论(2) 收藏 举报

下面是一个在Windows的Eclipse中通过JAVA操作一个Linux上运行的hbase的示例。
Hbase的配置需要注意下面一些要点:
1,服务器端用主机名配置hadoop和hbase,不要用IP
比如如下:
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>hadoopsrv</value>  
</property>
2,hbase运行的机器上的机器名不能叫localhost
改/etc/sysconfig/network中的HOSTNAME
比如:
HOSTNAME=hadoopsrv
3,修改eclipse运行的windows客户端的C:\Windows\System32\drivers\etc\hosts文件.
对应到hbase运行服务器的ip,比如:
192.168.2.6 hadoopsrv
JAVA代码如下

[java] view
plaincopy图片 1图片 2

     <value>true</value>

⑤配置完毕。若配置多台机器,可将此次配置的hbase目录拷贝到其他机器的相同目录下。当然,/etc/hosts也要做相应的改动。

sudo chown hadoop:hadoop hbase-1.2.4/ -R

②修改hbase-site.xml
修改其内容为:
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://namenode/hbase</value>
                <description>The directory shared by region
servers.</description>
        </property>
        <property>
                <name>hbase.master.port</name>
                <value>60000</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        #<property>
               
#<name>hbase.zookeeper.property.dataDir</name>
               
#<value>/home/hadooptest/zookeeper-3.4.3/zookeeperdir/zookeeper-data</value>
        #</property>
        <property>
               
<name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>zookeeper</value>
        </property>
</configuration>
其中,hbase.rootdir这一项的配置必须与hdfs的fs.name.default项一致,还要为hbase指定根目录/hbase。hbase.zookeeper.property.dataDir属性(在此次配置中已注释掉)来把ZooKeeper保存数据的目录地址改掉,默认值是/tmp
(重启的时候会被操作系统删掉),不过我已经在zookeeper的conf/zoo.cfg文件中将dataDir设置为/home/hadooptest/zookeeper-3.4.3/zookeeperdir/zookeeper-data(详见于ZooKeeper安装过程),所以此处不须使用该属性。hbase.zookeeper.quorum指定了所有的zookeeper,此处的值为zookeeper,其已经在/etc/hosts文件中映射为192.168.1.102(本机),如果想指定多个zookeeper,可在此项中用逗号将不同的zookeeper隔开。

   <property>

①修改hbase-env.sh
#必修配置的地方为:
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HBASE_CLASSPATH=/home/hadooptest/hadoop-0.20.205.0/conf
export HBASE_OPTS=”-XX:+UseConcMarkSweepGC”
export HBASE_MANAGES_ZK=true
其中,JAVA_HOME为java安装路径,HBASE_CLASSPATH为hadoop安装路径。

   </property>

③修改regionservers
文件原先为空,在其中加入:
regionserver
regionserver已在/etc/hosts中映射为192.168.1.102。如果有多个regionserver,可继续添加regionserver,每行填写一个。

 

二、安装hbase
1、下载hbase
wget

其他版本下载地址(最好使用stable版本):

     <name>hbase.zookeeper.quorum</name>  <!–
指定zk的地址,多个用“,”分割 –>

2、解压
tar -xf hbase-0.92.0-security.tar.gz
将解压后的hbase-0.92.0-security文件放在系统的/home/hadooptest/中。

8.  启动hbase shell:

一、安装需求
安装java 1.6,Hadoop
0.20.x及zookeeper

     <name>hbase.zookeeper.property.dataDir</name>
<ZooKeeper的zoo.conf中的配置>

图片 3

   </property>

本次安装仅使用一台虚拟机(192.168.1.102),机上已安装hadoop
0.20.205.0和zookeeper 3.4.3(zookeeper的安装方法可见于ZooKeeper安装过程
http://www.linuxidc.com/Linux/2012-03/56341.htm )。
此次安装的hbase版本为0.92.0。
安装成功并执行后,该虚拟机会有以下java进程:
NameNode
DataNode
SecondaryNameNode
TaskTracker
JobTracker
HMaster    (hbase)
HRegionServer    (hbase)
QuorumPeerMain    (zookeeper)

   <property>

3、修改配置
hbase的安装是基于hdfs的,hbase的配置主要涉及conf目录下的三个文件:hbase-env.sh,hbase-site.xml,regionservers。

(2) 修改hbase-site.xml

环境:
Windows 7 SP1
VirtualBox 4.1.4 r74291
Ubuntu 11.10

       
Zookeeper集群的地址列表,用逗号分割。例如:”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和Hbase一起启动。默认: localhost

④为方便使用启动脚本,在/etc/profile中设置环境变量
在/etc/profile中添加以下内容:
export HBASE_HOME=/home/hadooptest/hbase-0.92.0-security
PATH=$HBASE_HOME/bin:$PATH
export PATH

hbase.zookeeper.quorum

export JAVA_HOME=/usr/local/jdk/jdk1.7.0_51 
//修改实际的JAVA_HOME目录地址

我的配置文件如下:

6. 通过浏览器访问hbase管理页面:

     <value>2181</value>

   <property>

</configuration>

ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

cp hdfs-site.xml /data/hbase-1.2.4/conf/

    </property>

   </property>

<configuration>

hbase.zookeeper.property.dataDir

 

   <property>

图片 4

         hbase-daemon.sh start master

 图片 5

3.把hadoop的hdfs-site.xml和core-site.xml
放hbase/conf下(zk集群已经安装好了)

(1)修改hbase-env.sh

图片 6

node2

   <property>

Author

发表评论

电子邮件地址不会被公开。 必填项已用*标注