OS : LINUX ubuntu server 9.10
將hadoop-0.18.3升級到hadoop-0.20.1
cd /opt/hadoop
bin/start-dfs.sh
將hadoop-0.18.3升級到hadoop-0.20.1
cd /opt/hadoop
bin/start-dfs.sh
- 2月 02 週二 201000:07
將hadoop-0.18.3升級到hadoop-0.20.1
- 1月 31 週日 201020:40
hive架設
OS:LINUX ubuntu server 9.10
事前要先架好subversion 叢集hadoop
1.首先使用svn update hive的資料 在用ant執行package
cd /opt
svn co http://svn.apache.org/repos/asf/hadoop/hive/trunk hive
cd hive
ant package
事前要先架好subversion 叢集hadoop
1.首先使用svn update hive的資料 在用ant執行package
cd /opt
svn co http://svn.apache.org/repos/asf/hadoop/hive/trunk hive
cd hive
ant package
- 1月 19 週二 201018:36
使用Hadoop架上自己的搜尋引擎nutch
OS:LINUX ubuntu server 9.10
依上一篇的兩台叢集設定
1.在本機/etc/bash.bashrc最後增加
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/nutch
export HADOOP_CONF_DIR=/opt/nutch/conf
export HADOOP_SLAVES=$HADOOP_CONF_DIR/slaves
export HADOOP_LOG_DIR=/tmp/hadoop/logs
export HADOOP_PID_DIR=/tmp/hadoop/pid
export NUTCH_HOME=/opt/nutch
export NUTCH_CONF_DIR=/opt/nutch/conf
依上一篇的兩台叢集設定
1.在本機/etc/bash.bashrc最後增加
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/nutch
export HADOOP_CONF_DIR=/opt/nutch/conf
export HADOOP_SLAVES=$HADOOP_CONF_DIR/slaves
export HADOOP_LOG_DIR=/tmp/hadoop/logs
export HADOOP_PID_DIR=/tmp/hadoop/pid
export NUTCH_HOME=/opt/nutch
export NUTCH_CONF_DIR=/opt/nutch/conf
- 1月 19 週二 201018:17
叢集的hadoop
OS:LINUX ubuntu server 9.10
假設電腦有兩台 namenode與jobstracker在同一台 兩台都有 datanode與tasktracker
1.設定SSH免密碼
更改兩台的/etc/hosts 內容如下
假設電腦有兩台 namenode與jobstracker在同一台 兩台都有 datanode與tasktracker
1.設定SSH免密碼
更改兩台的/etc/hosts 內容如下
- 1月 17 週日 201022:59
使用java跑MapReduce
OS:LINUX ubuntu server 9.10
架好namenode以後
下載下來的hadoop裡面有個hadoop-*-examples.jar
依前言應在/opt/hadoop裡
架好namenode以後
下載下來的hadoop裡面有個hadoop-*-examples.jar
依前言應在/opt/hadoop裡
- 1月 17 週日 201000:29
架起Hadoop namenode
OS:LINUX ubuntu server 9.10
1.安裝JDK，並移除gci
apt-get purge java-gci-compat
apt-get -y install sun-java6-bin sun-java6-jdk sun-java6-jre
1.安裝JDK，並移除gci
apt-get purge java-gci-compat
apt-get -y install sun-java6-bin sun-java6-jdk sun-java6-jre
1