Kurt && Hadoop && Spark

1. 暨上一邊編譯好屬於自己的插件後 把它丟進\eclipse4.4\plugins

2. 然後我們必須做一件很重要的事 在hdfs-site.xml裡增加

  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

沒有加入這行 你會遇到許多java Exception也不能上下傳檔案

3. 接著打開你的Eclipse -> Windows -> Open Perspective -> Other尋找你的藍色小象

4. 在主畫面的右上角發現小象

5. 選取右下角的小象 依照你在core-site.xml的設定輸入

或許你很想問MapReduce的9001是哪裡來 沒錯 在MapReduce還沒改版之前是9001

但在YARN之後這個端口你在xml檔裡找不到設定的地方 這是一個待解的謎 目前我們就這樣設定

6. 左方能順利讀取你HDFS裡的資料代表成功瞜

7. 現在我們可以自由地上下傳檔案到HDFS裡了

打完收工

這邊要解開一個謎  我在最初的文章曾經提出目前最新的Hadoop版本為2.4.1 但我卻仍用2.2.0

這是因為使用2.4.1編譯出來的Hadoop插件在第四步驟的右下藍色小象無法跳出任何的資訊

這樣會照成無法對做address和port的設定也無法連上HDFS 造成很大的困擾

這個bug尚待釐清 希望能有高手能debug一下 或我在之後有空的時候再來研究一下這個插件的code