Kurt && Hadoop && Spark

kurthung1224 發表在 痞客邦 留言(0) 人氣()

當初我在安裝CentOS時硬碟使用的是default的8GB 結果在做個Big Data專題時把inode給塞爆
造成不系統沒辦法再創建檔案 紀錄一下解決過程
df -i
 

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

今天再用logstash把資料pass給Elasticsearch的時候發現 當讀的檔案到一定的數量後就會出現此Error
一開始以為是logstash或elasticsearch的bug 最後才發現是系統設定的允許開啟的檔案數的問題
ulimit -n 
可以看到目前系統允許可開啟的檔案數量 default顯示1024

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

kurthung1224 發表在 痞客邦 留言(0) 人氣()

使用Spark前最好先學Scala 不然很多程式碼都看不懂 雖然他也支援JAVA和Python 但原生的code仍是使用Scala
 
首先我在spark目錄下建立一個123.txt
內容是

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

今天使用mahout時出現以下exception
java.net.ConnectException: Call From master01/192.168.70.101 to master01:10020
 

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

目前最新的是0.9版 但是官方0.9的版本超舊 還是用hadoop 1.x編譯的 所以當我們在呼叫mahout的Lib時會有以下error
 
 
所以一定要重新下載source code自行編譯 不要用官方提供的版本... 

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
裝了Hadoop 2.6.0後一直會出現這個Warning 本來以為可以忽略 但是Sqoop在啟動的時候會有問題 所以還是要想辦法解決
因為Apache提供的原生Hadoop bin檔是32bit 我的CentOS是64bit 所以lib會有問題
網路上試了幾種辦法都沒用 只好重新compile一版64bit的Hadoop 2.6.0

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

去Spark官網下載要的版本 https://spark.apache.org/downloads.html
 
目前最新是1.2.1
 

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

無意間發現Hortonworks公司有出了一款Hadoop的Sandbox 可以搭配一些Virtual Machine來玩
這在上班時沒有Hadoop機台可以玩的時候偷玩還滿方便的
可以到這邊下載
https://hortonworks.com/products//hortonworks-sandbox/#install

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

啟動MySQL 啟動Hive shell 上一篇Hive安裝有講到一點Hive指令 這篇繼續測試一些指令
 
1. 建立兩個table, pokes和invites
CREATE TABLE pokes (foo INT, bar STRING);
CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()

目前最新的stable版本為0.13.1
 
1.去Apache抓最新的Hive丟入USB
cp -r /mnt/hadoop/apache-hive-0.13.1-bin /opt/hive

(繼續閱讀...)

kurthung1224 發表在 痞客邦 留言(0) 人氣()