Kurt && Hadoop && Spark

辦了一個Github帳號 未來會把code都放在那

https://github.com/kurthung1224

當初我在安裝CentOS時硬碟使用的是default的8GB 結果在做個Big Data專題時把inode給塞爆

造成不系統沒辦法再創建檔案 紀錄一下解決過程

今天再用logstash把資料pass給Elasticsearch的時候發現 當讀的檔案到一定的數量後就會出現此Error

一開始以為是logstash或elasticsearch的bug 最後才發現是系統設定的允許開啟的檔案數的問題

這問題會出現在使用logstash讀入同樣檔名的file時出現 但從elasticsearch裡卻完全沒看到我們的資料

使用debug mode只看到logstash不斷的出現

使用Spark前最好先學Scala 不然很多程式碼都看不懂 雖然他也支援JAVA和Python 但原生的code仍是使用Scala

今天使用mahout時出現以下exception

java.net.ConnectException: Call From master01/192.168.70.101 to master01:10020

目前最新的是0.9版 但是官方0.9的版本超舊 還是用hadoop 1.x編譯的 所以當我們在呼叫mahout的Lib時會有以下error

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

裝了Hadoop 2.6.0後一直會出現這個Warning 本來以為可以忽略 但是Sqoop在啟動的時候會有問題 所以還是要想辦法解決

去Spark官網下載要的版本 http://spark.apache.org/downloads.html

無意間發現Hortonworks公司有出了一款Hadoop的Sandbox 可以搭配一些Virtual Machine來玩

這在上班時沒有Hadoop機台可以玩的時候偷玩還滿方便的