Kurt && Hadoop && Spark

辦了一個Github帳號 未來會把code都放在那

https://github.com/kurthung1224

 

linux端安裝

yum install git-core

使用指令

git clone xxxx.git

來sync往需要的code

 

 

Demo1是這學期修課的作業 由http://untroubled.org/spam/ 這網站下載2010~2015/4的垃圾郵件來做分析

1. 由Logstash抽取資料到ElasticSearch的語法

2. Top 100的垃圾郵件IP來源

3. 使用Kibana拉出相關的dashboard

4. 萃取出5種垃圾郵件的特徵

5. 使用Mahout或Spark做k-means運算 我是使用Spark