akimitsu_takagi さんが書き込みました。

2017/02/18 15:10

df2.select('section as "section_name" ).show()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:10

df2.distinct().count()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:10

df2.count()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:10

df2.select('section, $"name", df2("bonus"), col("bonus")).show()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:09

df2.sort('section.desc, 'name.desc).show()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:09

df2.filter('section==="営業一課").show()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:05

df2.groupBy("section").agg( avg("bonus")).show()

akimitsu_takagi さんが書き込みました。

2017/02/18 15:04

import org.apache.spark.sql.types.{StructType,StructField,StringType, IntegerType}; val schema = StructType(Array( StructField("section" , StringType, false ), StructField("name" , StringType, false ), StructField("bonus" , IntegerType, false ) )) val df2 = sqlContext.createDataFrame( rdd6, schema ) df2.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 15:04

import org.apache.spark.sql.Row val rdd6 = sc.parallelize( Seq( Row( "営業一課", "高木", 500000), Row( "営業一課", "田中", 650000), Row( "営業一課", "佐藤", 530000), Row( "営業二課", "高橋", 700000), Row( "営業二課", "小島", 300000) ))

akimitsu_takagi さんが書き込みました。

2017/02/18 15:00

df.registerTempTable("sample_table") val output2= context.sql("SELECT score * 2 FROM sample_table").show()

akimitsu_takagi さんが書き込みました。

2017/02/18 14:59

import org.apache.spark.{SparkContext, SparkConf} val context = new org.apache.spark.sql.SQLContext(sc) // prepare data val data = Seq((2.0, "hoge"), (4.0, "fuga")) //score, nameというカラム名をもったDataFrameを作成 val df = context.createDataFrame(data).toDF("score", "name") //データ抽出 val output= df.select("score").map(_.getDouble(0) * 2).collect().foreach(println)

Tatsuya さんが書き込みました。

2017/02/18 14:51

zeppelin以外にもjupyterやrstudioが使えます

Tatsuya さんが書き込みました。

2017/02/18 14:49

https://datascientistworkbench.com/

akimitsu_takagi さんが書き込みました。

2017/02/18 14:32

val rdd5 = rdd4.map{ case( section, (sumbonus,n) )=>( section, sumbonus/n.toDouble ) } rdd5.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 14:31

val rdd4 = rdd3.reduceByKey{case((bonus1,n1),(bonus2,n2))=>(bonus1+bonus2,n1+n2)} rdd4.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 14:31

val rdd3 = rdd2.map{case( section, name, bonus )=>( section, (bonus,1) ) } rdd3.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 14:31

val rdd2 = sc.parallelize(List( ("営業一課", "高木", 500000), ("営業一課", "田中", 650000), ("営業一課", "佐藤", 530000), ("営業二課", "高橋", 700000), ("営業二課", "小島", 300000) ) ) rdd2.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 14:24

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} // prepare data val data = Seq((2.0, "hoge"), (4.0, "fuga")) // RDD作成（定義済みのcontextをそのまま使用する） val rdd: RDD[(Double, String)] = sc.parallelize(data) //map内の処理がクラスタ内で分散処理される。 val reducedData = rdd.map(d => d._1 * 2) reducedData.collect().foreach(println)

akimitsu_takagi さんが書き込みました。

2017/02/18 13:35

curl -o install-nifi.sh https://raw.githubusercontent.com/hortonworks/tutorials/hdp/assets/realtime-event-processing/install-nifi.sh

akimitsu_takagi さんが書き込みました。

2017/02/18 11:29

http://hortonworks.com/downloads/#sandbox

Tatsuya さんが書き込みました。

2017/02/18 09:51

すみません、到着30分程遅れます。