色婷婷狠狠18禁久久YY,CHINESE性内射高清国产,国产女人18毛片水真多1,国产AV在线观看

spark既要根據key分區又要根據value排序怎么辦

江奕云2年前23瀏覽0評論

spark既要根據key分區又要根據value排序怎么辦?

ass UsridPartitioner(numParts:Int) extends Partitioner{ //覆蓋分區數 override def numPartitions: Int = numParts //覆蓋分區號獲取函數 override def getPartition(key: Any)

: Int = { key.toString.toInt%10 }}object Test { def main(args: Array[String]) { val conf=new SparkConf() val sc=new SparkContext(conf) //模擬5個分區的數據 val data=sc.parallelize(1 to 10,5) //根據尾號轉變為10個分區,分寫到10個文件 data.map((_,1)).partitionBy(new UsridPartitioner(10)).sa

數組php獲得key,spark既要根據key分區又要根據value排序怎么辦