多项选择题
A.无状态转化操作就是把简单的RDD转化操作应用到每个批次上,也就是转化DStream中的每一个RDD 。B.有状态转换操作就是将依赖之前的批次数据或者中间结果来计算当前批次的数据,不断的把当前的计算和历史时间切片的RDD进行累计。C.Transform允许DStream上执行任意的RDD-to-RDD函数。D.updateStateByKey操作使得我们可以在用新信息进行更新时保持任意的状态。
A.RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利B.三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历运算C.在对DataFrame和Dataset进行操作许多操作都需要进行引入:import spark.implicits._D.DataFrame可以通过toDS转化为DataSet
A.提供了两个编程抽象:DataFrame和DataSet。B.底层将SQL转换成RDD ,然后提交到集群执行。C.DataFrame和DataSet可以进行相互转化。D.SparkSQL兼容HQL语法。