欢迎访问九五青年博客,本博客致力于大数据技术、应用和项目技术架构分享
  1. 文章总数:87
  2. 阅读总数:1,014,791
  3. 分类目录:26个
  4. 最近更新:2019年11月5日
  5. 稳定运行:969天

场景 本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis。 作者介绍 作者:无谓 ,阿里巴巴高级技术专家,2008年加入阿里巴巴集团,先后在B2B和阿里云工作,一直从事大数据和分布式计算相关研究,作为主要开发和运……

在使用Spark进行数据处理的时候,需要对数据中的时间进行格式化,我首先使用的是new SimpleDateFormat(”yyyy年MM月dd日,E,HH:mm:ss”),因为每条数据都需要进行格式转换所以将转化过程疯转成一个工具类,为了避免频繁的NEW出对象,将new提到方法外面,但是在运行过程中出现了线程安全……