欢迎访问九五青年博客,本博客致力于大数据技术、应用和项目技术架构分享
  1. 文章总数:101
  2. 阅读总数:1,058,925
  3. 分类目录:28个
  4. 最近更新:2020年5月20日
  5. 稳定运行:1173天

在使用Spark进行数据处理的时候,需要对数据中的时间进行格式化,我首先使用的是new SimpleDateFormat(”yyyy年MM月dd日,E,HH:mm:ss”),因为每条数据都需要进行格式转换所以将转化过程疯转成一个工具类,为了避免频繁的NEW出对象,将new提到方法外面,但是在运行过程中出现了线程安全……

MapReduce原理理解: 看下图图示即可明白整体流程 点击图片可看高清大图 原型: 在mapreduce中,map task调用map处理逻辑将处理后的key和value利用outputcollector.collect()放入一个环形缓冲区中,那么这个缓冲区是有一定大小的,那么如果放入的内容很多很多的时候怎么办呢?其实hadoop里……

单例模式: 定义是单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中一个类只有一个实例。 场景:比如创建连接池的时候,显而易见,连接池在这一个项目中只能存在一个,那么我们去创建它的时候就必须保证任何时候项目中只存在这一个连接池。那么我们什么时候去创建这个池子呢?继而产生两种思路去创建……

Java序列化与反序列化是什么?为什么需要序列化与反序列化?如何实现Java序列化与反序列化?本文围绕这些问题进行了探讨。  1.Java序列化与反序列化 Java序列化是指把Java对象转换为字节序列的过程;而Java反序列化是指把字节序列恢复为Java对象的过程。  2.为什么需要序列化与反序列化 我们知道,当两个进程进行远程通信时,……

昨天使用Split分割字符串出现数组越界异常,总结了一下。 出现java.lang.ArrayIndexOutOfBoundsException很可能是在后面去String数组的下标超过了数组的最大长度,所以就出现了数组越界的问题。 解決方法: 在java.lang包中有String.split()方法,返回是一个数组: 1、如果用“.”……