一、vi编辑文本键盘输入错乱的问题，无法正常和操作Centos一样输入 解决办法： 打开配置： sudo gedit /etc/vim/vimrc.tiny 修改文件内容，增加红色部分set nocompatibleset backspace=2 二、CRT远程连接报错，或者登陆不上、密码错误等问题 apt-get install ope……
在很多场景中，精确去重是一个重要指标，例如统计 UV。Kylin 从 1.5.3 版本开始支持精确去重。Kylin 使用 Bitmap 实现精确去重，使用全局字典实现字符串到 int 值的映射。 一、背景 当前全局字典介绍 基于改造后的 TireTree 实现的全局字典。默认在单一 Kylin Job 节点上进行构建，如果一个 Cube ……
一、GlusterFS简介 GlusterFS(GNU ClusterFile System)是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。GlusterFS配置方便，稳定性好，可轻松达到PB级容量，数千个节点。 二、GlusterFS重要概念 birck：Gluste……
1.导语 大家好，我是光城，下面是我之前在gitchat上发布的一个资料，今天全部开源！源码全部存放在本人github仓库，地址：https://github.com/Light-City/dbSyncScheme，欢迎大家提issue与star！接下来进入本节chat内容！PPT点击阅读原文可直达。 本节亿级数据从 MySQL 到 Hb……
DolphinScheduler单机部署分为后端部署和前端部署两部分： 1、后端部署 1.1 : 基础软件安装(必装项请自行安装) PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可 JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH ……
Apache Kafka 2.5.0 已于近期正式发布。 新特性 2.5.0版本添加了许多新特性，其中包括： 支持 TLS 1.3（目前默认使用 1.2 版本） 引入用于 Kafka Streams 的 Co-groups 支持通过同步备用服务器（in-sync Standbys）提供交互式查询 用于 Kafka Consumer 的增量……
美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景。MOLAP引擎使用了Apache Kylin。ROLAP我们经过综合考虑，选择了Apache Doris。本文将介绍Doris在美团外卖数仓的实践。 序言 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于……
Ambari有时候在重启集群或者进行某些操作时，agent节点会出现hearbeat lost的问题 解决方法： 重启ambari-agent，ambari-agent restart 如果上述方法没法解决问题，进入该节点，查看agent的日志。 如果显示异常如下： 可按照下面方法进行解决： 修改失去心跳节点的ambari-agent.i……
日常开发中用Grafana来渲染数据的时候，需要以一些中文别名来展示在图标下方，便于看图时理解。很简单，为每个图标设置别名模板即可。 官方给出的解释如下： Alias patterns replaced with measurement name $measurement = replaced with measurement name ……
InfluxDB简介 InfluxDB 是用Go语言编写的一个开源分布式时序、事件和指标数据库，无需外部依赖。 类似的数据库有Elasticsearch、Graphite等。 其主要特色功能 基于时间序列，支持与时间有关的相关函数（如最大，最小，求和等） 可度量性：你可以实时对大量数据进行计算 基于事件：它支持任意的事件数据 Influx……
Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点： 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式； 2、数据源：Graphite，InfluxDB，OpenT……
随着公司业务的增多，服务器上虚拟化机器越来越多，管理起来也不方便，虚拟机一般使用的KVM来做虚拟化，所以对于小型私有云，安装WebVirMgr进行web可视化管理还是很有必要的。简要介绍一下安装方法。 安装KVM 1.首先，对服务器Bios开启虚拟化支持，然后，查看服务器CPU是否支持虚拟化，一般服务器都会支持，可以看到是支持的。 egr……
ETL测试在数据转移到生产数据仓库系统之前执行。它也被称为表平衡或生产调节。ETL测试的主要目标是识别和减少数据缺陷。 考虑到数据量，使用工具进行ETL测试势在必行。以下是前5个ETL测试工具的列表，具有关键功能和下载链接: 1) QuerySurge QuerySurge是RTTS开发的ETL测试解决方案。它是专门为自动化数据仓库和大数……
由于市场上有许多数据库仓库工具，因此很难为项目选择最佳工具。下面是最流行的开源/商业ETL工具的精选列表，其中包含一些关键特性和下载链接。 1) QuerySurge QuerySurge是RTTS开发的ETL测试解决方案。它是专门为自动化数据仓库和大数据的测试而建立的。它还确保从数据源提取的数据在目标系统中保持完整。 特点: 改进数据质……
最近需要在基于ARM架构的三台Taishan 2280 V2上安装大数据平台，准备使用华为提供的FusionInsightHD6.5.1进行安装，具体安装流程如下： 一、环境准备 服务器：3台Taishan 2280 v2 ip规划： 192.168.13.21 192.168.13.22 192.168.13.23 安装包： Fusio……