大数据之数据采集组件选型
楼高1年前851
按数据的源头、实际上也是对应的数据采集方式，分别进行分析与技术推荐，数据从源头基本分为一下三大类1、Web页面/移动App/MES/IoT/系统生产： 这些数据是被动接收。建议可采用Apache Ni...
数仓主流架构简介之三
楼高1年前536
一、数仓架构经历过程随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构 > 离线大数据架构 &...
数仓主流架构简介之二
楼高1年前499
一、流批一体数据批流一体是一种云计算架构模式，它结合了批处理和流处理的特点，以实现更高效、灵活和可扩展的数据处理能力。在这种模式下，数据可以同时进行批处理和流处理，以满足不同场景下的需求...
Trino对接ldap
恩慈1年前553
Tls 证书生成生成的证书分发到每个节点 #ip和主机名为**coordinator**的ip和主机名及对应的vipkeytool -genkeypair -validity 36500 -ext S...
数仓主流架构简介之一
楼高1年前497
一、Lambda架构Apache Storm的创建者Nathan Marz于 2011 年开发，旨在解决大规模实时数据处理的挑战。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。...
Elasticsearch数据生命周期如何规划
南墨1年前432
Elasticsearch中的open状态的索引都会占用堆内存来存储倒排索引，过多的索引会导致集群整体内存使用率多大，甚至引起内存溢出。所以需要根据自身业务管理历史数据的生命周期，如近3个月的数据op...
Flink sql 集成hive metastore对接s3存储
櫰木1年前906
1、hive metastore使用s3如何适配1、在flink conf目录中添加core-site.xml和hive-site.xml<?xml version="1.0" encoding...