greenplum安装配置

振鹭2年前技术文章1290
一、配置服务器安装环境
1、修改服务器内核参数(所有节点)
编辑sysctl.conf,需要设置共享内存Greenplum数据库使用共享内存在属于同一postgres实例的postgres进程之间进行通信。kernel.shmall设置可以在系统范围内使用的共享内存总量(以页为单位)。kernel.shmmax设置单个共享内存段的最大大小(以字节为单位)。根据系统的物理内存和页面大小设置kernel.shmall和kernel.shmax值。通常,两个参数的值都应为系统物理内存的一半。使用操作系统变量_PHYS_PAGES和PAGE_SIZE设置参数。
vim /etc/sysctl.conf

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
2、修改服务器文件限制参数文件(所有节点)
vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
3、关闭防火墙(所有节点)
systemctl stop firewalld
systemctl disable firewalld
4、设置selinux为disabled
vim /etc/selinux/config

selinux=disabled
5、创建用户和用户组
groupadd gpadmin      (创建用户组gpadmin)
useradd gpadmin -g gpadmin         (创建用户gpadmin由gpadmin用户组管理)
passwd gpadmin   (修改登录密码)


二、greenplum数据库的安装和部署

1、安装master节点
rpm -Uvh greenplum-db-5.20.0-rhe16-x86_64.rpm
greenplum将自动安装在/usr/local/greenplum-db-目录下
安装完成后,把greenplum安装目录权限授权给gpadmin用户:
chown -R gpadmin /usr/local/greenplum-db-<version>
chgrp -R gpadmin /usr/local/greenplum-db-<version>
2、安装其他节点
一个master节点的安装完成之后,我们要在其他节点安装greenplum。
首先,要以root用户执行gpseginstall命令,这个命令会将当前节点greenplum的安装文件复制到其他指定节点上
涉及的操作包括在:这些节点创建greenplum操作用户,设置默认密码,设置greenplum的安装目录权限,在节点间交换ssh key
具体方法如下:
(1)以root用户登录master节点,执行以下命令source命令应用环境变量
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh
(2)创建一个文件名为hostfile_exkeys的文本文件,其中包含所有节点,比如master丶standby master丶segment节点的主机名(本次安装只安装master+segment节点)
vim hostfile_exkeys

master
seg1
seg2
(3)运行gpseginstall命令,使用-f选项指定包含各节点操作列表的文件,该命令会把greenplum二进制文件复制安装到其他节点,并且创建greenplum操作用户和密码。
gpseginstall -f hostfile_exkeys   (关键命令)
(4)完成上述步骤之后,需要验证是否已经正确安装greenplum。以gpadmin用户运行以下命令
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh
然后,使用命令查看各节点是否已经安装greenplum
gpssh -f hostfile_exkeys -e ls -l $GPHOME
如果安装成功,不需要用户手动输入其他节点的登录密码,就会显示所有安装节点的安装目录,这些节点都应该有相同的安装目录,并且这些目录都属于goadmin用户。
如果要求输入登录密码,就需要重新执行ssh key交换命令
gpssh-exkeys -f hostfile_exkeys
3、初始化greenplum数据库
通常,要初始化一个greenplum数据库,首先要创建一个新的初始化配置文件,并根据实际情况修改相关参数;然后,使用gpinitsystem脚本来初始化数据库,该命令会在master节点丶standby节点,以及所有的segment节点上初始化数据库。初始化完成后,用户就可以使用greenplum数据库对数据进行各种操作
(1)vim一份配置文件
vim /home/gpadmin/gpconfigs/gpinitsystem_config
将下面参数添加进去,具体参数值请根据自己情况修改
ARRAY_NAME="Greenplum DW"
SEG_PREFIX=gpseg
PORT_BASE=6000 
declare -a DATA_DIRECTORY=(/data1/primary )
MASTER_HOSTNAME=master   --(注意是真实的host名)
MASTER_DIRECTORY=/data1/master 
MASTER_PORT=5432 
TRUSTED SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
如果没有创建相关目录,可以使用gpssh命令批量创建,并修改所有者为goadmin用户(如果已经创好相应目录请忽略)
gpssh -f hostfile_exkeys -e mkdir -p /data1/primary
gpssh -f hostfile_exkeys -e chown gpadmin /data1/primary
gpssh -f hostfile_exkeys -e chgrp gpadmin /data1/primary
(2)初始化命令
cd~
gpinitsystem -c gpconfigs/gpinitsystem_config -h gpconfigs/hostfile_gpinitsystem
(3)设置gpadmin用户的环境变量,不然每次切换用户都得重新应用环境变量
vim /home/gpadmin/.bash_profile
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh 
export MASTER_DATA_DIRECTORY=/data1/gpadmin/master/gpseg-1
export GPPORT=5432
export PGDATABASE=postgres
source /home/gpadmin/.bash_profile
三、测试登录preenplum
[gpadmin@master ~]$ *psql*
psql (8.3.23)
Type “help” for help.

postgres=# create table demo (id int) distributed by (id);
CREATE TABLE
postgres=# insert into demo values(1);
INSERT 0 1


相关文章

Dockerfile

Dockerfile

一、什么是镜像?镜像可以看成是由多个镜像层叠加起来的一个文件系统(通过UnionFS与AUFS文件联合系统实现),镜像层也可以简单理解为一个基本的镜像,而每个镜像层之间通过指针的形式进行叠加。根据上图...

开源大数据集群部署(二十二)Flink on yarn部署

开源大数据集群部署(二十二)Flink on yarn部署

flink on yarn部署(每个节点)cd  /root/bigdata/ tar -xzvf  flink-1.14.6-bin-scala_2.12.tgz -C /opt/  ln -s...

MySQL性能优化(二)优化排序操作

MySQL性能优化(二)优化排序操作

排序是数据库的基本功能。一个例子SELECT * FROM audit_log  WHERE user_id = xxx AND&nb...

服务器cpu异常抖动排查

服务器cpu异常抖动排查

问题背景      当天下午某某客户服务器cpu使用率80%报警持续10分钟左右后又恢复了,联系客户排查,有出现不同的应用服务器都有收到cpu报警,而且出现这样的抖动不止一次,每隔一段时间就会出现类似...

flink集成iceberg访问hive catalog任务报错

flink集成iceberg访问hive catalog任务报错

问题现象flink在集成iceberg后访问hive catalog任务无法执行,但flink自身任务正常,iceberg表任务无法执行,报错如下:Caused by: java....

trino开启https

trino开启https

一、生成https证书(所用到的openssl和keytool命令都是linux自带的)配置https证书:(1)创建目录[hdfs@hadoop01 hadoop]# mkdir -p /data/...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。