greenplum安装配置

振鹭1年前技术文章554
一、配置服务器安装环境
1、修改服务器内核参数(所有节点)
编辑sysctl.conf,需要设置共享内存Greenplum数据库使用共享内存在属于同一postgres实例的postgres进程之间进行通信。kernel.shmall设置可以在系统范围内使用的共享内存总量(以页为单位)。kernel.shmmax设置单个共享内存段的最大大小(以字节为单位)。根据系统的物理内存和页面大小设置kernel.shmall和kernel.shmax值。通常,两个参数的值都应为系统物理内存的一半。使用操作系统变量_PHYS_PAGES和PAGE_SIZE设置参数。
vim /etc/sysctl.conf

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
2、修改服务器文件限制参数文件(所有节点)
vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
3、关闭防火墙(所有节点)
systemctl stop firewalld
systemctl disable firewalld
4、设置selinux为disabled
vim /etc/selinux/config

selinux=disabled
5、创建用户和用户组
groupadd gpadmin      (创建用户组gpadmin)
useradd gpadmin -g gpadmin         (创建用户gpadmin由gpadmin用户组管理)
passwd gpadmin   (修改登录密码)


二、greenplum数据库的安装和部署

1、安装master节点
rpm -Uvh greenplum-db-5.20.0-rhe16-x86_64.rpm
greenplum将自动安装在/usr/local/greenplum-db-目录下
安装完成后,把greenplum安装目录权限授权给gpadmin用户:
chown -R gpadmin /usr/local/greenplum-db-<version>
chgrp -R gpadmin /usr/local/greenplum-db-<version>
2、安装其他节点
一个master节点的安装完成之后,我们要在其他节点安装greenplum。
首先,要以root用户执行gpseginstall命令,这个命令会将当前节点greenplum的安装文件复制到其他指定节点上
涉及的操作包括在:这些节点创建greenplum操作用户,设置默认密码,设置greenplum的安装目录权限,在节点间交换ssh key
具体方法如下:
(1)以root用户登录master节点,执行以下命令source命令应用环境变量
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh
(2)创建一个文件名为hostfile_exkeys的文本文件,其中包含所有节点,比如master丶standby master丶segment节点的主机名(本次安装只安装master+segment节点)
vim hostfile_exkeys

master
seg1
seg2
(3)运行gpseginstall命令,使用-f选项指定包含各节点操作列表的文件,该命令会把greenplum二进制文件复制安装到其他节点,并且创建greenplum操作用户和密码。
gpseginstall -f hostfile_exkeys   (关键命令)
(4)完成上述步骤之后,需要验证是否已经正确安装greenplum。以gpadmin用户运行以下命令
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh
然后,使用命令查看各节点是否已经安装greenplum
gpssh -f hostfile_exkeys -e ls -l $GPHOME
如果安装成功,不需要用户手动输入其他节点的登录密码,就会显示所有安装节点的安装目录,这些节点都应该有相同的安装目录,并且这些目录都属于goadmin用户。
如果要求输入登录密码,就需要重新执行ssh key交换命令
gpssh-exkeys -f hostfile_exkeys
3、初始化greenplum数据库
通常,要初始化一个greenplum数据库,首先要创建一个新的初始化配置文件,并根据实际情况修改相关参数;然后,使用gpinitsystem脚本来初始化数据库,该命令会在master节点丶standby节点,以及所有的segment节点上初始化数据库。初始化完成后,用户就可以使用greenplum数据库对数据进行各种操作
(1)vim一份配置文件
vim /home/gpadmin/gpconfigs/gpinitsystem_config
将下面参数添加进去,具体参数值请根据自己情况修改
ARRAY_NAME="Greenplum DW"
SEG_PREFIX=gpseg
PORT_BASE=6000 
declare -a DATA_DIRECTORY=(/data1/primary )
MASTER_HOSTNAME=master   --(注意是真实的host名)
MASTER_DIRECTORY=/data1/master 
MASTER_PORT=5432 
TRUSTED SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
如果没有创建相关目录,可以使用gpssh命令批量创建,并修改所有者为goadmin用户(如果已经创好相应目录请忽略)
gpssh -f hostfile_exkeys -e mkdir -p /data1/primary
gpssh -f hostfile_exkeys -e chown gpadmin /data1/primary
gpssh -f hostfile_exkeys -e chgrp gpadmin /data1/primary
(2)初始化命令
cd~
gpinitsystem -c gpconfigs/gpinitsystem_config -h gpconfigs/hostfile_gpinitsystem
(3)设置gpadmin用户的环境变量,不然每次切换用户都得重新应用环境变量
vim /home/gpadmin/.bash_profile
source /usr/local/greenplum-db-5.20.0/greenplum_path.sh 
export MASTER_DATA_DIRECTORY=/data1/gpadmin/master/gpseg-1
export GPPORT=5432
export PGDATABASE=postgres
source /home/gpadmin/.bash_profile
三、测试登录preenplum
[gpadmin@master ~]$ *psql*
psql (8.3.23)
Type “help” for help.

postgres=# create table demo (id int) distributed by (id);
CREATE TABLE
postgres=# insert into demo values(1);
INSERT 0 1


相关文章

MongoDB的WiredTiger存储引擎

从MongoDB 3.2 开始,MongoDB实例默认的存储引擎为WiredTiger,WiredTiger存储引擎具体以下几大优点:文档级并发将数据持久化到磁盘快照和checkpoint数据压缩本地...

Hive与HBase整合文档

Hive与HBase整合文档

1.Hive整合HBase配置1.拷贝hbase 相关jar包将hbase 相关jar包拷贝到hive lib目录下hbase-client-0.98.13-hadoop2.jar hbase-co...

SQL Server优化入门系列(三)—— 性能计数器(performance counter)

SQL Server优化入门系列(三)—— 性能计数器(performance counter)

说明Performance Counter是windows系统中通用的性能分析工具。Windows OS和SQL Server暴露了很多Performance Counter,可用户分析整个系统的运行...

Clickhouse表引擎介绍

Clickhouse表引擎介绍

引擎分类ClickHouse表引擎一共分为四个系列,分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed,功...

Ldap高可用部署

Ldap配置高可用两个节点上均执行mkdir /data/ldapcd /data/ldap1.1. 添加mod_syncprov.ldif文件vi mod_syncprov.ldif 内容如下:ob...

 MySQL 两阶段提交

MySQL 两阶段提交

说明MySQL 开启 Binlog 后,所有的事务都会产生 Binlog Event,这些 Event 也是事务数据的一部分。本篇文章介绍 MySQL 如何保证事务 Binlog Event 和 In...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。