ES运维(七)添加sql插件

二龙3年前技术文章1398

一、概述

ElasticSearch安装SQL插件下载地址(中国大佬开发)

二、集成sql插件

1、下载es-sql插件

下载地址:
https://github.com/NLPchina/elasticsearch-sql/releases/download/7.12.1.0/elasticsearch-sql-7.12.1.0.zip

001.png

2、分发插件

所有es节点均要上传: /opt/cloudera/parcels/ELASTICSEARCH/lib/elasticsearch/plugins
分发后重启es集群

002.png

003.png

三、使用elasticsearch-sql

创建索引:
PUT articles1
{  
    "mappings":{  
             "dynamic":"strict",  
             "properties":{  
                 "id":{"type": "text", "store": true},  
                 "title":{"type": "text","store": true},
                 "readCounts":{"type": "integer","store": true},
                 "times": {"type": "text", "index": "false"}
             }  
    }  
}
写入内容:
PUT articles1/_doc/2
{
  "id" : "2",
  "title" : "世界1",
  "readCounts" : 2 ,
  "times" : "2018-05-01"
}
sql查询:
curl -XGET -u elastic "http://100.116.3.202:9200/_nlpcn/sql/explain" -H 'Content-Type: application/json' -d'select * from articles1 limit 10'
curl -XGET -u elastic "http://100.116.3.202:9200/_nlpcn/sql" -H 'Content-Type: application/json' -d'select * from articles1 limit 10'

004.png

四、安装elasticsearch-sql web

1、概述

elasticsearch-sql web插件可以试下web下执行sql,可以和es-sql插件配合使用

2、安装nodejs

a、yum install -y nodejs
如果无yum源,可以离线下载gz包
https://nodejs.org/dist/v16.2.0/node-v16.2.0-linux-x64.tar.gz
解压后/etc/profile中配置环境变量即可
export NODE_HOME=/opt/cloudera/parcels/ELASTICSEARCH/lib/es-sql-site-standalone/node-v16.2.0-linux-x64
export PATH=$PATH:$NODE_HOME/bin 
export NODE_PATH=$NODE_HOME/lib/node_modules

source /etc/profile
验证:
node -v
npm -v

005.png

3、下载elasticsearch 执行sql的程序包

下载地址如下
https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip

4、解压es-sql-site-standalone.zip

unzip -o es-sql-site-standalone.zip

5、进入site-server,安装express,并保存

cd site-server/ && npm install express --save

006.png

6、使用screen运行es-sql-site-standalone

如何没有screen的话需要yum一下(yum -y install screen)
screen -S es_sql_web

node node-server.js


crul + a + d 即可退出screen

7、访问es-sql-site-standalone elasticsearch 执行sql语句界面

访问地址:http://es-sql-site-standalone_ip地址:8080/?base_uri=http://elasticsearch_ip地址:9220/&username=用户名&password=密码
参数解析:
    http://es-sql-site-standalone_ip地址:8080/ :执行sql语句界面的地址
    base_uri:elasticsearch api地址
    username:登陆elasticsearch的用户名
    password:登陆elasticsearch的密码

注意:如果elasticsearch没有开启认证,则不用用户密码这两个参数

8、平台使用方法

示例sql执行语句:SELECT fields.host_ip,server,name,message FROM bbh-game-2020.4.23  where name="gt"

fields.host_ip,server,name,message : 字段名
bbh-game-2020.4.23 : es中的索引名

007.png

相关文章

ranger对接hbase

ranger对接hbase

前提:本文是基于集群中已经部署了ranger组件和hbase组件的情况下,增加ranger对hbase组件的对接。安装部署1、ranger-hbase插件安装使用ranger2.3版本对接插件。将插件...

ES运维(六)_segment合并使用原理及场景

ES运维(六)_segment合并使用原理及场景

一、背景简介ES中,每个index(索引)都包含若干个Shard(分片),每个分片底层又是一个个Segment文件(段),每次数据的读写底层就是与一个个段文件的交互,因此ES调优常用的一块就是对段文件...

运维监控体系总结

总结归纳运维工作中的监控内容。监控目标:明白监控的重要性以及使用监控要实现的业务目标通常包括以下三点:对目标系统进行实时监控监控可以实时反馈目标系统的当前状态 目标系统硬件、软件、业务是否正常、目前处...

Mac安装Hadoop文档-保姆级操作(二)

Mac安装Hadoop文档-保姆级操作(二)

配置hadoop进入hadoop的目录:cd /opt/homebrew/Cellar/hadoop/3.3.6/libexec/etc/hadoop修改core-site.xml<config...

helm安装部署trino对接hive(一)

helm安装部署trino对接hive(一)

前提:本文前提是基于hive组件已经提前安装的情况下,安装部署好trino容器之后进行对hive组件的对接。helm trino地址:https://artifacthub.io/packages/h...

dolphinscheduler部署-FAQ

dolphinscheduler部署-FAQ

如果是cdh集群会遇到一个问题5678端口被占用这是因为cdh的agent用了5678那我们改下配置文件文件:/opt/apache-dolphinscheduler-3.1.8-bin/st...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。