使用Sqoop将数据从Hive导入MySQL(一)

芒果2年前技术文章918


使用Sqoop将数据从Hive导入MySQL

首先查看csv数据类型

image.png

创建类似的hive表并导入数据
CREATE TABLE data (
    province STRING,
    code INT,
    city STRING,
    district STRING,
    year INT,
    model STRING,
    company STRING,
    brand STRING,
    type STRING,
    use_type STRING,
    seat_count INT,
    engine_no STRING,
    displacement DOUBLE,
    power DOUBLE,
    fuel_type STRING,
    total_weight DOUBLE,
    kerb_mass DOUBLE,
    max_mass DOUBLE,
    tire_size STRING,
    tire_count INT,
    length DOUBLE,
    width DOUBLE,
    height DOUBLE,
    note STRING,
    extra_company STRING,
    original_model STRING,
    production_company STRING,
    vehicle_type STRING,
    register_date INT,
    owner_sex STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

549875BE-EFCB-48ED-A840-70062562EC0D.png

导入数据

LOAD DATA LOCAL INPATH '/opt/mg/cars.txt' INTO TABLE data;

92F63829-DAF8-4C7C-AA0B-E41623844AD9.png

查询下表数据
select * from data limit 10;

FF38ACCE-9448-41DC-A1C1-E0A2C5DF9F88.png


创建mysql相同的表
CREATE TABLE data (
    province VARCHAR(255),
    code INT,
    city VARCHAR(255),
    district VARCHAR(255),
    year INT,
    model VARCHAR(255),
    company VARCHAR(255),
    brand VARCHAR(255),
    type VARCHAR(255),
    use_type VARCHAR(255),
    seat_count INT,
    engine_no VARCHAR(255),
    displacement FLOAT,
    power FLOAT,
    fuel_type VARCHAR(255),
    total_weight FLOAT,
    kerb_mass FLOAT,
    max_mass FLOAT,
    tire_size VARCHAR(255),
    tire_count INT,
    length FLOAT,
    width FLOAT,
    height FLOAT,
    note VARCHAR(255),
    extra_company VARCHAR(255),
    original_model VARCHAR(255),
    production_company VARCHAR(255),
    vehicle_type VARCHAR(255),
    register_date INT,
    owner_sex VARCHAR(255)
);

03BA64FE-40AA-48D4-BB61-753F219AC4F4.png

Ps如果字段问题可以全写varchar不建议
CREATE TABLE data1 (
  `date` VARCHAR(255),
  hour VARCHAR(255),
  type VARCHAR(255),
  Dongsi VARCHAR(255),
  Tiantan VARCHAR(255),
  Guanyuan VARCHAR(255),
  Wanshouxigong VARCHAR(255),
  Aotizhongxin VARCHAR(255),
  Nongzhanguan VARCHAR(255),
  Wanliu VARCHAR(255),
  Beibuxinqu VARCHAR(255),
  Zhiwuyuan VARCHAR(255),
  Fengtaihuayuan VARCHAR(255),
  Yungang VARCHAR(255),
  Gucheng VARCHAR(255),
  Fangshan VARCHAR(255),
  Daxing VARCHAR(255),
  Yizhuang VARCHAR(255),
  Tongzhou VARCHAR(255),
  Shunyi VARCHAR(255),
  Changping VARCHAR(255),
  Mentougou VARCHAR(255),
  Pinggu VARCHAR(255),
  Huairou VARCHAR(255),
  Miyun VARCHAR(255),
  Yanqing VARCHAR(255),
  Dingling VARCHAR(255),
  Badaling VARCHAR(255),
  Miyunshuiku VARCHAR(255),
  Donggaocun VARCHAR(255),
  Yongledian VARCHAR(255),
  Yufa VARCHAR(255),
  Liulihe VARCHAR(255),
  Qianmen VARCHAR(255),
  Yongdingmennan VARCHAR(255),
  Xizhimennei VARCHAR(255),
  Nansanhuan VARCHAR(255),
  Dongsihuan VARCHAR(255)
);


执行sqoop命令从hive导入mysql

./sqoop export \
--connect jdbc:mysql://172.16.121.194:3306/test \
--username root \
--password 123456 \
--table data \
--export-dir /user/hive/warehouse/data \
--input-fields-terminated-by '\0001' \
--input-lines-terminated-by '\n' \
--null-string 'NULL' \
--null-non-string '\\N'

image.png

查看表数据
select * from data limit 10;

image.png


相关文章

Hive删除外部表

Hive删除外部表

删除外部表操作例:1.首先我们创建一个外部表create EXTERNAL table if not exists mgtest(id int, name string)row format deli...

CDH时钟同步问题

CDH时钟同步问题

首先执行如下命令:查看chronyd是否启动systemctl status chronyd如果没启动执行如下命令启动systemctl restart chronyd每台检查时间状态chronyc...

trino组件对接hudi(四)

trino组件对接hudi(四)

安装部署本文是基于已经部署了trino组件的环境上,进行的trino和hudi的对接,使trino组件能够正常查询hudi表。1、增加hudi connector配置在trino安装部署下的etc/c...

ranger对接metastore

ranger对接metastore

前提:本文前提是基于集群中已经安装部署了ranger组件、hive组件的情况下,增加ranger metastore插件的对接。安装部署1、ranger metastore插件编译插件下载 https...

Ambari开启kerberos+安全方案

Ambari开启kerberos+安全方案

安装Kerberosserver节点安装kerberos相关软件yum install -y krb5-server krb5-workstation krb5-libsclient节点安装yum i...

 大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

2.node_exporter监控集群服务器(所有集群服务器)wget https://github.com/prometheus/node_exporter/releases/download/v1...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。