CDH 之 hive 数据迁移_cdh数据互导

    先创建数据库
    hive> show databases;
    OK
    default
    Time taken: 1.399 seconds, Fetched: 1 row(s)
    hive> create database test;
    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:400)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:256)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:194)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1855)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1839)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1798)
        at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:61)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3101)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1123)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:696)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)
    )

    #查看 hive 是否有 /user 目录的权限
    [root@hadoop105 hive_db]# hdfs dfs -ls /
    drwxr-xr-x   - hdfs hadoop              0 2023-05-26 17:52 /user
    #如下操作创建数据库
    [root@hadoop105 hive_db]# su - hdfs
    Last login: Fri May 26 17:49:25 CST 2023 on pts/1
    #进入hive交互命令行执行 create database test; 
    [hdfs@hadoop105 ~]$ hive
    hive> create database test;
    #或者直接用下面命令创建数据库
    [hdfs@hadoop105 ~]$ hive -e "create database test;"

    # tables.sql 文件删除 LOCATION 到下一条 create 命令直接的内容
    LOCATION
      'hdfs://hadoop40/user/hive/warehouse/***/***
    
    #可以用如下正则表达式进行批量删除：(即删除从LOCATION开始到下一个CREATE前的内容，改表达式的最后一个LOCATION需要手动删除)
    :g/LOCATION/,/CREATE/-1d
    
    #进行导入：
    [root@hadoop105 ~]# su - hdfs
    [hdfs@hadoop105 ~]$ hive
    hive> use test;
    hive> source /path/to/destination/tables.sql
    
    #出现错误：
    Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-common-2.1.1-cdh6.3.2.jar!/hive-log4j2.properties Async: false
    FAILED: ParseException line 42:0 missing EOF at 'CREATE' near ')'
    #语法错误，这是因为导出的sql文件中，create() 和 create() 语句直接结束后没有分号隔开
    create(
    *** ***
    );
    create();
    create()
    #可以使用如下正则表达式进行批量修改：(其中，g/CREATE.*/-1表示从匹配CREATE的行开始，到上一行结束；s/$/;/g表示在行末添加分号，多个 CREATE 情况下，第一个 CREATE 第一行末尾可能出现分号，需要手动删除)
    :g/CREATE.*/-1s/$/;/g

    #将test.db目录下的文件删除（因为 tables.sql 导入成功后，表的内容是空的，我们要把之前复制的数据库文件拷贝过来替换，所以需要把表文件删除）
    [hdfs@hadoop105 ~]$ hdfs dfs -rm -r /user/hive/warehouse/test.db/*
![img]()
![img]()
    
    **网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。** **[需要这份系统化资料的朋友，可以戳这里获取]()** **一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！** **一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**