sqoop如何指定pg库的模式(方法详解)

目录

sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过hadoop的mapreduce导入导出，因此提供了很高的并行性能以及良好的容错性。

sqoop适合以下的人群使用：

说明

使用sqoop导出导入数据非常的方便，但是对于postgresql(简称pg库)时就碰到了一个问题，pg库是三层结构的databa——schema——table。如果想导入到某一个模式下，那就需要指定模式才可以。但是sqoop如何指定pg库的模式？

解决办法

碰到问题首先要看文档才对的。文档这里已经指出如何指定pg库的schema了。官方文档地址
文档已经说了，如果向指定schema需要添加– –schema <name> 但是要注意的是必须在命令行的！！！！最后！！！添加才会生效。

但是，这是命令行的解决办法，如果我们使用的是java呢？在没解决之前，我的java代码是这样写的：

public static boolean exportcmdinpg(configuration conf, string tablename, list<string> columns, string hdfsdir,map<string, string> dbmap) {        try {            logutils.loginfoprint("开始任务",logger);            list<string> lis萨摩耶吃什么狗粮好t = new arraylist<>();            list.add("--connect");            list.add(dbmap.get(constant.driverurl));            list.add("--urname");      儿童绘本阅读      list.add(dbmap.get(constant.ur));            list.add("--password");            list.add(dbmap.get(constant.password));            list.add("--table");            list.add(tablename);            list.add("--columns");            list.add(stringutils.join(columns, ','));            list.add("--fields-terminated-by");            list.add("\t");            list.add("--export-dir");            list.add(hdfsdir);            list.add("-m");            list.add("1");            exporttool exporter = new exporttool();            sqoop sqoop = new sqoop(exporter);            string[] data = list.toarray(new s白酒塑化剂事件tring[0]);            if (0 == data.length) {                logutils.logerrorprint("sqoop参数为空，请检查exportcmd方法！",logger);                return fal;            }            if (0 == sqoop.runsqoop(sqoop, data)){                return true;            }        }catch (exception e){    未亡人日记        logutils.logerrorprint("exportcmd 导入到hdfs出现错误",logger,e);        }        return fal;    }

结果当然是不成功。那我哦添加– –schema 参数试一下

public static boolean exportcmdinpg(configuration conf, string tablename, list<string> columns, string hdfsdir,map<string, string> dbmap) {        try {            logutils.loginfoprint("开始任务",logger);            list<string> list = new arraylist<>();            list.add("--connect");            list.add(dbmap.get(constant.driverurl));            list.add("--urname");            list.add(dbmap.get(constant.ur));            list.add("--password");            list.add(dbmap.get(constant.password));            list.add("--table");            list.add(tablename);            list.add("--columns");            list.add(stringutils.join(columns, ','));            list.add("--fields-terminated-by");            list.add("\t");            list.add("--export-dir");            list.add(hdfsdir);            list.add("-m");            list.add("1");            list.add("-- --schema");            list.add("hero");            exporttool exporter = new exporttool();            sqoop sqoop = new sqoop(exporter);            string[] data = list.toarray(new string[0]);            if (0 == data.length) {                logutils.logerrorprint("sqoop参数为空，请检查exportcmd方法！",logger);                return fal;            }            if (0 == sqoop.runsqoop(sqoop, data)){                return true;            }        }catch (exception e){            logutils.logerrorprint("exportcmd 导入到hdfs出现错误",logger,e);        }        return fal;    }

结果也是不成功，显示檀香刑 莫言报错不识别– –schema 。。。为了能够使schema参数生效，废了我不少劲。。。也查了不少资料，但是查到的资料都没有关于java的schema的设置。所以。。。最终正确的解决办法是：

public static boolean exportcmdinpg(configuration conf, string tablename, list<string> columns, string hdfsdir,map<string, string> dbmap) {        try {            logutils.loginfoprint("开始sqoop将oracle的数据导出到hdfs目录",logger);            list<string> list = new arraylist<>();            list.add("--connect");            list.add(dbmap.get(constant.driverurl));            list.add("--urname");            list.add(dbmap.get(constant.ur));            list.add("--password");            list.add(dbmap.get(constant.password));            list.add("--table");            list.add(tablename);            list.add("--columns");            list.add(stringutils.join(columns, ','));            list.add("--fields-terminated-by");            list.add("\t");            list.add("--export-dir");            list.add(hdfsdir);            list.add("-m");            list.add("1");            // 注意这里是--是分开的，源码这里是通过--做判断的            list.add("--");            list.add("--schema");            list.add("hero");            exporttool exporter = new exporttool();            sqoop sqoop = new sqoop(exporter);            string[] data = list.toarray(new string[0]);            if (0 == data.length) {                logutils.logerrorprint("sqoop参数为空，请检查exportcmd方法！",logger);                return fal;            }            if (0 == sqoop.runsqoop(sqoop, data)){                return true;            }        }catch (exception e){            logutils.logerrorprint("exportcmd 导入到hdfs出现错误",logger,e);        }        return fal;    }

当然你也可能会使用字符串数组，数组方式就要这样写了

// 这里只是举个示例string[] string = new string[]{"--","--schema","hero"}

so 问题解决，心情愉快。如果问题不解决，可能会憋一天。。。。

本文分享自华为云社区《【hadoop】关于sqoop导出数据到postgresql时schema的设置问题》，作者：copy工程师 。

到此这篇关于sqoop如何指定pg库的模式的文章就介绍到这了,更多相关sqoop指定pg库的模式内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！