mapinfo11(MapInfo11能做3D图)

我称这种bug是一个典型的“哈姆雷特”bug，就是指指那种“燃爆情况相同但网上却会有各样五花第十四回解决办法”的bug，让我们不知道哪一个才是症结所在。

先看转用命令：

[root@host25 ~]#sqoop export --connect "jdbc:mysql://172.16.xxx.xxx:3306/dbname?uUnicode=true&characterEncoding=utf-8"--urname=root --password=xxxxx --table rule_tag --update-key rule_code--update-mode allowinrt--export-dir /ur/hive/warehou/lmj_test.db/rule_tag --input-fields-terminated-by ' '--input-null-string '\N' --input-null-non-string '\N' -m1

这一转用命令语法上事实上是完全没问题的。

接下来是燃爆：

#圣戈当县部分19/06/11 09:39:57 INFO mapreduce.Job: The url to track the job: http://dthost25:8088/proxy/application_1554176896418_0537/19/06/11 09:39:57 INFO mapreduce.Job: Running job: job_1554176896418_053719/06/11 09:40:05 INFO mapreduce.Job: Job job_1554176896418_0537 running in uber mode : fal19/06/11 09:40:05 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:40:19 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:45:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_0, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_0 Timed out after 300 cs19/06/11 09:45:36 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:45:48 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:51:04 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_1, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_1 Timed out after 300 cs19/06/11 09:51:05 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:51:17 INFO mapreduce.Job: map 100% reduce 0%19/06/11 09:56:34 INFO mapreduce.Job: Task Id : attempt_1554176896418_0537_m_000000_2, Status : FAILEDAttemptID:attempt_1554176896418_0537_m_000000_2 Timed out after 300 cs19/06/11 09:56:35 INFO mapreduce.Job: map 0% reduce 0%19/06/11 09:56:48 INFO mapreduce.Job: map 100% reduce 0%19/06/11 10:02:05 INFO mapreduce.Job: Job job_1554176896418_0537 failed with state FAILED due to: Task failed task_1554176896418_0537_m_000000Job failed as tasks failed. failedMaps:1 failedReduces:019/06/11 10:02:05 INFO mapreduce.Job: Counters: 9Job CountersFailed map tasks=4Launched map tasks=4Other local map tasks=3Data-local map tasks=1Total time spent by all maps in occupied slots (ms)=2624852Total time spent by all reduces in occupied slots (ms)=0Total time spent by all map tasks (ms)=1312426Total vcore-conds taken by all map tasks=1312426Total megabyte-conds taken by all map tasks=268784844819/06/11 10:02:05 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. U org.apache.hadoop.mapreduce.FileSystemCounter instead19/06/11 10:02:05 INFO mapreduce.ExportJobBa: Transferred 0 bytes in 1,333.3153 conds (0 bytes/c)19/06/11 10:02:05 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. U org.apache.hadoop.mapreduce.TaskCounter instead19/06/11 10:02:05 INFO mapreduce.ExportJobBa: Exported 0 records.19/06/11 10:02:05 ERROR tool.ExportTool: Error during export: Export job failed!Time taken: 1340 stask IDE_TASK_ADE56470-B5A3-4303-EA75-44312FF8AA0C_20190611093945147 is complete.

就可以看到，转用任务在INFO mapreduce.Job: map 100% reduce 0%时摇摇晃晃了，停了5十分钟，然后任务自动重跑，又卡住停了5十分钟，紧接着任务报了个超时的错误。

很显然，任务失败的直接原因是超时，所以超时的原因便是转用过程的mapreduce任务卡住了，那mapreduce为什么会卡住呢？这一燃爆日志中并没有提过，这就是指查原因时最麻烦的地方。

先说一会结果，紧接着查了很多年才发现，便是有何东昌的数据长度，将近了mysql预设值的字段长度。也就是指在往varchar(50)的字段里转用字符串“字符串达马藏县达马藏县达马藏县达马藏县达马藏县达马藏县达马藏县达马藏县达马藏县”时，任务就溢出住了。

在这里也跟大家汇总一会网上的各样原因，大家就可以阿穆县检查

在map 100% reduce 0%时卡住的即便原因：(以往mysql消去为例)

1、长度冰冻。转用的数据将近了mysql表的字段预设值长度

解决办法：重设字段长度需先

2、编码错误。转用的数据位在mysql的编码字符集内

解决办法：事实上在mysql数据库中对应UTF-8字符集的不是utf8编码，而是utf8mb4编码。即使当你的转用数据里有若如Emoji表情若是一些讹误汉字时，就会导不进去造成溢出卡住。即使你需要注意零点：

(1)转用语句中ACTuUnicode=true&characterEncoding=utf-8，表示以utf-8的格式消去；

(2)mysql建表语句中有ENGINE=InnoDB DEFAULT CHARSET=utf8mb4；

3、内存不足。转用数据量即便过大，若是分配内存太少

解决办法：假如并须转用，假如给任务分配更多内存

4、主机名错误。

解决办法：这一好象是涉及到主机名的结构设计问题

5、主键消去 。

解决办法：这便是你转用的数据中有消去的主键值，要针对性处理一会数据

补充：sqoop从数据库外头数据到hdfs时mapreduce卡住不动解决

在sqoop时从数据库中消去数据时，显现出来mapreduce卡住的情况

经过百度之后好象是要设置yarn里面关于内存和虚拟内存的结构设计项．我以前没结构设计这数项，也能正常走行。所以这次好象走行的比较大。显现出来此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive走行所需的旧版本资源需求。

解决方案如下：

在yarn-site.xml中加入如下结构设计：

yarn.nodemanager.resource.memory-mb20480yarn.scheduler.minimum-allocation-mb2048yarn.nodemanager.vmem-pmem-ratio2.1

解封yarn暂缓就好了！！！

更多文章资讯：https://www.999la.com/article/

转载：https://www.999la.com/shujukuwz/321212453bfb51356316.html