MyBatis批量插入和性能问题

更新时间:2023-07-24 05:55:39 阅读: 评论:0

MyBatis批量插入和性能问题如何写总结
在有批量插入数据库的需求时,比如插入50条数据,传统的做法是利用for循环50次,每条数据挨个插入。此种方式存在严重效率问题,需要频繁获取Session,获取连接。
MyBatis支持了批量插入的配置和语法。如下
《活着》书评
<inrt id="inrtByBatch" parameterType="java.util.List">
        BEGIN
        <foreach collection="list" item="item" parator=";">
            INSERT INTO T_OPT_HANDOVERBILL_DETAIL (ID, HANDOVER_NO, WAYBILL_NO, TRANSPORT_TYPE, HANDOVER_GOODS_QTY,
            HANDOVER_WEIGHT, ACTUAL_WEIGHT,HANDOVER_VOLUME, ACTUAL_VOLUME, NOTES, GOODS_NAME, PACKING, BE_VALUABLE, RECEIVE_ORG_NAME,
            REACH_ORG_NAME,RECEIVER_NAME, DEST_REGION_NAME, GOODS_QTY, WAYBILL_FEE, DECLARATION_VALUE, CURRENCY_CODE, CREATE_TIME,
            ORIG_ORG_CODE, HANDOVER_TYPE, COD_AMOUNT, BE_JOIN_CAR, BE_FAST_GOODS, IS_INIT, WAYBILL_NOTES,TRANSPORT_TYPE_CODE,
            MODIFY_TIME)
        VALUES
            (#{item.id,jdbcType=VARCHAR}, #{item.handoverNO,jdbcType=VARCHAR}, #{item.waybillNO,jdbcType=VARCHAR},
            #{ansportType,jdbcType=VARCHAR}, #{item.handoverGoodsQty,jdbcType=NUMERIC}, #{item.handoverWeight,jdbcType=NUMERIC},
            #{item.actualWeight,jdbcType=NUMERIC}, #{item.handoverVolume,jdbcType=NUMERIC}, #{item.actualVolume,jdbcType=NUMERIC},
六种物态变化            #{s,jdbcType=VARCHAR}, #{dsName,jdbcType=VARCHAR}, #{item.packing,jdbcType=VARCHAR},
            #{item.beValuable,jdbcType=VARCHAR}, #{iveOrgName,jdbcType=VARCHAR}, #{achOrgName,jdbcType=VARCHAR},
            #{iverName,jdbcType=VARCHAR}, #{item.destRegionName,jdbcType=VARCHAR}, #{dsQty,jdbcType=VARCHAR},
            #{item.waybillFee,jdbcType=NUMERIC}, #{item.declarationValue,jdbcType=NUMERIC}, #{item.currencyCode,jdbcType=VARCHAR},
            #{ateTime,jdbcType=DATE}, #{igOrgCode,jdbcType=VARCHAR}, #{item.handoverType,jdbcType=VARCHAR},
            #{dAmount,jdbcType=NUMERIC}, #{item.beJoinCar,jdbcType=VARCHAR}, #{item.beFastGoods,jdbcType=VARCHAR},
            #{item.isInit,jdbcType=VARCHAR}, #{item.waybillNotes,jdbcType=VARCHAR}, #{ansportTypeCode,jdbcType=VARCHAR},
            #{difyTime,jdbcType=DATE})
        </foreach>
        ;END;首先近义词
    </inrt>
Java代码:
倒字成语
public void inrtByBatch(List<HandOverBillDetailEntity> list) {
        long start = System.currentTimeMillis();
        getSqlSession().inrt(NAME_SPACE + ".inrtByBatch", list);
启发的意思        long end = System.currentTimeMillis();
        System.out.println("批量插入耗时:" + (end - start) + "ms");
}
Java代码中getSqlSession是通过Spring获得。直接调用Spring的inrt方法,将要插入表的对象list作为参数传递。NAME_SPACE值为mybatis配置文件中namespace的值。利用MyBatis的foreach标签,传递List对象。执行即可达到插入的效果。
此处在foreach之前和之后,用了begin和end,测试用的是Oracle,以这种方式批量插入速度回更快。
性能问题:
在岗证明
(1)Mybatis变量绑定不当引发的性能隐患
在value值中,我们用到了mybatis的变量绑定。用的是#{}方式,还有一种方式${}。
默认情况下,使用#{}语法,MyBatis会用PreparedStatement语句当做占位符,并且安全的设置PreparedStatement参数,可以避免SQL注入漏洞和钓鱼漏洞,这个过程中MyBatis会进行必要的安全检查和转义。
示例1:用#{}
执行SQL:Select * from emp where name = #{employeeName}
参数:employeeName=>Smith
解析后执行的SQL:Select * from emp where name = ?
例2:用${}
执行SQL:Select * from emp where name = ${employeeName}
参数:employeeName传入值为:Smith
解析后执行的SQL:Select * from emp where name =Smith
可以看出,${}方式影响SQL语句的预编译,Oracle编译器解析时会进行硬解析,会造成很多临时游标变量的绑定,导致数据库性能下降。所以从安全性和性能的角度出发,能使用#{}的情况下就不要使用${}
(2)一次批量插入过多造成的性能隐患
虽然mybatis和oracle能支持批量插入,但也并不意味着不限插入语句的数量。经过实际的测试和性能验证,一次批量插入的数据条数很大时,oracle将不支持语句执行,可能直接报错:程序太大。而且一次插入数据量大,执行完成的耗费时间将以指数级增长。
如下为我在自身机器上做的简单测试:
序号
数据条数
执行时间一
执行时间二
执行时间三
1
50
258ms
63ms
32ms
2
100
826ms
186ms
83ms
3
150
语句超字符上线,不支持
4
250
语句超字符上线,不支持
结论:
a、在批量插入数据量过大时,sql总长度会超出允许的字符导致执行失败。
b、线性增加批量插入的数据条数,执行时间并非呈线性增长,而是3倍的比例增长。在此做一个大胆的推理,数量如果很大,时间将以指数级增长。
针对此种问题,最简单的解决方案是,将一批数据分多批插入,例如一批数据有220条,每次批量插入100条,则分三次执行全部插入。所耗费的时间要比一次执行的时间要短。
常见的英语

本文发布于:2023-07-24 05:55:39,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1094290.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:插入   执行   批量   性能   数据   语句   时间   方式
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图