MyBatis读取大量数据(流式读取)

2020年4月8日 作者 lj

一、背景

导出大量数据时,虚拟机频繁GC,内存耗尽,CPU爆满,可采用Mybatis数据流式读取进行优化。

二、JDBC三种读取方式:

  1. 一次全部(默认):一次获取全部。
  2. 流式:多次获取,一次一行。
  3. 游标:多次获取,一次多行。

mybatis默认采取第一种。

三、实现

1. Business层

//最终查询的List结果
List<FinancePackageFutureResponseVO> financePackageFutureList = new ArrayList<>();
financeOrderDao.seachDataList(financeOrderPackageRequestVO, new ResultHandler<FinancePackageFutureResponseVO>() {
    @Override
    public void handleResult(ResultContext<? extends FinancePackageFutureResponseVO> resultContext) {
        /**回调处理逻辑 */
        financePackageFutureList.add(resultContext.getResultObject());
    }
});

2. Dao层

/**
 * 流式读取数据
 * @param financeOrderPackageRequestVO 查询对象
 * @param handler                      回调处理
 */
void seachDataList(FinanceOrderPackageRequestVO financeOrderPackageRequestVO, ResultHandler<FinancePackageFutureResponseVO> handler);

3. Mapper层

<!--
resultSetType:结果集的游标只能向下滚动
fetchSize:窗口值
-->
<select id="seachDataList" resultMap="SeachDataResultMap" resultSetType="FORWARD_ONLY" fetchSize="1000">
    select i.created_date as createdDate, i.orde_order_inside_no as ordeOrderInsideNo from fina_finance_order_item_expense e
</select>