程序员scholar 程序员scholar
首页
  • Java 基础

    • JavaSE
    • JavaIO
    • JavaAPI速查
  • Java 高级

    • JUC
    • JVM
    • Java新特性
    • 设计模式
  • Web 开发

    • Servlet
    • Java网络编程
  • Web 标准

    • HTML
    • CSS
    • JavaScript
  • 前端框架

    • Vue2
    • Vue3
    • Vue3 + TS
    • 微信小程序
    • uni-app
  • 工具与库

    • jQuery
    • Ajax
    • Axios
    • Webpack
    • Vuex
    • WebSocket
    • 第三方登录
  • 后端与语言扩展

    • ES6
    • Typescript
    • node.js
  • Element-UI
  • Apache ECharts
  • 数据结构
  • HTTP协议
  • HTTPS协议
  • 计算机网络
  • Linux常用命令
  • Windows常用命令
  • SQL数据库

    • MySQL
    • MySQL速查
  • NoSQL数据库

    • Redis
    • ElasticSearch
  • 数据库

    • MyBatis
    • MyBatis-Plus
  • 消息中间件

    • RabbitMQ
  • 服务器

    • Nginx
  • Spring框架

    • Spring6
    • SpringMVC
    • SpringBoot
    • SpringSecurity
  • SpringCould微服务

    • SpringCloud基础
    • 微服务之DDD架构思想
  • 日常必备

    • 开发常用工具包
    • Hutoll工具包
    • IDEA常用配置
    • 开发笔记
    • 日常记录
    • 项目部署
    • 网站导航
    • 产品学习
    • 英语学习
  • 代码管理

    • Maven
    • Git教程
    • Git小乌龟教程
  • 运维工具

    • Docker
    • Jenkins
    • Kubernetes
  • 算法笔记

    • 算法思想
    • 刷题笔记
  • 面试问题常见

    • 十大经典排序算法
    • 面试常见问题集锦
关于
GitHub (opens new window)
首页
  • Java 基础

    • JavaSE
    • JavaIO
    • JavaAPI速查
  • Java 高级

    • JUC
    • JVM
    • Java新特性
    • 设计模式
  • Web 开发

    • Servlet
    • Java网络编程
  • Web 标准

    • HTML
    • CSS
    • JavaScript
  • 前端框架

    • Vue2
    • Vue3
    • Vue3 + TS
    • 微信小程序
    • uni-app
  • 工具与库

    • jQuery
    • Ajax
    • Axios
    • Webpack
    • Vuex
    • WebSocket
    • 第三方登录
  • 后端与语言扩展

    • ES6
    • Typescript
    • node.js
  • Element-UI
  • Apache ECharts
  • 数据结构
  • HTTP协议
  • HTTPS协议
  • 计算机网络
  • Linux常用命令
  • Windows常用命令
  • SQL数据库

    • MySQL
    • MySQL速查
  • NoSQL数据库

    • Redis
    • ElasticSearch
  • 数据库

    • MyBatis
    • MyBatis-Plus
  • 消息中间件

    • RabbitMQ
  • 服务器

    • Nginx
  • Spring框架

    • Spring6
    • SpringMVC
    • SpringBoot
    • SpringSecurity
  • SpringCould微服务

    • SpringCloud基础
    • 微服务之DDD架构思想
  • 日常必备

    • 开发常用工具包
    • Hutoll工具包
    • IDEA常用配置
    • 开发笔记
    • 日常记录
    • 项目部署
    • 网站导航
    • 产品学习
    • 英语学习
  • 代码管理

    • Maven
    • Git教程
    • Git小乌龟教程
  • 运维工具

    • Docker
    • Jenkins
    • Kubernetes
  • 算法笔记

    • 算法思想
    • 刷题笔记
  • 面试问题常见

    • 十大经典排序算法
    • 面试常见问题集锦
关于
GitHub (opens new window)
npm

(进入注册为作者充电)

  • 快速入门

  • 克隆

  • 类型转换

  • 日期时间

  • IO流相关

  • 工具类

  • 语言特性

  • JavaBean

  • 集合类

  • Map

  • Codec编码

  • 文本操作

  • 注解

  • 比较器

  • 异常

  • 数学

  • 线程和并发

  • 图片

  • 网络

  • 源码编译

  • 配置文件

  • 日志

  • 缓存

  • JSON

  • 加密解密

  • DFA查找

  • HTTP客户端

  • 定时任务

  • 扩展

  • 切面

  • 脚本

  • Office文档操作

    • Excel工具 - `ExcelUtil`
    • Excel 生成工具 - `ExcelWriter`
    • Excel大数据生成工具 - `BigExcelWriter`
      • 1. 使用 BigExcelWriter 写出大数据
      • 2. 自定义 Excel 样式和操作
      • 3. 写出到输出流(用于 Web 文件下载)
      • 4. 大数据导出场景
    • Excel读取工具 - `ExcelReader`
    • Word生成工具 - `Word07Writer`
    • 流方式读取Excel 2003 - `Excel03SaxReader`
    • 流方式读取 Excel 2007 - `Excel07SaxReader`
  • 系统调用

  • 图形验证码

  • 网络Socket

  • JWT

  • Hutoll
  • Office文档操作
scholar
2024-08-20
目录

Excel大数据生成工具 - BigExcelWriter

# Excel大数据生成工具 - BigExcelWriter

介绍

BigExcelWriter 是 Hutool 针对大数据量 Excel 文件生成的工具类。对于包含大量数据的场景,如果使用 ExcelWriter,可能会因为占用过多内存导致内存溢出,而 BigExcelWriter 则通过分批写入的方式解决了这个问题。它与 ExcelWriter 的使用方法基本一致,但适用于更大规模的数据导出需求。

# 1. 使用 BigExcelWriter 写出大数据

以下是一个完整的示例代码,展示如何使用 BigExcelWriter 将大数据写出到 Excel 文件中。

  • 方法签名:
public BigExcelWriter write(List<?> data, boolean isWriteKeyAsHead)
1
  • 参数:

    • data:需要写入的数据列表。
    • isWriteKeyAsHead:是否将数据的键作为 Excel 标题。
  • 返回值:BigExcelWriter 对象,支持链式调用。

  • 使用场景:适用于数据量较大的场景,例如导出数万甚至数十万条数据时。

  • 完整示例代码:

import cn.hutool.core.collection.CollUtil;
import cn.hutool.core.date.DateUtil;
import cn.hutool.poi.excel.BigExcelWriter;
import cn.hutool.poi.excel.ExcelUtil;

import java.util.List;

public class BigExcelWriterExample {
    public static void main(String[] args) {
        // 构造大数据列表,每行包含多个不同类型的数据
        List<?> row1 = CollUtil.newArrayList("aa", "bb", "cc", "dd", DateUtil.date(), 3.22676575765);
        List<?> row2 = CollUtil.newArrayList("aa1", "bb1", "cc1", "dd1", DateUtil.date(), 250.7676);
        List<?> row3 = CollUtil.newArrayList("aa2", "bb2", "cc2", "dd2", DateUtil.date(), 0.111);
        List<?> row4 = CollUtil.newArrayList("aa3", "bb3", "cc3", "dd3", DateUtil.date(), 35);
        List<?> row5 = CollUtil.newArrayList("aa4", "bb4", "cc4", "dd4", DateUtil.date(), 28.00);

        // 将所有行数据放入一个列表中
        List<List<?>> rows = CollUtil.newArrayList(row1, row2, row3, row4, row5);

        // 创建 BigExcelWriter 对象,指定输出路径和文件名
        BigExcelWriter writer = ExcelUtil.getBigWriter("e:/largeData.xlsx");

        // 一次性写出内容,使用默认样式
        writer.write(rows);

        // 关闭 writer,释放内存
        writer.close();
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

在这个示例中,BigExcelWriter 能够高效地将大规模数据写入 Excel 文件中,避免了常见的内存溢出问题。

# 2. 自定义 Excel 样式和操作

与 ExcelWriter 类似,BigExcelWriter 也支持自定义样式和其他操作,如设置单元格样式、合并单元格等。

  • 示例代码:自定义单元格背景色
import cn.hutool.core.collection.CollUtil;
import cn.hutool.core.date.DateUtil;
import cn.hutool.poi.excel.BigExcelWriter;
import cn.hutool.poi.excel.ExcelUtil;
import org.apache.poi.ss.usermodel.IndexedColors;

import java.util.List;

public class BigExcelWriterExample {
    public static void main(String[] args) {
        // 构造大数据列表
        List<?> row1 = CollUtil.newArrayList("aa", "bb", "cc", "dd", DateUtil.date(), 3.22676575765);
        List<?> row2 = CollUtil.newArrayList("aa1", "bb1", "cc1", "dd1", DateUtil.date(), 250.7676);
        List<?> row3 = CollUtil.newArrayList("aa2", "bb2", "cc2", "dd2", DateUtil.date(), 0.111);
        List<?> row4 = CollUtil.newArrayList("aa3", "bb3", "cc3", "dd3", DateUtil.date(), 35);
        List<?> row5 = CollUtil.newArrayList("aa4", "bb4", "cc4", "dd4", DateUtil.date(), 28.00);

        List<List<?>> rows = CollUtil.newArrayList(row1, row2, row3, row4, row5);

        // 创建 BigExcelWriter 对象
        BigExcelWriter writer = ExcelUtil.getBigWriter("e:/largeDataWithStyle.xlsx");

        // 设置单元格背景色,第二个参数表示是否设置标题背景色
        writer.getStyleSet().setBackgroundColor(IndexedColors.YELLOW, false);

        // 一次性写出内容,使用默认样式
        writer.write(rows);

        // 关闭 writer,释放内存
        writer.close();
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# 3. 写出到输出流(用于 Web 文件下载)

在 Web 应用中,可以将 Excel 文件直接写出到 HTTP 响应流,供用户下载。

  • 示例代码:将数据写出到 Web 输出流中
import cn.hutool.core.collection.CollUtil;
import cn.hutool.core.date.DateUtil;
import cn.hutool.poi.excel.BigExcelWriter;
import cn.hutool.poi.excel.ExcelUtil;
import cn.hutool.core.io.IoUtil;

import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.util.List;

public class BigExcelWriterExample {
    public static void main(String[] args) throws Exception {
        // 构造大数据列表
        List<?> row1 = CollUtil.newArrayList("aa", "bb", "cc", "dd", DateUtil.date(), 3.22676575765);
        List<?> row2 = CollUtil.newArrayList("aa1", "bb1", "cc1", "dd1", DateUtil.date(), 250.7676);
        List<?> row3 = CollUtil.newArrayList("aa2", "bb2", "cc2", "dd2", DateUtil.date(), 0.111);
        List<?> row4 = CollUtil.newArrayList("aa3", "bb3", "cc3", "dd3", DateUtil.date(), 35);
        List<?> row5 = CollUtil.newArrayList("aa4", "bb4", "cc4", "dd4", DateUtil.date(), 28.00);

        List<List<?>> rows = CollUtil.newArrayList(row1, row2, row3, row4, row5);

        // 创建 BigExcelWriter 对象
        BigExcelWriter writer = ExcelUtil.getBigWriter();

        // 写出内容
        writer.write(rows);

        // 设置响应头信息,实现文件下载
        HttpServletResponse response = // 获取 HttpServletResponse 对象;
        response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet;charset=utf-8");
        response.setHeader("Content-Disposition", "attachment;filename=largeData.xlsx");
        ServletOutputStream out = response.getOutputStream();

        // 将数据写出到输出流
        writer.flush(out, true);

        // 关闭 writer,释放内存
        writer.close();

        // 关闭输出流
        IoUtil.close(out);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

# 4. 大数据导出场景

在以下场景中,建议使用 BigExcelWriter:

  • 导出包含数万、数十万甚至更多数据行的 Excel 文件。
  • 防止数据量过大导致内存溢出的问题。
  • 实现高效的文件下载和导出功能。
编辑此页 (opens new window)
上次更新: 2024/12/28, 18:32:08
Excel 生成工具 - `ExcelWriter`
Excel读取工具 - `ExcelReader`

← Excel 生成工具 - `ExcelWriter` Excel读取工具 - `ExcelReader`→

Theme by Vdoing | Copyright © 2019-2025 程序员scholar
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式