热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

javaweb开发中大量数据导出Excel超时(504)问题解决

开发测试时候导入数据遇到大数据导入的问题,整理了下,需要的朋友可以参考下
import java.io.IOException;
import java.io.OutputStream;
import java.lang.reflect.Field;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import javax.servlet.http.HttpServletResponse;
import org.apache.commons.lang3.StringUtils;
import org.joda.time.DateTime;
import com.travelzen.framework.net.http.TZHttpClient;
import com.travelzen.tops.front.ota.member.item.CustomerItem;
public class CSV {
  /**
   * 目标输出流
   */
  private OutputStream stream;
  /**
   * 表头
   */
  private Map fields;

  /**
   * 数据源model所有字段map
   */
  private static Map fieldMap = new HashMap<>();
  public CSV(HttpServletResponse response,Map fields,String fileName,Class<&#63;> clz) throws IOException{
    if(respOnse== null || fields == null || fileName == null || clz == null)
      throw new IllegalArgumentException();
    getFieldMap(clz,fieldMap);
    this.stream = response.getOutputStream();
    this.fields = fields;
    response.setContentType("application/octet-stream;charset=GBK");
    response.setHeader("Content-Disposition", "attachment;fileName="+ fileName);
    //写表头,生成指定名字的文件,返回客户端
    StringBuilder hb = new StringBuilder();
    for(Entry e : fields.entrySet())
      hb.append(e.getValue()+",");
    stream.write(hb.substring(0, hb.length() - 1).getBytes("GBK"));
    stream.flush();
  }
  /**
   * 往表格中插入记录
   */
  public void write(List data) throws IllegalArgumentException, IllegalAccessException, IOException{
    for(Object o : data){
      StringBuilder sb = new StringBuilder();
      sb.append("\n");
      for(String field : fields.keySet()){
        Field f = fieldMap.get(field);
        f.setAccessible(true);
        Object value = f.get(o);
        if(value == null || StringUtils.isBlank(value.toString())){
          sb.append(" ,");
        } else if (f.getType() == Date.class) {
          sb.append(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(value) + ",");
        } else if (f.getType() == DateTime.class) {
          sb.append(((DateTime)value).toString("yyyy-MM-dd HH:mm:ss") + ",");
        } else {
          String tmp = value.toString();
          if(tmp.contains(","))
            tmp = tmp.replace(",", "\",\"");
          sb.append(value.toString() + ",");
        }
      }
      stream.write(sb.substring(0, sb.length() - 1).getBytes("GBK"));
      stream.flush();
    }
  }
  public void close() throws IOException{
    stream.close();
  }
  private static  void getFieldMap(Class clz, Map result) {
    for (Field field : clz.getDeclaredFields()) {
      result.put(field.getName(), field);
    }
    if (clz.getSuperclass() != null) {
      getFieldMap(clz.getSuperclass(), result);
    }
  }
}

web开发中常见的准备Excel数据需要从数据库查询数据,或者跨系统调用接口查询数据,耗费大量时间,因此未及时向浏览器返回数据,导致504超时。

本工具使用ServletOutputStream分段的往浏览器flush数据。调用方式:先new CSV(),传入指定参数,不断的调用wirte()方法往浏览器写入数据,最后调用close方法关闭流。

本工具导出的文件格式为.csv文件,windows office工具默认编码为ASCI,wps会匹配各种编码,libreOffice calc可以指定编码,故此设置编码为GBK,兼容三种Excel软件,也可根据自身需求设置编码。

本工具只处理了CSV中”,”的转码,对于双引号并未处理。

希望本文能够对遇到此问题的朋友能有所帮助


推荐阅读
  • PHP 5.5.0rc1 发布:深入解析 Zend OPcache
    2013年5月9日,PHP官方发布了PHP 5.5.0rc1和PHP 5.4.15正式版,这两个版本均支持64位环境。本文将详细介绍Zend OPcache的功能及其在Windows环境下的配置与测试。 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 如何配置Unturned服务器及其消息设置
    本文详细介绍了Unturned服务器的配置方法和消息设置技巧,帮助用户了解并优化服务器管理。同时,提供了关于云服务资源操作记录、远程登录设置以及文件传输的相关补充信息。 ... [详细]
  • Windows 系统下 MySQL 8.0.11 的安装与配置
    本文详细介绍了在 Windows 操作系统中安装和配置 MySQL 8.0.11 的步骤,包括环境准备、安装过程以及后续配置,帮助用户顺利完成数据库的部署。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 在Windows系统上安装VMware Workstation 2022的详细步骤
    本文将详细介绍如何在Windows系统上安装VMware Workstation 2022。包括从官方网站下载软件、选择合适的版本以及安装过程中的关键步骤。此外,还将提供一些激活密钥供参考。 ... [详细]
  • 如何在WPS Office for Mac中调整Word文档的文字排列方向
    本文将详细介绍如何使用最新版WPS Office for Mac调整Word文档中的文字排列方向。通过这些步骤,用户可以轻松更改文本的水平或垂直排列方式,以满足不同的排版需求。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 离线环境下的Python及其第三方库安装指南
    在项目开发中,有时会遇到电脑只能连接内网或完全无法联网的情况。本文将详细介绍如何在这种环境下安装Python及其所需的第三方库,确保开发工作的顺利进行。 ... [详细]
  • 本文详细分析了Hive在启动过程中遇到的权限拒绝错误,并提供了多种解决方案,包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]
  • 本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑,可以有效解决数据不一致的问题。 ... [详细]
  • 本文介绍如何在Java项目中使用Log4j库进行日志记录。我们将详细说明Log4j库的引入、配置及简单应用,帮助开发者快速上手。 ... [详细]
  • 本文详细介绍了如何在ECharts中使用线性渐变色,通过echarts.graphic.LinearGradient方法实现。文章不仅提供了完整的代码示例,还解释了各个参数的具体含义及其应用场景。 ... [详细]
  • 解决JAX-WS动态客户端工厂弃用问题并迁移到XFire
    在处理Java项目中的JAR包冲突时,我们遇到了JaxWsDynamicClientFactory被弃用的问题,并成功将其迁移到org.codehaus.xfire.client。本文详细介绍了这一过程及解决方案。 ... [详细]
  • 探讨了小型企业在构建安全网络和软件时所面临的挑战和机遇。本文介绍了如何通过合理的方法和工具,确保小型企业能够有效提升其软件的安全性,从而保护客户数据并增强市场竞争力。 ... [详细]
author-avatar
王慧1019
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有