用xpdf和pdfbox来处理中文PDF文档及其比较（转载）

2019独角兽企业重金招聘Python工程师标准>>>

我在以前的项目中使用的是pdfbox&＃xff0c;在读取中文文档时可以读出大部分的文字&＃xff0c;但是在数字、分页等地方还是不可避免的出现乱码。于是我在网上搜索&＃xff0c;看有没有什么解决方法&＃xff0c;看到有说法&＃xff1a;

“PDFBox看起来非常的方便&＃xff0c;它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点&＃xff0c;就是它不支持中文。要提取中文的文本&＃xff0c;可以采用另一个非常出色的工具xpdf。”

于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。

一、关于XPDF和PDFBOX

1.xpdf

xpdf只是一个软件&＃xff0c;通过java采用命令行调用&＃xff0c;并获取输出结果&＃xff0c;如此来说使用简单&＃xff0c;但是相当受限&＃xff0c;如&＃xff1a;无法跨平台&＃xff0c;无法处理特定格式&＃xff08;表格等&＃xff09;&＃xff0c;无法处理图片和其他附件。这种调用必定限制了它的灵活性。

2.pdfbox

pdfbox&＃xff08;一个BSD许可下的源码开放项目&＃xff09;是一个为开发人员读取和创建PDF文档而准备的纯Java类库。

二、XPDF的配置

1.工具包下载

点这里下载

我下载的是&＃xff1a; xpdf-3.02pl4-win32.zip

另外还需要一个语言包&＃xff1a; xpdf-chinese-simplified.tar.gz

2.工作路径设置

参考资料点这里

在本文中以 c:\xpdftest\xpdf 作为xpdf的工作路径。

将 xpdf-3.02p14-win32.zip 解压到 c:\xpdftest\xpdf 下。

将 xpdf-chinese-simplified.tar.gz 解压到 c:\xpdftest\xpdf\xpdf-chinese-simplified 下。

解压后的目录结构如图1所示&＃xff1a;

3.修改配置文件

为了启用中文简体语言包&＃xff0c;必须将 xpdf-chinese-simplified 目录下的 sample-xpdfrc 文件进行如下配置&＃xff0c;并将其另存为 xpdfrc 文件。

注意&＃xff1a;此文件为配置文件&＃xff0c;而且名称必须是 xpdfrc 。如果是别的名字&＃xff0c;即使调用 pdftotext.exe 时&＃xff0c;传入 ” -cfg xpdfrc2 ” 来告诉 xpdf 配置文件的名字&＃xff0c;好像 pdftotext.exe 也并没有使用这个配置文件。所以为了减少误解&＃xff0c;请您将配置文件直接命名为 xpdfrc 。

修改 sample-xpdfrc 文件之一

在文件后面加上一段话 &＃xff1a;

Txt代码

#----- begin Chinese Simplified support package (2004-jul-27)
cidToUnicode Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicode
unicodeMap ISO-2022-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMap
unicodeMap EUC-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMap
unicodeMap GBK C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMap
cMapDir Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/CMap
toUnicodeDir C:/xpdf/chinese-simplified/CMap
#displayCIDFontTT Adobe-GB1 /usr/..../gkai00mp.ttf
#----- end Chinese Simplified support package

#----- begin Chinese Simplified support package (2004-jul-27)cidToUnicode Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicodeunicodeMap ISO-2022-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMapunicodeMap EUC-CN C:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMapunicodeMap GBK C:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMapcMapDir Adobe-GB1 C:/xpdftest/xpdf/xpdf-chinese-simplified/CMaptoUnicodeDir C:/xpdf/chinese-simplified/CMap#displayCIDFontTT Adobe-GB1 /usr/..../gkai00mp.ttf#----- end Chinese Simplified support package

注意&＃xff1a;路径要跟自己配置的一样。

修改 sample-xpdfrc 文件之二

另外&＃xff0c;配置文件中原先没有加上一个“ textPageBreaks ”控制。为了避免这个分页符号&＃xff0c;我们需要在 sample-xpdfrc 文件 “ text output control ”下面加上一段话 &＃xff1a;

Txt代码

# If set to "yes", text extraction will insert page
# breaks (form feed characters) between pages. This
# defaults to "yes".
textPageBreaks no

# If set to "yes", text extraction will insert page # breaks (form feed characters) between pages. This # defaults to "yes". textPageBreaks no

设置 textPageBreaks 为 no 的意思是&＃xff1a;在 PDF 文档的两页之间不加入分页符号。之所以这样&＃xff0c;是因为这个符号有时候会引起 SAX 解析 XML 上的困难。

修改 sample-xpdfrc 文件之三

配置文件中原先把 textEncoding 注释了。这样默认的字符集是 Latin1 。我们必须打开它&＃xff0c;并且就是指定 textEncoding 为 UTF-8 &＃xff0c;而不是 GB2312 。即修改这句话 &＃xff1a;

Txt代码

textEncoding UTF-8

textEncoding UTF-8

三、PDFBOX的配置

请点这里查看PDFBOX的配置。

四、工程调用示范

在自己的常用工作环境下新建一个工程PdfTest&＃xff0c;并在此工程下新建一个包pdfToText。

此包包括三个类&＃xff1a;

TestPdfToText.java 包括Main函数&＃xff0c;调用并测试xpdf和pdfbox对PDF文档的处理效果。

PdfboxToText.java 用pdfbox来处理PDF文档。

XpdfToText.java 用xpdf来处理PDF文档。

目录结构如图2所示&＃xff1a;

在C盘根目录下有061231.pdf&＃xff0c;在工程中相应设置路径进行测试&＃xff0c;以下是源代码 &＃xff1a;

TestPdfToText.java

Java代码

package pdfToText;
/**
* 功能描述&＃xff1a;测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果
* &＃64;author Emily
* &＃64;Create 2010-03-07
*/
public class TestPdfToText {
/**
* &＃64;param args
*/
public static void main(String[] args) {
String rootPath &＃61; "c:\\061231";
//pdf文件路径
String pdffile &＃61; rootPath &＃43; ".pdf";
//用xpdf生成的txt文件路径
String xpdfToTxtfile &＃61; rootPath &＃43; "_xpdf.txt";
//用pdfbox生成的txt文件路径
String pdfboxToTxtfile &＃61; rootPath &＃43; "_pdfbox.txt";
//XPDF
try{
long begin &＃61; System.currentTimeMillis();
XpdfToText xpToTxt &＃61; new XpdfToText(pdffile);
xpToTxt.toTextFile(xpdfToTxtfile);
long end &＃61; System.currentTimeMillis();
System.out.println("xpdf\t cost:\t" &＃43; (end - begin) &＃43; " ms");
}catch(Exception e){
e.printStackTrace();
}
//PDFBOX
try{
long begin &＃61; System.currentTimeMillis();
PdfboxToText pbToTxt &＃61; new PdfboxToText(pdffile);
pbToTxt.toTextFile(pdfboxToTxtfile);
long end &＃61; System.currentTimeMillis();
System.out.println("pdfbox\t cost:\t" &＃43; (end - begin) &＃43; " ms");
}catch(Exception e){
e.printStackTrace();
}
}
}

package pdfToText; /*** 功能描述&＃xff1a;测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果* &＃64;author Emily* &＃64;Create 2010-03-07*/ public class TestPdfToText {/*** &＃64;param args*/public static void main(String[] args) {String rootPath &＃61; "c:\\061231";//pdf文件路径String pdffile &＃61; rootPath &＃43; ".pdf";//用xpdf生成的txt文件路径String xpdfToTxtfile &＃61; rootPath &＃43; "_xpdf.txt";//用pdfbox生成的txt文件路径String pdfboxToTxtfile &＃61; rootPath &＃43; "_pdfbox.txt";//XPDFtry{long begin &＃61; System.currentTimeMillis(); XpdfToText xpToTxt &＃61; new XpdfToText(pdffile);xpToTxt.toTextFile(xpdfToTxtfile);long end &＃61; System.currentTimeMillis(); System.out.println("xpdf\t cost:\t" &＃43; (end - begin) &＃43; " ms");}catch(Exception e){e.printStackTrace();}//PDFBOXtry{long begin &＃61; System.currentTimeMillis();PdfboxToText pbToTxt &＃61; new PdfboxToText(pdffile);pbToTxt.toTextFile(pdfboxToTxtfile);long end &＃61; System.currentTimeMillis(); System.out.println("pdfbox\t cost:\t" &＃43; (end - begin) &＃43; " ms");}catch(Exception e){e.printStackTrace();}} }

PdfboxToText.java

Java代码

package pdfToText;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileWriter;
import java.io.IOException;
import org.pdfbox.pdfparser.PDFParser;
import org.pdfbox.pdmodel.PDDocument;
import org.pdfbox.util.PDFTextStripper;
public class PdfboxToText {
private String filePath;
public PdfboxToText(String filePath){
this.filePath &＃61; filePath;
}
public String getTextFromPdf(){
String result &＃61; null;
FileInputStream is &＃61; null;
PDDocument document &＃61; null;
try {
is &＃61; new FileInputStream(filePath);
PDFParser parser &＃61; new PDFParser(is);
parser.parse();
document &＃61; parser.getPDDocument();
PDFTextStripper stripper &＃61; new PDFTextStripper();
result &＃61; stripper.getText(document);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (is !&＃61; null) {
try {is.close();}catch(IOException e){e.printStackTrace();}
}
if (document !&＃61; null) {
try{document.close();}catch (IOException e){e.printStackTrace();}
}
}
return result;
}
public void toTextFile(String filePath){
String pdfContent &＃61; getTextFromPdf();
try{
File f &＃61; new File(filePath);
if(!f.exists()){
System.out.println("not exist");
f.createNewFile();
}
BufferedWriter output &＃61; new BufferedWriter(new FileWriter(f));
output.write(pdfContent);
output.close();
}catch (Exception e) {
e.printStackTrace();
}
}
}

package pdfToText;import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileWriter; import java.io.IOException; import org.pdfbox.pdfparser.PDFParser; import org.pdfbox.pdmodel.PDDocument; import org.pdfbox.util.PDFTextStripper;public class PdfboxToText {private String filePath;public PdfboxToText(String filePath){this.filePath &＃61; filePath;}public String getTextFromPdf(){String result &＃61; null;FileInputStream is &＃61; null;PDDocument document &＃61; null;try {is &＃61; new FileInputStream(filePath);PDFParser parser &＃61; new PDFParser(is);parser.parse();document &＃61; parser.getPDDocument();PDFTextStripper stripper &＃61; new PDFTextStripper();result &＃61; stripper.getText(document);} catch (FileNotFoundException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();} finally {if (is !&＃61; null) {try {is.close();}catch(IOException e){e.printStackTrace();}}if (document !&＃61; null) {try{document.close();}catch (IOException e){e.printStackTrace();}}}return result;}public void toTextFile(String filePath){String pdfContent &＃61; getTextFromPdf();try{File f &＃61; new File(filePath);if(!f.exists()){System.out.println("not exist");f.createNewFile();}BufferedWriter output &＃61; new BufferedWriter(new FileWriter(f));output.write(pdfContent);output.close();}catch (Exception e) {e.printStackTrace();}} }

XpdfToText.java

Java代码

package pdfToText;
import java.io.File;
import java.io.IOException;
public class XpdfToText {
// PDF文件名
private File pdffile;
// 转换器的存放位置&＃xff0c;默认在c:\xpdftest\xpdf下面
private String CONVERTOR_STORED_PATH &＃61; "c:\\xpdftest\\xpdf\\";
// 转换器的名称&＃xff0c;默认为pdftotext
private String CONVERTOR_NAME &＃61; "pdftotext";
// 构造函数&＃xff0c;参数为pdf文件的路径
public XpdfToText(String pdffile) throws IOException {
this.pdffile &＃61; new File(pdffile);
}
// 将pdf转为文本文档&＃xff0c;参数为目标文件的路径
public void toTextFile(String targetfile) throws IOException {
toTextFile(targetfile, true);
}
// 将pdf转为文本文档&＃xff0c;参数1为目标文件的路径&＃xff0c;
// 参数2为true则表示使用PDF文件中的布局
public void toTextFile(String targetfile, boolean isLayout)
throws IOException {
String[] cmd &＃61; getCmd(new File(targetfile), isLayout);
Runtime.getRuntime().exec(cmd);
}
// 获取PDF转换器的路径
public String getCONVERTOR_STORED_PATH() {
return CONVERTOR_STORED_PATH;
}
// 设置PDF转换器的路径
public void setCONVERTOR_STORED_PATH(String path) {
if (!path.trim().endsWith("\\"))
path &＃61; path.trim() &＃43; "\\";
this.CONVERTOR_STORED_PATH &＃61; path;
}
// 解析命令行参数
private String[] getCmd(File targetfile, boolean isLayout) {
// 命令字符
String command &＃61; CONVERTOR_STORED_PATH &＃43; CONVERTOR_NAME;
// PDF文件的绝对路径
String source_absolutePath &＃61; pdffile.getAbsolutePath();
// 输出文本文件的绝对路径
String target_absolutePath &＃61; targetfile.getAbsolutePath();
// 保持原来的layout
String layout &＃61; "-layout";
// 设置编码方式
String encoding &＃61; "-enc";
String character &＃61; "GBK";
// 设置不打印任何消息和错误
String mistake &＃61; "-q";
// 页面之间不加入分页
String nopagebrk &＃61; "-nopgbrk";
// 如果isLayout为false&＃xff0c;则设置不保持原来的layout
if (!isLayout)
layout &＃61; "";
return new String[] { command, layout, encoding, character, mistake,
nopagebrk, source_absolutePath, target_absolutePath };
}
}

package pdfToText;import java.io.File; import java.io.IOException;public class XpdfToText {// PDF文件名private File pdffile;// 转换器的存放位置&＃xff0c;默认在c:\xpdftest\xpdf下面private String CONVERTOR_STORED_PATH &＃61; "c:\\xpdftest\\xpdf\\";// 转换器的名称&＃xff0c;默认为pdftotextprivate String CONVERTOR_NAME &＃61; "pdftotext";// 构造函数&＃xff0c;参数为pdf文件的路径public XpdfToText(String pdffile) throws IOException {this.pdffile &＃61; new File(pdffile);}// 将pdf转为文本文档&＃xff0c;参数为目标文件的路径public void toTextFile(String targetfile) throws IOException {toTextFile(targetfile, true);}// 将pdf转为文本文档&＃xff0c;参数1为目标文件的路径&＃xff0c;// 参数2为true则表示使用PDF文件中的布局public void toTextFile(String targetfile, boolean isLayout)throws IOException {String[] cmd &＃61; getCmd(new File(targetfile), isLayout);Runtime.getRuntime().exec(cmd);}// 获取PDF转换器的路径public String getCONVERTOR_STORED_PATH() {return CONVERTOR_STORED_PATH;}// 设置PDF转换器的路径public void setCONVERTOR_STORED_PATH(String path) {if (!path.trim().endsWith("\\"))path &＃61; path.trim() &＃43; "\\";this.CONVERTOR_STORED_PATH &＃61; path;}// 解析命令行参数private String[] getCmd(File targetfile, boolean isLayout) {// 命令字符String command &＃61; CONVERTOR_STORED_PATH &＃43; CONVERTOR_NAME;// PDF文件的绝对路径String source_absolutePath &＃61; pdffile.getAbsolutePath();// 输出文本文件的绝对路径String target_absolutePath &＃61; targetfile.getAbsolutePath();// 保持原来的layoutString layout &＃61; "-layout";// 设置编码方式String encoding &＃61; "-enc";String character &＃61; "GBK";// 设置不打印任何消息和错误String mistake &＃61; "-q";// 页面之间不加入分页String nopagebrk &＃61; "-nopgbrk";// 如果isLayout为false&＃xff0c;则设置不保持原来的layoutif (!isLayout)layout &＃61; "";return new String[] { command, layout, encoding, character, mistake,nopagebrk, source_absolutePath, target_absolutePath };} }

五、测试结果和总结

1.txt文件大小

一个大小为74KB的PDF文档经处理为txt文档后&＃xff0c;大小明显减小。

经xpdf处理后生成了10KB的txt文件。

经pdfbox处理后生成了12KB的txt文件。

2.时间性能

从运行结果来看&＃xff0c;xpdf处理的速度明显大大快于pdfbox的处理速度&＃xff0c;几乎是1/10。

如图3所示。

3.读取效果

在设置了保持原PDF文档的布局的情况下&＃xff0c;xpdf读取的效果如图4所示

若不保持原PDF文的的布局&＃xff0c;xpdf读取的效果如图5所示

经pdfbox读取的效果如图6和图7所示。

4.分析总结

从以上调用结果可以发现&＃xff0c;在时间性能和空间性能上&＃xff0c;xpdf都明显优于pdfbox 。在最关键的读取效果上&＃xff0c;pdfbox会自动在某些读取文字中加入一些格式&＃xff0c;比如回车、空格等&＃xff0c;造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上&＃xff0c;两种方法读出的乱码都是比较一致的&＃xff0c;这应该是由于这两个方法的缺陷造成的。

综上所示&＃xff0c;如果不要求很高的移植性的话&＃xff0c;采用xpdf应该是比较好的方法。