XML解析性能Scala

我正在使用Scala中的XML,解析在内存资源有限的系统中可以达到~20MB的文件.我必须读取整个文件,我必须从中提取所有数据.更具体的是,我必须读取的节点具有有限的属性和值.

我想知道在性能方面最好的方法是什么(或者两者都具有相同的性能).我问这个是因为我不知道Scala如何处理它的XML库,我可能会遗漏一些细节.

第一种方法

def firstApproach(root: Elem) = 
  for { n <- root \ "node" } yield handleNodeAttribute(n)

private def handleNodeAttribute(n: Node) = n match {
  case node @  if (node \ "@attr").text == "type1" => // do something 
  // here other possible cases -> type2, type3
}

第二种方法

def secondApproach(root: Elem) = {
  val nodes = root \ "node"
  val type1 = filterNodesByAttribute(nodes, "attr", "type1")
  // and so on -> type2, type3
}

private def filterNodesByAttribute(nodes: NodeSeq, attr: String, value: String) = {
  nodes filter (node => (node \ ("@" + attr)) text == value)
}

那么,使用XPath方法处理所有文件以及使用模式匹配并且每个问题迭代一次(for-yield循环)是否有任何优势？

两种解决方案的性能都是相似的,也不会满足你的内存限制.

当我们谈论XML处理时,通常有两种类型的方法,即DOM处理和流处理.

DOM处理

DOM处理读取整个源文档,然后允许程序员对内存表示执行操作.这通常是从程序员角度处理XML文档的最简单方法,但是使用的内存与XML文档的大小成比例.这意味着处理大型文档会占用大量内存.

流处理

流处理读取XML文档并在读取时动态处理文档.这使得文档从程序员的角度来看更难以处理,因为他无法同时访问整个文档,只是一小部分.它具有持续使用内存的优点.也就是说,您不需要将整个文档放在内存中,只需要将操作的部分放在内存中.

鉴于您的内存限制,您几乎肯定必须使用流式方法.使用流式处理方法,您可以读取文件,提取您感兴趣的部分,然后继续前进,从而不会为您不感兴趣的文档部分累积额外的内存.

请注意,如果要从文件中提取大量信息并将其保留在内存中,则会有效地否定流处理的好处,因为无论如何您只是将所有数据保存在内存中.如果您发现自己处于这种情况并且遇到内存问题,请考虑在读取数据后将数据流式传输到文件中,而不是将其保存在内存中.您可以将流视为XML上的转换.您只需阅读整个文档,转换(保留/更改/丢弃)您感兴趣的部分,并在转换完成后立即将其写出.

scala.xml

现在,该scala.xml包使用DOM样式的方法进行XML处理,因此它可能不适合您.您的两个解决方案都基于此包.我建议与具有XML流式支持的Java库接口(我不知道任何Scala的支持).

javax.xml

Java标准库已经具有各种用于以流方式处理XML的工具.我个人只使用这些工具进行基于流的XML文件编写,但它们应该非常简单,非常适合任何场景.

杰克逊

Jackson(https://github.com/FasterXML/jackson-core)支持基于流的XML处理,这可能比API更丰富javax.xml.确保您使用他们的流API,因为他们也有基于DOM的API,这将再次留下内存问题.