java多线程读取文件夹中的多个文件问题，新手多谢！

作者：手机用户2502892757 | 来源：互联网 | 2023-10-10 14:29

现在想利用多线程读取一个文件夹中的多个xml文件，但是现在每个线程都把所有文件全部读一遍，我希望的是一个线程读过的文件，其他线程就不去读了，请问我的代码错在什么地方？本人新手，多谢！ps：我也试过

现在想利用多线程读取一个文件夹中的多个xml文件，但是现在每个线程都把所有文件全部读一遍，我希望的是一个线程读过的文件，其他线程就不去读了，请问我的代码错在什么地方？本人新手，多谢！
ps：我也试过每读一个文件就把它从列表里删除，还是不行。。

package comparison;



import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.UnsupportedEncodingException;

import java.util.ArrayList;

import java.util.List;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.JDOMException;

import org.jdom2.input.SAXBuilder;



public class CompareTest {

	public static void main(String args[]){

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

//		List list = read.readXML();

//		for(String s:list){

//			System.out.println(s);

//		}

	}

}



class read implements Runnable{

	@Override

	public void run() {

		File f = new File("d:"+File.separator+"comparetest");

		File[] filePaths = f.listFiles();

		List filePathsList = new ArrayList<>();

		for(File s:filePaths){

			filePathsList.add(s);

		}

		//解析xml

		SAXBuilder builder = new SAXBuilder();

		List xmlList = new ArrayList<>();

			for(int i=0;i
				synchronized(this){

					try {

						Thread.sleep(300);

					} catch (InterruptedException e2) {

						// TODO Auto-generated catch block

						e2.printStackTrace();

					}

					try {

						InputStream is = new FileInputStream(filePathsList.get(i));

						System.out.println("当前使用的线程是："+Thread.currentThread().getName()+",正在读文件:"+filePathsList.get(i)+",列表当前长度:"+filePathsList.size());

						Document doc = builder.build(is);

						Element root = doc.getRootElement();

						List list = root.getChildren();

						for(Element e:list){

							xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

						}

						xmlList.add("--------------------------");

					} catch (JDOMException | IOException e1) {

						// TODO Auto-generated catch block

						e1.printStackTrace();

					}

				}

			}

	}

	

//	public synchronized List readXML(){

//		

////			}

//		return xmlList;

//	}

}

10 个解决方案

#1

new Thread(read, "线程1").start();
        new Thread(read, "线程2").start();
        new Thread(read, "线程3").start();
        new Thread(read, "线程4").start();
        new Thread(read, "线程5").start();
这几个线程执行顺序我们是无法控制的，线程并发也是无法避免的。要实现你的功能那就只有一个办法让这5个线程之间有一个共识，就是让他们都知道除他之外的线程是否已经对某个文件进行了读取操作，如果已读取就不再读了。这就要用到线程之间的通信来完在。这里最好的办法就是定义一个全局变量，当一个线程一开始读取文件就把这个文件名信息存入这个全局变量中，别的线程读取时来判断一下那文件是否己经存到了全局变量中，如果已存在就不在讯取这个文件了。大体思路是这样的。所以你这个代码就得改一下在main中建一个全局变量LIST，然后把这个LIST传进这5个线程中来达到效果，当然也可以把list设成static这个好做一些。需要注意的是在每个线程中需要给这个全局的list加上线程锁，当任意一个线程对list进行操作时，让其他线程都处理等待状态。

#2

可以用共享缓存和锁的方法解决

#3

引用 1 楼 bichir 的回复:

new Thread(read, "线程1").start();
        new Thread(read, "线程2").start();
        new Thread(read, "线程3").start();
        new Thread(read, "线程4").start();
        new Thread(read, "线程5").start();
这几个线程执行顺序我们是无法控制的，线程并发也是无法避免的。要实现你的功能那就只有一个办法让这5个线程之间有一个共识，就是让他们都知道除他之外的线程是否已经对某个文件进行了读取操作，如果已读取就不再读了。这就要用到线程之间的通信来完在。这里最好的办法就是定义一个全局变量，当一个线程一开始读取文件就把这个文件名信息存入这个全局变量中，别的线程读取时来判断一下那文件是否己经存到了全局变量中，如果已存在就不在讯取这个文件了。大体思路是这样的。所以你这个代码就得改一下在main中建一个全局变量LIST，然后把这个LIST传进这5个线程中来达到效果，当然也可以把list设成static这个好做一些。需要注意的是在每个线程中需要给这个全局的list加上线程锁，当任意一个线程对list进行操作时，让其他线程都处理等待状态。

感谢你的提示，现在问题基本解决了，只要把文件名称的list写在全局里就行了，不能卸载run方法里，另外我在run方法里加了synchronized就可以实现线程锁了吧？

#4

先把文件夹下的文件分组，然后用传递参数的方式传给每个线程，这样每个线程就只解析自己的xml文件

#5

我也觉得还是先分组最直接，然后线程处理传给自己的那组文件就行了。

如果不能使用全局变量或者事先分组的情况下，你得找个另外的方式来同步线程之间的信息，比如数据库或者数据文件。

#6

这是在你代码基础上进行最小改动的结果，你看看

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import java.util.ArrayList;

import java.util.List;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.input.SAXBuilder;



public class CompareTest {

	public static void main(String args[]) {

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

	}

}



class read implements Runnable {

	List filePathsList = new ArrayList();

	int index = 0;



	public read() {

		File f = new File("d:" + File.separator + "tmp");

		getFileList(f);

	}



	private void getFileList(File f) {



		File[] filePaths = f.listFiles();

		for (File s : filePaths) {

			if (s.isDirectory()) {

				getFileList(s);

			} else {

				if (s.isFile() && -1 != s.getName().lastIndexOf(".xml")) {

					filePathsList.add(s);

				}

			}

		}

	}



	@Override

	public void run() {

		File file = null;

		while (index < filePathsList.size()) {

			synchronized (this) {

				file = filePathsList.get(index);

				if (file == null) {

					continue;

				}

				index++;

			}



			// 解析xml

			SAXBuilder builder = new SAXBuilder();

			List xmlList = new ArrayList();



			try {

				Thread.sleep(300);

			} catch (InterruptedException e2) {

				e2.printStackTrace();

			}

			try {

				InputStream is = new FileInputStream(file.getPath());

				System.out.println("当前使用的线程是："

						+ Thread.currentThread().getName() + ",正在读文件:"

						+ filePathsList.indexOf(file) + ",列表当前长度:"

						+ filePathsList.size());

				Document doc = builder.build(is);

				Element root = doc.getRootElement();

				List list = root.getChildren();

				for (Element e : list) {

					xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

				}

				xmlList.add("--------------------------");

			} catch (Exception e1) {

				e1.printStackTrace();

			}

		}

	}

}

#7

上面代码还有个小bug，如下是在你基础上进行最小改动的

public class CompareTest {

	public static void main(String args[]) {

		read read = new read();

		new Thread(read, "线程1").start();

		new Thread(read, "线程2").start();

		new Thread(read, "线程3").start();

		new Thread(read, "线程4").start();

		new Thread(read, "线程5").start();

	}

}



class read implements Runnable {

	List filePathsList = new ArrayList();

	int index = 0;



	public read() {

		File f = new File("d:" + File.separator + "tmp");

		getFileList(f);

	}



	private void getFileList(File f) {

		File[] filePaths = f.listFiles();

		for (File s : filePaths) {

			if (s.isDirectory()) {

				getFileList(s);

			} else {

				if (-1 != s.getName().lastIndexOf(".xml")) {

					filePathsList.add(s);

				}

			}

		}

	}



	@Override

	public void run() {

		File file = null;

		while (index < filePathsList.size()) {

			synchronized (this) {

				if (index >= filePathsList.size()) {

					continue;

				}

				file = filePathsList.get(index);

				index++;

			}

			// 解析xml

			SAXBuilder builder = new SAXBuilder();

			List xmlList = new ArrayList();



			try {

				Thread.sleep(300);

			} catch (InterruptedException e2) {

				// TODO Auto-generated catch block

				e2.printStackTrace();

			}

			try {

				InputStream is = new FileInputStream(file.getPath());

				System.out.println("当前使用的线程是："

						+ Thread.currentThread().getName() + ",正在读文件:"

						+ filePathsList.indexOf(file) + ",列表当前长度:"

						+ filePathsList.size());

				Document doc = builder.build(is);

				Element root = doc.getRootElement();

				List list = root.getChildren();

				for (Element e : list) {

					xmlList.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

				}

				xmlList.add("--------------------------");

			} catch (Exception e1) {

				// TODO Auto-generated catch block

				e1.printStackTrace();

			}

		}

	}

}

#8

import java.io.File;

import java.util.List;

import java.util.Queue;

import java.util.concurrent.BlockingQueue;

import java.util.concurrent.ConcurrentLinkedQueue;

import java.util.concurrent.LinkedBlockingQueue;



import org.jdom2.Document;

import org.jdom2.Element;

import org.jdom2.input.SAXBuilder;





public class Test_15 {



	public static final int THREAD_POOL_SIZE = 5;

	private final File POISON = new File("");

	private final BlockingQueue files = new LinkedBlockingQueue(1000);

	private final ConcurrentLinkedQueue infos = new ConcurrentLinkedQueue();

	private Thread[] pool = null;

	private volatile boolean running = false;

	

	public Test_15() {

		this(THREAD_POOL_SIZE);

	}

	

	public Test_15(int poolSize) {

		pool = new Thread[poolSize];

		FileWorker worker = new FileWorker();

		for(int i=0;i
			pool[i] = new Thread(worker,"线程"+(i+1));

			pool[i].start();

		}

		running = true;

	}

	

	private class FileWorker implements Runnable {

		@Override

		public void run() {

			File file = null;

			try {

				while((file=files.take()) != POISON){

					try {

						doWork(file);

					} catch (Exception e) {

						onException(e,file);

					}

				}

				files.put(POISON);

			} catch (InterruptedException e) {

			}

		}



		private void onException(Exception e, File file) {

			e.printStackTrace();

		}



		private void doWork(File file) {

			// 解析XML

            SAXBuilder builder = new SAXBuilder();

            try {

                System.out.println("当前使用的线程是："

                        + Thread.currentThread().getName() + ",正在读文件:"

                        + file.getName() + ",列表当前长度:"

                        + files.size());

                Document doc = builder.build(file);

                Element root = doc.getRootElement();

                List list = root.getChildren();

                for (Element e : list) {

                	infos.add(e.getChildTextTrim("ERROR_FEEDBACK_ID"));

                }

            } catch (Exception e) {

                e.printStackTrace();

            }

		}

	}

	

	public void addFile(File file) throws InterruptedException{

		files.put(file);

	}

	

	public void addFilesIgnoreInterrupted(File[] files) {

		for(File file : files){

			try {

				this.files.put(file);

			} catch (InterruptedException e) {

			}

		}

	}

	

	public void shutdown(){

		try {

			if(running){

				running = false;

				files.put(POISON);

			}

		} catch (InterruptedException e) {

		}

	}

	

	public void waiting(){

		if(running || !files.contains(POISON)){

			throw new IllegalStateException("You must call shutdown() function before.");

		}

		for(Thread t : pool){

			try {

				t.join();

			} catch (InterruptedException e) {

			}

		}

	}

	

	public Queue getInfos(){

		return infos;

	}

	

	public static void main(String[] args) {

		Test_15 instance = new Test_15();

		File folder = new File("d:\\comparetest");

		instance.addFilesIgnoreInterrupted(folder.listFiles());

		instance.shutdown();

		instance.waiting();

		for(String info : instance.getInfos()){

			System.out.println(info);

		}

	}



}

#9

一个问题，就是为啥要使用多线程，这个文件读写不是多线程有意义么

#10

推荐阅读

java
Spring Data JdbcTemplate 入门指南

本文将介绍如何使用 Spring JdbcTemplate 进行数据库操作，包括查询和插入数据。我们将通过一个学生表的示例来演示具体步骤。 ... [详细]

蜡笔小新 2024-11-14 10:33:29
java
Android Studio SQLite 数据库增删改查简单（代码参考）

一个建表一个执行crud操作建表代码importandroid.content.Context;importandroid.database.sqlite.SQLiteDat ... [详细]

蜡笔小新 2024-11-14 11:01:49
hook
Spring – Bean Life Cycle

Spring – Bean Life Cycle ... [详细]

蜡笔小新 2024-11-13 13:24:40
select
使用Tkinter构建51Ape无损音乐爬虫UI

本文介绍了如何使用Python的内置模块Tkinter来构建一个简单的用户界面，用于爬取51Ape网站上的无损音乐百度云链接。虽然Tkinter入门相对简单，但在实际开发过程中由于文档不足可能会带来一些不便。 ... [详细]

蜡笔小新 2024-11-15 10:31:11
text
使用Python爬取妙笔阁小说信息并保存为TXT和CSV格式

本文介绍了如何使用Python爬取妙笔阁小说网仙侠系列中所有小说的信息，并将其保存为TXT和CSV格式。主要内容包括如何构造请求头以避免被网站封禁，以及如何利用XPath解析HTML并提取所需信息。 ... [详细]

蜡笔小新 2024-11-14 19:54:58
java
普通树(每个节点可以有任意数量的子节点)级序遍历

普通树(每个节点可以有任意数量的子节点)级序遍历 ... [详细]

蜡笔小新 2024-11-14 18:53:26
php
iOS 不定参数详解

iOS 不定参数详解 ... [详细]

蜡笔小新 2024-11-14 17:12:05
select
包含phppdoerrorcode的词条

包含phppdoerrorcode的词条 ... [详细]

蜡笔小新 2024-11-14 12:06:14
eval
机器学习算法：SVM（支持向量机）

SVM算法（SupportVectorMachine，支持向量机）的核心思想有2点：1、如果数据线性可分，那么基于最大间隔的方式来确定超平面，以确保全局最优， ... [详细]

蜡笔小新 2024-11-14 04:33:58
java
Python基础：使用NLTK和Python构建机器学习应用

本文节选自《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书的第1章第1.2节，作者Nitin Hardeniya。本文将带领读者快速了解Python的基础知识，为后续的机器学习应用打下坚实的基础。 ... [详细]

蜡笔小新 2024-11-13 21:23:34
java
HDFS API

Hadoop的文件操作位于包org.apache.hadoop.fs里面，能够进行新建、删除、修改等操作。比较重要的几个类：(1)Configurati ... [详细]

蜡笔小新 2024-11-13 17:31:50
python
Python 数据类型入门指南

本文介绍了 Python 中的基本数据类型，包括不可变数据类型（数字、字符串、元组）和可变数据类型（列表、字典、集合），并详细解释了每种数据类型的使用方法和常见操作。 ... [详细]

蜡笔小新 2024-11-15 09:59:00
java
JavaScript中的事件处理机制

事件是程序各部分之间的一种通信方式，也是异步编程的一种实现形式。本文将详细介绍EventTarget接口及其相关方法，以及如何使用监听函数处理事件。 ... [详细]

蜡笔小新 2024-11-15 04:27:01
select
自然语言处理(NLP)——LDA模型:对电商购物评论进行情感分析

目录一、2020数学建模美赛C题简介需求评价内容提供数据二、解题思路三、LDA简介四、代码实现1.数据预处理1.1剔除无用信息1.1.1剔除掉不需要的列1.1.2找出无效评论并剔除 ... [详细]

蜡笔小新 2024-11-14 18:21:21
java
Java反射机制详解及应用场景

本文详细介绍了Java反射机制的基本概念、获取Class对象的方法、反射的主要功能及其在实际开发中的应用。通过具体示例，帮助读者更好地理解和使用Java反射。 ... [详细]

蜡笔小新 2024-11-13 16:08:08

手机用户2502892757

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章