C#读取大文本出现System.OutOfMemoryException,两种解决方案

问题:读取一个444M的文本文件,出现内存溢出

方案1:利用FileStream读取byte,利用换行符次数为间隔区间,依次读取(边读边处理):

优缺点:速度快,不适合读取指定行(因为是用遍历的,所以读取指定行会比较慢)

解决思路:获取区间数组中最后一个换行符(\n的byte字节),以此为分界点,该换行符以后的数据,留给下一个区间来组装;

代码:

///

方案2:利用IEnumerable进行迭代获取

优缺点:几乎不怎么占内存,速度遍历的话速度比较慢

如果是只需要取其中几行的话可以考虑用这个,如果是要全部读取,那么不推荐,

同一个444M的文件,利用IEnumerable迭代完毕需要4分多钟,方案一也就13秒钟

(这里我是需要将数据变成字符串,依次进行处理,所以会比较慢,如果是文件的粘贴复制之类的,建议用BufferStream)

public string ReadFileLineText(string filePath)
{if (!File.Exists(filePath)){return null;}int limit &＃61; 5000;//每次读取5000行string text &＃61; null;Encoding encoding &＃61; GetEncoding(filePath); //GetEncoding方法参考方案1if (encoding is UTF8Encoding){encoding &＃61; new UTF8Encoding(false);}IEnumerable lines &＃61; File.ReadLines(filePath, encoding);int size &＃61; lines.Count();//遍历// IEnumerable tempLines;// IEnumerator iter;// for (int i &＃61; 0; i &＃61; size ? size % limit : limit;// tempLines &＃61; lines.Skip(i).Take(max);// iter &＃61; tempLines.GetEnumerator();// while (iter.MoveNext())// {// string dataStr &＃61; iter.Current;// //SetLog(dataStr);// }// }// }//取第994400后面的5000行数据(不包含994400行)lines &＃61; lines.Skip(994400).Take(limit);IEnumerator iter &＃61; lines.GetEnumerator();while (iter.MoveNext()){string dataStr &＃61; iter.Current;SetLog(dataStr);}return text;
}