文本识别标题后分割_php版

• 因为项目有需求&＃xff0c;整本小说上传之后自动识别章节目录&＃xff0c;然后库存入库。所以就思考如何实际操作。

一、思路

• 1&＃xff0c;文件上传&＃xff0c;这个基础了。另外&＃xff0c;文件上传的大小&＃xff0c;在php.ini可以设置&＃xff0c;但是最后决定上传的大小的&＃xff0c;是postmax的设置。

• 2&＃xff0c;获取文件&＃xff0c;然后将其读取&＃xff0c;若文件太大&＃xff0c;就将其分割

• 3&＃xff0c;正则识别章节标题内容&＃xff0c;然后记录下来

• 4&＃xff0c;将文件按行读取匹配章节标题&＃xff0c;记录行数

• 5&＃xff0c;按章节标题行数-1&＃xff0c;分割文件

• 6&＃xff0c;记录&＃xff0c;入库&＃xff0c;这样就能完整的得到整本小说的目录&＃xff0c;和章节内容

二、文件上传

• 因为框架自带的文件上传功能&＃xff0c;他会把上传的文件按日期随意放置&＃xff0c;这样不符合个人严谨的态度。所以就手写了个原生文件上传功能。

/*** 原生上传文件* 根据上传的文件名判断文件在该路径是否已经上传*/public static function phpUpload($type,$path){//防止乱码header("Content-type: text/html; charset&＃61;utf-8");$file&＃61;$type;if ($_FILES[$file][&＃39;error&＃39;]>0){ //file 是post上字段名return "Error:".$_FILES[$file][&＃39;error&＃39;];}//上传文件信息$data&＃61;[&＃39;fileName&＃39;&＃61;>$fileNmae&＃61;$_FILES[$file][&＃39;name&＃39;],"type"&＃61;>$type&＃61;$_FILES[$file][&＃39;type&＃39;],&＃39;size&＃39;&＃61;>$size&＃61;($_FILES[$file][&＃39;size&＃39;]/1024)."kb",&＃39;tmp_name&＃39;&＃61;>$tmp_name&＃61;$_FILES[$file][&＃39;tmp_name&＃39;],];$filepath&＃61;$path.DS.$fileNmae; //文件路径&＃xff0c;包含文件名$fileNmae&＃61;iconv(&＃39;utf-8&＃39;,&＃39;gb2312&＃39;,$fileNmae);if (self::fileIsHas($filepath))return null; //判断文件是否已经上传if (!self::fileIsHas($path)) self::createdir($path); //没有该文件夹则创建move_uploaded_file($tmp_name,$filepath);return $filepath;}


• 还有一个filesHsa()函数&＃xff0c;这个是判断文件是否存在的方法
• 这方法没有判断文件上传类型、大小&＃xff0c;可以根据个人情况添加

三、文件分割

• 这里当初思考了两个方法&＃xff0c;一个是将文件按规定大小分割&＃xff0c;然后缓存起来&＃xff0c;再每个读取&＃xff0c;再合并。一个是&＃xff0c;将文件分割&＃xff0c;进行下面步骤&＃xff0c;然后再读取。本文取用后者
• 后来&＃xff0c;发现PHP可以多线程&＃xff0c;具体多线程可以看PHP多线程

/*** 分段器* 默认每2m分段一次* filePath 文件路径* callback 回调函数&＃xff0c;分割完文件&＃xff0c;可以在回调函数中进行接下来步骤处理* blockSize 分割文件大小&＃xff0c;默认是2m*/public static function sectionalizer($filePath,$callback,$blockSize&＃61;10485760 / 5){if (!is_callable($callback))return false;$size&＃61;filesize($filePath); //整体大小while ($size>0){$residue&＃61;bcsub($size,$blockSize,0);$callbackSize&＃61;$residue>0?$residue:$size;$data&＃61;$callback($callbackSize); //回调函数&＃xff0c;分段期间做的事$size&＃61;$residue;}return $data;}


• 这个一个文件大小分割器&＃xff0c;可以根据规定大小将文件分割&＃xff0c;然后在回调函数中进行接下来步骤

四、正则识别章节标题

/*** 获取整字符内容* &＃64;param $path*/public static function pregChapters(string $path,string $pattern,int $size){$file&＃61;fopen($path,&＃39;rb&＃39;)or die("unable open the file");$content&＃61;fread($file,$size);fclose($file);//$pattern&＃61;"/chapter[\s][A-Z]/i";preg_match_all($pattern,$content,$result,PREG_PATTERN_ORDER);return $result;}


• 该方法可以根据正则获取文本内容
• php的正则规则有些区别&＃xff0c;具体可以看PHP正则
• 可以根据上个分割器&＃xff0c;将文本倒入分割

五、获取章节标题行数

• 因为按章节标题分割需要获取具体章节标题行号

/*** 返回章节对应的行数* &＃64;param $path* &＃64;param array $chapterName* &＃64;return array*/public static function ChaptersLine($path,array $chapterName){$fp&＃61;fopen($path,"rb");$lines&＃61;[]; //每一行$num&＃61;[]; //每一章节对应的行数while (!feof($fp)){$lines[]&＃61;fgets($fp);}$i&＃61;0; //章节下标$chapterName&＃61;array_flip($chapterName); //翻转数组&＃xff0c;redis思想foreach ($lines as $k&＃61;> $line){if (empty($line))continue;if (isset($chapterName[trim($line)])){ //存在该下标&＃xff0c;存在$i&＃43;&＃43;;$num[]&＃61;[&＃39;chapter_name&＃39;&＃61;>$lines[$k],&＃39;line_num&＃39;&＃61;>$k,&＃39;chapter_num&＃39;&＃61;>$i];}}fclose($fp);return $num;}

• 当初是想把文本每一行&＃xff0c;和章节标题数组进行遍历&＃xff0c;但是这时间复杂度就为O(n)^2了
• 所以就运用了redis、数据格式的思想
  • $chapterName[ ] 、array_flip 翻转过来
  • 在把文本每一行当作$chapterName[ ]数组的健&＃xff0c;只要判断是否存在即可&＃xff0c;时间复杂度为O(n)

六、根据章节行号分割文件

/*** 分割章节* &＃64;param $path* &＃64;param $chapterNum* &＃64;param $novels_id* &＃64;throws \think\exception\DbException*/public static function splitByChapter($path,$chapterNum,$novels_id){$chapterPath&＃61;dirname($path).DS;$novels&＃61;Novels::get($novels_id);$chapterData&＃61;[&＃39;novels_id&＃39;&＃61;>$novels_id,&＃39;title&＃39;&＃61;>$novels->title,&＃39;created_at&＃39;&＃61;>time(),];$i&＃61;0;$word_count&＃61;0;foreach ($chapterNum as $k &＃61;>$v){$endLine&＃61;$v[&＃39;line_num&＃39;]-1;$content&＃61;self::getLine($path,$i,$endLine); //获取行&＃xff0c;内容self::ChapterTxt($chapterPath.$v[&＃39;chapter_num&＃39;].".txt",$content); //生成章节文本$chapterData[&＃39;word_count&＃39;]&＃61;help::wordCount($content); //字数统计$chapterData[&＃39;num&＃39;]&＃61;$v[&＃39;chapter_num&＃39;];$chapterData[&＃39;path&＃39;]&＃61;NOVELS_PATH_MYSQL.$novels->title.DS.$v[&＃39;chapter_num&＃39;].".txt"; //章节目录路径&＃xff0c;重组$chapter&＃61;Chapter::create($chapterData); //入章节表$chapterManagerData&＃61;[&＃39;chapter_num&＃39;&＃61;>$v[&＃39;chapter_num&＃39;],&＃39;title&＃39;&＃61;>$chapterData[&＃39;title&＃39;],&＃39;words_num&＃39;&＃61;>$chapterData[&＃39;word_count&＃39;],&＃39;createtime&＃39;&＃61;>time(),];ChapterManage::create($chapterManagerData); //后台章节列表页HandleRedis::getInstance()->chapterCache($novels_id.":".$chapter->getLastInsID(),json_encode($chapterData)); //种缓存$word_count&＃43;&＃61;$chapterData[&＃39;word_count&＃39;];$i&＃61;$endLine;}return $word_count;}

• 该方法是遍历章节数组&＃xff0c;根据章节行数-1&＃xff0c;分割文本&＃xff0c;生成txt文件&＃xff0c;然后做记录

/*** 根据行数分割文件* &＃64;param $fileName* &＃64;param $start* &＃64;param $limit* &＃64;return string*/public static function getLine($fileName,$start,$limit){$f&＃61; new \SplFileObject($fileName,&＃39;r&＃39;);$f->seek($start); //文件指针指向行数$ret&＃61;&＃39;&＃39;;for ($i&＃61;0;$i<$limit;$i&＃43;&＃43;){$ret.&＃61;$f->current(); //内容$f->next(); //下一行}return $ret;}


• 该方法是根据文本行数&＃xff0c;将文本进行分割&＃xff0c;返回分割文本内容

/*** 生成章节文件* &＃64;param $chapterPath* &＃64;param $content* &＃64;return false|mixed*/public static function ChapterTxt($chapterPath,$content){if (help::fileIsHas($chapterPath))return false;$fp&＃61;fopen($chapterPath,&＃39;wb&＃39;)or die(__("can&＃39;t open this file :".$chapterPath));fwrite($fp,$content);fclose($fp);return $chapterPath;}


• 该方法是根据文本内容生成txt文件导出&＃xff0c;返回路径
• txt文件导出&＃xff0c;其实就是写入文件&＃xff0c;若文件不存在则会新建
• fopen中 wb 的b &＃xff0c;意思是window&＃xff0c;和linux写入一致格式&＃xff0c;不然会window文本放到linux系统会有文本内容win格式问题

七、入库、做记录

整体调用总函数


/*** 上传整本小说&＃xff0c;分割章节&＃xff0c;然后更新库* &＃64;param string $path* &＃64;param array $novels_id* &＃64;param string $patten* &＃64;throws \think\exception\DbException*/public static function wholeNovelsChapters(string $path,int $novels_id,string $patten&＃61;"/chapter[\s][A-Z]&＃43;\./i"){/*$dir&＃61;novels_opeate::sectionalizer($path,function($size)use($path,$patten,$dir){$dir[]&＃61;novels_opeate::pregChapters($path,$patten,$size); //分段将目录导入dir数组内return $dir;});*/$dir&＃61;novels_opeate::pregChapters($path,$patten,filesize($path))[0]; //获取章节目录$chaptersNum&＃61;novels_opeate::ChaptersLine($path,$dir); //获取章节目录所在的行数$word_count&＃61;novels_opeate::splitByChapter($path,$chaptersNum,$novels_id); //分割整本书&＃xff0c;生成章节txt文件,入库$chaptersNum&＃61;array_sum($chaptersNum);novels_model::where(&＃39;id&＃39;,$novels_id) //更新小说表->update([&＃39;path&＃39;&＃61;>dirname($path).DS,&＃39;chapter_count&＃39;&＃61;>$chaptersNum, //小说章节总数&＃39;word_count&＃39;&＃61;>$word_count,]);unlink($path); //删除原本}

• 当初实现时候思维比较混乱&＃xff0c;时间仓促没有使用分割器&＃xff0c;后期可以优化
• 其实用多线程的话&＃xff0c;性能会大幅度提升&＃xff0c;而且更加简便&＃xff0c;后期有兴趣可以试试
• 本文有个弊端&＃xff0c;就是文本标题是正则选取&＃xff0c;如果上传的文本章节标题和正则不相符&＃xff0c;则会失去作用&＃xff0c;所以需要提供具体章节标题
• 本文使用的正则规则&＃xff0c;“/chapter[\s][A-Z]&＃43;./i”&＃xff0c;可以识别CHAPTER II.