利用FileCacheQueueScheduler后抓取结束进程却无法自动停止

使用wemgaic框架进行爬取页面数据时,利用FileCacheQueueScheduler进行的增量爬取，但是在爬取结束后（需要爬取的数据，都已经记录在urls.txt和cursor.txt两个文件下了），进程无法自动停止，而且还会漏掉一些数据，爬取不到，是因为爬取的数据不完全才导致进程没有停止的吗？还是别的什么原因
因为刚学爬虫，对这些很多都不懂，
希望各位大佬指点，谢谢