热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

mongodb做为数据库不稳定,请问怎么怎么分析原因?

问题描述:pyspider运行一段时间(一天到三天不等)后调度器自动退出.重启pyspider能继续运行运行环境:li

问题描述:pyspider运行一段时间(一天到三天不等)后调度器自动退出.重启pyspider能继续运行
运行环境:linux mint 17.2 通过pip安装的pyspider.使用mongodb做为数据库.
启动配置



1
2
3
4
5
6
7
8
9
10
{

  "taskdb": "mongodb+taskdb://localhost/taskdb",

  "projectdb": "mongodb+projectdb://localhost/projectdb",

  "resultdb": "mongodb+resultdb://localhost/resultdb",

  "webui": {

    "username": "admin",

    "password": "123456",

    "need-auth": true

  }

}

终端报错

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
[E 160522 09:37:38 scheduler:499] localhost:27017: [Errno -2] Name or service not known

    Traceback (most recent call last):

      File "/usr/local/lib/python2.7/dist-packages/pyspider/scheduler/scheduler.py", line 494, in run

        self.run_once()

      File "/usr/local/lib/python2.7/dist-packages/pyspider/scheduler/scheduler.py", line 1061, in run_once

        super(ThreadBaseScheduler, self).run_once()

      File "/usr/local/lib/python2.7/dist-packages/pyspider/scheduler/scheduler.py", line 478, in run_once

        self._update_projects()

      File "/usr/local/lib/python2.7/dist-packages/pyspider/scheduler/scheduler.py", line 93, in _update_projects

        for project in self.projectdb.check_update(self._last_update_project):

      File "/usr/local/lib/python2.7/dist-packages/pyspider/database/mongodb/projectdb.py", line 62, in check_update

        for project in self.get_all(fields=('updatetime', 'name')):

      File "/usr/local/lib/python2.7/dist-packages/pyspider/database/mongodb/projectdb.py", line 50, in get_all

        for each in self.collection.find({}, fields):

      File "/usr/local/lib/python2.7/dist-packages/pymongo/cursor.py", line 1090, in next

        if len(self.__data) or self._refresh():

      File "/usr/local/lib/python2.7/dist-packages/pymongo/cursor.py", line 1012, in _refresh

        self.__read_concern))

      File "/usr/local/lib/python2.7/dist-packages/pymongo/cursor.py", line 850, in __send_message

        **kwargs)

      File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 798, in _send_message_with_response

        exhaust)

      File "/usr/local/lib/python2.7/dist-packages/pymongo/mongo_client.py", line 809, in _reset_on_error

        return func(*args, **kwargs)

      File "/usr/local/lib/python2.7/dist-packages/pymongo/server.py", line 88, in send_message_with_response

        with self.get_socket(all_credentials, exhaust) as sock_info:

      File "/usr/lib/python2.7/contextlib.py", line 17, in __enter__

        return self.gen.next()

      File "/usr/local/lib/python2.7/dist-packages/pymongo/server.py", line 152, in get_socket

        with self.pool.get_socket(all_credentials, checkout) as sock_info:

      File "/usr/lib/python2.7/contextlib.py", line 17, in __enter__

        return self.gen.next()

      File "/usr/local/lib/python2.7/dist-packages/pymongo/pool.py", line 539, in get_socket

        sock_info = self._get_socket_no_auth()

      File "/usr/local/lib/python2.7/dist-packages/pymongo/pool.py", line 573, in _get_socket_no_auth

        sock_info, from_pool = self.connect(), False

      File "/usr/local/lib/python2.7/dist-packages/pymongo/pool.py", line 512, in connect

        _raise_connection_failure(self.address, error)

      File "/usr/local/lib/python2.7/dist-packages/pymongo/pool.py", line 65, in _raise_connection_failure

        raise AutoReconnect(msg)

    AutoReconnect: localhost:27017: [Errno -2] Name or service not known

[I 160522 09:37:38 scheduler:505] scheduler exiting...



   



推荐阅读
  • 本文深入探讨了Java注解的基本概念及其在现代Java开发中的应用。文章不仅介绍了如何创建和使用自定义注解,还详细讲解了如何利用反射机制解析注解,以及Java内建注解的使用场景。 ... [详细]
  • 本文详细探讨了在Windows Server 2003环境下遇到MySQL连接失败(错误代码10061)的解决方案,包括通过卸载特定的Windows更新和调整系统注册表设置的方法。 ... [详细]
  • 本文介绍了一个简单的Python函数,该函数能够接收一个日期作为输入,并返回这一天是星期几。此功能通过使用Python的datetime模块实现。 ... [详细]
  • 学习目的:1.了解android线程的使用2.了解主线程与子线程区别3.解析异步处理机制主线程与子线程:所谓主线程,在Windows窗体应用程序中一般指UI线程,这个是程序启动的时 ... [详细]
  • mysql 分库分表策略_【数据库】分库分表策略
    关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多, ... [详细]
  • Flutter 高德地图插件使用指南
    本文档详细介绍了如何在Flutter项目中集成和使用高德地图插件,包括安装、配置及基本使用方法。 ... [详细]
  • PHP面试题精选及答案解析
    本文精选了新浪PHP笔试题及最新的PHP面试题,并提供了详细的答案解析,帮助求职者更好地准备PHP相关的面试。 ... [详细]
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
  • 本文探讨了在Java应用中,由于对象间循环引用导致重写toString方法时出现StackOverflowError的具体情况,并提供了有效的解决方案。 ... [详细]
  • 本文探讨了在Java应用中实现线程池优雅关闭的两种方法,包括使用ShutdownHook注册钩子函数以及通过SignalHandler处理信号量。每种方法都提供了具体的代码示例,并讨论了可能遇到的问题及解决方案。 ... [详细]
  • Flutter入门指南:实现自动关闭的对话框与提示
    本文为Flutter系列教程的一部分,专注于讲解如何在Flutter应用中实现自动关闭的对话框和提示。通过具体的代码示例,帮助开发者掌握SnackBar、BottomSheet和Dialog的使用方法。 ... [详细]
  • 本文详细介绍了MySQL中关于员工数据库的基础知识、操作技巧以及常见问题的解决方案,适合初学者和有一定基础的用户阅读。 ... [详细]
  • 手把手教你构建简易JSON解析器
    本文将带你深入了解JSON解析器的构建过程,通过实践掌握JSON解析的基本原理。适合所有对数据解析感兴趣的开发者。 ... [详细]
  • 本文详细介绍了如何在Android游戏中实现360°平滑触屏摇杆,包括摇杆的基本设计原理和具体实现步骤。 ... [详细]
  • 本文将详细介绍如何使用ViewPager实现多页面滑动切换,并探讨如何去掉其默认的左右切换动画效果。ViewPager是Android开发中常用的组件之一,用于实现屏幕间的内容切换。 ... [详细]
author-avatar
王海937_264
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有