MongoDB与Redis性能对比及Python测试脚本

在近期的一个项目中，我们的目标是在线平台上实现大规模查询的高效响应。预计项目初期的数据量将达到2-3亿条记录，数据库的并发访问量约为每秒1500次，预计一年后并发量将翻倍至每秒3000次。在选择数据库时，我们对比了Redis和MongoDB。虽然个人更倾向于Redis，因其出色的并发查询能力和比Memcached更快的速度，但考虑到持久化和集群扩展性的需求，最终选择了MongoDB。

MongoDB的主要优势在于其强大的横向扩展能力和GridFS支持下的Map/Reduce功能，这使得它非常适合处理大规模数据。项目完成后，预计在高峰期每秒的并发查询量将在1500-3000次之间。

以下是我们在MongoDB上进行性能测试的Python代码，包括写入、查询和删除操作。由于公司主要使用CentOS系统，而我本人偏好FreeBSD，因此在两种操作系统上均进行了测试。

### 写入测试
```python
#!/usr/bin/env python
from pymongo import MongoClient
import time, datetime

def timer(func):
def wrapper(*args, **kwargs):
start = time.time()
result = func(*args, **kwargs)
print(f'{func.__name__} run: {time.time() - start:.2f}s')
return result
return wrapper

@timer
def insert_data(num):
client = MongoClient('127.0.0.1', 27017)
db = client['hawaii']
posts = db.userinfo
for x in range(num):
post = {
'_id': str(x),
'author': f'{x}Mike',
'text': 'My first blog post!',
'tags': ['mongodb', 'python', 'pymongo'],
'date': datetime.datetime.utcnow()
}
posts.insert_one(post)

if __name__ == '__main__':
num = 5000000
insert_data(num)
```

### 查询测试
```python
#!/usr/bin/env python
from pymongo import MongoClient
import time, datetime, random

def timer(func):
def wrapper(*args, **kwargs):
start = time.time()
result = func(*args, **kwargs)
print(f'{func.__name__} run: {time.time() - start:.2f}s')
return result
return wrapper

@timer
def query_data(num):
client = MongoClient('127.0.0.1', 27017)
db = client['hawaii']
posts = db.userinfo
for _ in range(num):
rand = random.randint(1, 5000000)
posts.find_one({'author': f'{rand}Mike'})

if __name__ == '__main__':
num = 1000000
query_data(num)
```

### 删除测试
```python
#!/usr/bin/env python
from pymongo import MongoClient
import time, datetime

def timer(func):
def wrapper(*args, **kwargs):
start = time.time()
result = func(*args, **kwargs)
print(f'{func.__name__} run: {time.time() - start:.2f}s')
return result
return wrapper

@timer
def delete_data():
client = MongoClient('127.0.0.1', 27017)
db = client['hawaii']
posts = db.userinfo
print(f'Count before deletion: {posts.count_documents({})}')
posts.delete_many({})
print(f'Count after deletion: {posts.count_documents({})}')

if __name__ == '__main__':
delete_data()
```

### 测试结果
- 插入500万条记录
- 随机查询100万次
- 删除500万条记录

#### CPU占用情况
- **CentOS**:
- 插入: 394秒
- 查询: 28秒
- 删除: 224秒
- CPU占用: 25-30%
- **FreeBSD**:
- 插入: 431秒
- 查询: 18秒
- 删除: 278秒
- CPU占用: 20-22%

CentOS在插入和删除操作上表现更好，而FreeBSD在查询速度上有优势。尽管如此，由于项目主要在CentOS上运行，最终选择了CentOS。

在测试过程中，我们使用`mongostat`监控并发性能，结果显示两个系统的并发能力相当，每秒可处理15000-25000次请求。然而，在处理大数据量（如5000万条记录）时，插入性能显著下降，CentOS耗时约2小时（6300秒），相比500万条记录的插入速度慢了约50%。不过，查询性能仍然保持稳定。

需要注意的是，测试环境的硬件配置不同，CentOS使用的是16GB内存、双8核Xeon处理器的Dell服务器，而FreeBSD则是一台8GB内存、单4核Xeon处理器的自组装1U服务器。在同等条件下，FreeBSD的表现可能会更好。

以上测试结果仅供参考。