本文将详细介绍如何利用 Python Elasticsearch DSL 库与 Elasticsearch 交互,涵盖从基础连接到复杂查询的各项技术。
### 建立连接
首先,需要安装并导入 elasticsearch 库,然后创建一个客户端实例来连接 Elasticsearch 集群:
import elasticsearch
client = elasticsearch.Elasticsearch([{'host': '10.44.99.102', 'port': 9200}])
# 或者
client = elasticsearch.Elasticsearch(['10.44.99.102:9200'])
### 执行查询
使用 search
方法可以执行基本查询,例如:
respOnse= client.search(index='bank', q='Holmes', size=1, from_=1)
respOnse= client.search(index='bank', q='39225 5686', size=1000, filter_path=['hits.hits._id', 'hits.hits._type'])
### 多索引查询
可以在单个请求中指定多个索引,支持字符串、列表或正则表达式:
respOnse= client.search(index=['bank', 'banner', 'country'])
respOnse= client.search(index=['apple*'])
### 使用 elasticsearch_dsl 进行查询
除了直接使用 elasticsearch 库外,还可以使用 elasticsearch_dsl 库来构建更复杂的查询:
from elasticsearch_dsl import Search
s = Search(using=client, index='situation-event').execute()
print(s.to_dict())
### 条件查询
可以通过 query
方法添加多个查询条件:
s = Search(using=client, index='situation-event').query('match', event_type='002')
s = s.query('match', event_title='aaa')
print(s.execute().to_dict())
### 多字段查询
使用 MultiMatch
可以同时在多个字段上执行查询:
from elasticsearch_dsl.query import MultiMatch
multi_match = MultiMatch(query='aaa', fields=['event_type', 'event_title'])
s = Search(using=client, index='situation-event').query(multi_match)
print(s.execute().to_dict())
### 使用 Q 对象构建查询
Q 对象提供了更灵活的方式来构建查询条件:
from elasticsearch_dsl import Q
q = Q('multi_match', query='aaa', fields=['event_type', 'event_title'])
s = Search(using=client, index='situation-event').query(q)
print(s.execute().to_dict())
### 组合查询
可以使用逻辑运算符(如 AND、OR、NOT)来组合多个查询条件:
q = Q('bool', must=[Q('match', event_type='002'), Q('match', event_title='aaa')])
s = Search(using=client, index='situation-event').query(q)
print(s.execute().to_dict())
### 范围查询
使用 range
方法可以执行基于范围的查询:
s = Search(using=client, index='situation-event').filter('range', update_time={'gte': 0, 'lt': time.time()}).query('match', event_type='003')
print(s.to_dict())
### 聚合查询
聚合操作允许对数据进行分组和统计分析:
s = Search(using=client, index='situation-event')
s.aggs.bucket('per_one', 'terms', field='event_type')
respOnse= s.execute()
print(response.to_dict())
### 排序和分页
可以使用 sort
方法对结果进行排序,并通过切片实现分页:
s = Search().sort('category', '-title', {'lines': {'order': 'asc', 'mode': 'avg'}})
s = s[10:20]
print(s.to_dict())
### 其他功能
除了上述功能,elasticsearch_dsl 还提供了许多其他方法来增强查询能力,例如设置扩展属性、控制返回字段等:
s = Search()
s = s.extra(explain=True)
s = s.params(search_type='count')
s = s.source(['title', 'body'])
s = s.source(False)
s = s.source(include=['title'], exclude=['user.*'])
s = s.source(None)
s = Search.from_dict({'query': {'match': {'title': 'python'}}})
s.update_from_dict({'query': {'match': {'title': 'python'}}, 'size': 42})