热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

pandas提取特定时间段数据

Pandas统计时间段数据这一段时间用python做数据统计,数据都存放在txt文件中这里我的数据长这样,总共24列17592719043682383089846010700003
Pandas统计时间段数据

这一段时间用python做数据统计,数据都存放在txt文件中

这里我的数据长这样,总共24列

17592719043682 3 83 0898 460107 0 0 0 0 3 4361 2017-05-19 01:09:12 2017-05-19 01:05:19 13 11 10466d3f609cb938dd153738103b0303 3 110.3645 20.0353 110.3665 20.0059 2017 05 19
17592719302995 3 83 0898 460106 0 0 0 0 3 5756 2017-05-19 02:08:13 2017-05-19 02:04:38 17 10 64469d36591de2366d4124291d411f02 3 110.3337 20.0652 110.3361 20.0364 2017 05 19
17592719330238 3 83 0898 460108 0 0 0 0 3 2828 2017-05-19 02:35:16 2017-05-19 02:33:07 9 7 6446a134591de8e2385848fd215f3602 3 110.3401 20.0081 110.3333 20.0222 2017 05 19
17592720943629 3 83 0898 460105 0 0 0 0 3 4854 2017-05-19 07:49:19 2017-05-19 07:47:21 14 11 64469c31591e3288b6b1ab452d31a102 3 110.2842 20.0071 110.3002 19.9818 2017 05 19
17592721794216 3 83 0898 460108 0 0 0 0 3 4478 2017-05-19 08:13:32 2017-05-19 08:10:58 12 12 10618ef5591e380f00007dbe49a914e0 3 110.3265 20.0297 110.3157 20.058 2017 05 19

这里我需要筛选2017年5月19日1点到3点之间的数据,主要用到第13列时间数据:
《pandas提取特定时间段数据》
我想要提取2017-05-19 01:00:00到2017-05-19 03:00:00之间的数据,在网上找了好多代码,都不是我想要的,最后通过不断的修改,写出了自己想要的代码,话不多说,直接上源码:

import datetime
import pandas as pd
# 首先定义自己数据所在的路径以及处理完数据后的输出路径
data_path = 'D:\\7.txt'
output_path1 = 'D:\\10月17日'
if __name__ == '__main__':
# pandas读取txt数据,这里我的原来的数据是没有表头的,所以header为None,low_memory通俗理解就是只需要程序猜测你的数据格式一次,下面的数据都按照第一次猜测的来(我理解大概就是这个意思,嘿嘿嘿)
msg = pd.read_table(data_path,low_memory=False,header=None)
# 将数据的列重新命名,我的数据共有24
msg.columns = ['1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20','21','22','23','24']
print('---------索引分界线-----------')
# 我将要处理的数据作为索引,这里要处理的时间数据在第13列,将第三列设置为标准时间格式
msg['13'] = pd.to_datetime(msg['13'])
msg = msg.set_index('13')
# print(msg)
# print("开始写入-----------")
# 设置为一个开始的时间日期,从5.19日零点开始
begin =datetime.datetime(2017,5,19,0,0,0)
# 结束时间为5.20零点(我是想将每个数据文件中对应日期的每一个小时的数据都提取出来)
end =begin + datetime.timedelta(hours=24)
# out = msg[(msg['index'] >= begin) & (msg['index'] <= end)]
# 循环的时候每次增加一个小时
delta = datetime.timedelta(hours=1)
# 开始循环啦(觉得循环真是个好东西,我之前一条一条输出的,被白眼嘲笑)
while begin < end:
a = begin
a = a.strftime("%Y-%m-%d %H:%M:%S")
print("开始写入"+a)
begin = begin + delta

begin1 = begin.strftime("%Y-%m-%d %H:%M:%S")
# 敲黑板,重点!!! 这里将每一小时间隔的数据提取出来,a/begin1都必须是字符串类型的,所以上边要用strftime转一下,最后保存
msg[a:begin1].to_csv(output_path1+ "\\"+ (begin1.replace(':','')) +".txt",encoding='utf-8-sig',sep='\t',index=True,header=None)

这个程序能直接跑的喔 只要把你对应的数据改好就行。

要修改对应的地方:输入输出路径,列索引,对应的时间

推荐阅读
  • 本文介绍了在Python3中如何使用选择文件对话框的格式打开和保存图片的方法。通过使用tkinter库中的filedialog模块的asksaveasfilename和askopenfilename函数,可以方便地选择要打开或保存的图片文件,并进行相关操作。具体的代码示例和操作步骤也被提供。 ... [详细]
  • 本文介绍了如何使用python从列表中删除所有的零,并将结果以列表形式输出,同时提供了示例格式。 ... [详细]
  • 超级简单加解密工具的方案和功能
    本文介绍了一个超级简单的加解密工具的方案和功能。该工具可以读取文件头,并根据特定长度进行加密,加密后将加密部分写入源文件。同时,该工具也支持解密操作。加密和解密过程是可逆的。本文还提到了一些相关的功能和使用方法,并给出了Python代码示例。 ... [详细]
  • 动量|收益率_基于MT策略的实战分析
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了基于MT策略的实战分析相关的知识,希望对你有一定的参考价值。基于MT策略的实战分析 ... [详细]
  • 我正在编写一个脚本,它将根据以下内容从基本HTML页面中提取数据:URL中的第一个参数在-90.0和90.0(含)之间浮动,第二个数字在- ... [详细]
  • 本文由编程笔记#小编为大家整理,主要介绍了logistic回归(线性和非线性)相关的知识,包括线性logistic回归的代码和数据集的分布情况。希望对你有一定的参考价值。 ... [详细]
  • 本文介绍了Python对Excel文件的读取方法,包括模块的安装和使用。通过安装xlrd、xlwt、xlutils、pyExcelerator等模块,可以实现对Excel文件的读取和处理。具体的读取方法包括打开excel文件、抓取所有sheet的名称、定位到指定的表单等。本文提供了两种定位表单的方式,并给出了相应的代码示例。 ... [详细]
  • 开发笔记:加密&json&StringIO模块&BytesIO模块
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识,希望对你有一定的参考价值。一、加密加密 ... [详细]
  • Python瓦片图下载、合并、绘图、标记的代码示例
    本文提供了Python瓦片图下载、合并、绘图、标记的代码示例,包括下载代码、多线程下载、图像处理等功能。通过参考geoserver,使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法,供读者参考使用。 ... [详细]
  • 本文介绍了在处理不规则数据时如何使用Python自动提取文本中的时间日期,包括使用dateutil.parser模块统一日期字符串格式和使用datefinder模块提取日期。同时,还介绍了一段使用正则表达式的代码,可以支持中文日期和一些特殊的时间识别,例如'2012年12月12日'、'3小时前'、'在2012/12/13哈哈'等。 ... [详细]
  • 树莓派语音控制的配置方法和步骤
    本文介绍了在树莓派上实现语音控制的配置方法和步骤。首先感谢博主Eoman的帮助,文章参考了他的内容。树莓派的配置需要通过sudo raspi-config进行,然后使用Eoman的控制方法,即安装wiringPi库并编写控制引脚的脚本。具体的安装步骤和脚本编写方法在文章中详细介绍。 ... [详细]
  • pythonMatplotlib(二)
    Matplotlib+pandas作图一、对csv文件进行提取ruixi.csv对上述表格进行提取并做图画出图像二、对.xlsx进行提取:rui ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • 怎么在PHP项目中实现一个HTTP断点续传功能发布时间:2021-01-1916:26:06来源:亿速云阅读:96作者:Le ... [详细]
  • 本文介绍了如何使用PHP代码将表格导出为UTF8格式的Excel文件。首先,需要连接到数据库并获取表格的列名。然后,设置文件名和文件指针,并将内容写入文件。最后,设置响应头部,将文件作为附件下载。 ... [详细]
author-avatar
鬼厉--七月
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有