热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

[pandas]高级使用

目录读写文本格式序列化使用数据库合并数据集重塑和轴向旋转数据转换读写文本格式CSV(Comma-SeparatedValues)格式的文件是指以纯文本形式存储的表格数据,这意味着不


目录





      • 读写文本格式

      • 序列化

      • 使用数据库

      • 合并数据集

      • 重塑和轴向旋转

      • 数据转换







读写文本格式

CSV(Comma-SeparatedValues)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了。



  • 如何读取csv数据read_csv()

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK')
#printdata.head()
#printdata.tail()
#作为示例,输出CSV文件的前5行和最后5行,这是pandas默认的输出5行,可以根据需要自己设定输出几行的值



  • 详细read_csv参数连接

  • header=0

    表示文件第0行(即第一行,索引从0开始)为列索引,这样加names会替换原来的列索引。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',header=0)
print(data)



  • header=None

    即指明原始文件数据没有列索引,这样read_csv为自动加上列索引,除非你给定列索引的名字。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',header=None)
print(data)



  • names

    指定列名

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',names=['name','age','sex'])
print(data)



  • index_col:

    int类型值,序列,FALSE(默认None)

    将真实的某列当做index(列的数目,甚至列名)

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',index_col=0)
print(data)



  • nrows

    需要读取的行数(从文件头开始算起)


  • 如何存储csvto_csv()

    详细to_csv参数连接



序列化

pickle主要用于将python对象和文件之间的转换。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',nrows=2)
#data=pd.read_table('../one.csv',encoding='GBK',sep=',',header=None)
data.to_pickle('csv_data')
result=pd.read_pickle('csv_data')
print(result)
使用数据库

importpymysql
importpandasaspd
deftest():
cOnn=pymysql.connect("localhost","root","admin","data_output")
sql='SELECT*fromold_user'
df=pd.read_sql(sql,conn)
print(df)


合并数据集

博客连接


重塑和轴向旋转
数据转换

推荐阅读
  • pythonMatplotlib(二)
    Matplotlib+pandas作图一、对csv文件进行提取ruixi.csv对上述表格进行提取并做图画出图像二、对.xlsx进行提取:rui ... [详细]
  • mysql相关操作_MySQL之记录相关操作
    一介绍MySQL数据操作:DML在MySQL管理软件中,可以通过SQL语句中的DML语言来实现数据的操作,包括使用INSERT实现数据的插 ... [详细]
  • 代码如下:(把数据以表格形式输出本人小白哪位大侠能把完整的代码写出来呀最好是可以添加、删除和显示表格的)<%@pagecontentTypetexthtmlpageEn ... [详细]
  • 在云服务器中搭建Jupyter Notebook环境
    目录前言二、JupyterNotebook搭建步骤1.云服务器准备2.安装Python及pip3.安装JupyterNotebook4.运行JupyterNoteboo ... [详细]
  • pandas numpy读取文件
    文件为csv格式,内容如图可以看到文件中有表头,数据中有数值,有字符串,有空值(图中红色、绿色部分)如果用pandas读取,字符串和空值需要再处理,但列名还健在,如下图如果用num ... [详细]
  • 本文介绍了在Python3中如何使用选择文件对话框的格式打开和保存图片的方法。通过使用tkinter库中的filedialog模块的asksaveasfilename和askopenfilename函数,可以方便地选择要打开或保存的图片文件,并进行相关操作。具体的代码示例和操作步骤也被提供。 ... [详细]
  • 本文介绍了如何使用python从列表中删除所有的零,并将结果以列表形式输出,同时提供了示例格式。 ... [详细]
  • svnWebUI:一款现代化的svn服务端管理软件
    svnWebUI是一款图形化管理服务端Subversion的配置工具,适用于非程序员使用。它解决了svn用户和权限配置繁琐且不便的问题,提供了现代化的web界面,让svn服务端管理变得轻松。演示地址:http://svn.nginxwebui.cn:6060。 ... [详细]
  • 本文介绍了如何使用PHP代码将表格导出为UTF8格式的Excel文件。首先,需要连接到数据库并获取表格的列名。然后,设置文件名和文件指针,并将内容写入文件。最后,设置响应头部,将文件作为附件下载。 ... [详细]
  • 前言:拿到一个案例,去分析:它该是做分类还是做回归,哪部分该做分类,哪部分该做回归,哪部分该做优化,它们的目标值分别是什么。再挑影响因素,哪些和分类有关的影响因素,哪些和回归有关的 ... [详细]
  • linux7.2python2.7.5解决方案:root用户查找系统文件:find-namelibmysqlclient.so.18未发现libmysqlclient.so.18使 ... [详细]
  • python基础(二、pycharm安装、卸载)
    3.在Ubuntu中安装PyCharmPyCharm的官方网站地址是:https:www.jetbrains.compycharm注意:安装时不要使用root用户安装,否则后期使用 ... [详细]
  • 元类print(type(abc))print(type(True))print(type(100))print(type([1,2,3]))print(type({na ... [详细]
  • 最近用python写了一个小程序,想发布出去让人试用又不想暴露源码,搜索了一下发现将py文件编译成pyd文件就能达到目的。转换过程很简单,但是在调用pyd文件并且打包为单个exe文 ... [详细]
  • 如何理解MyBatis动态SQL
    本篇内容主要讲解“如何理解MyBatis动态SQL”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何理解M ... [详细]
author-avatar
风去无痕吧
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有