热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

[pandas]高级使用

目录读写文本格式序列化使用数据库合并数据集重塑和轴向旋转数据转换读写文本格式CSV(Comma-SeparatedValues)格式的文件是指以纯文本形式存储的表格数据,这意味着不


目录





      • 读写文本格式

      • 序列化

      • 使用数据库

      • 合并数据集

      • 重塑和轴向旋转

      • 数据转换







读写文本格式

CSV(Comma-SeparatedValues)格式的文件是指以纯文本形式存储的表格数据,这意味着不能简单的使用Excel表格工具进行处理,而且Excel表格处理的数据量十分有限,而使用Pandas来处理数据量巨大的CSV文件就容易的多了。



  • 如何读取csv数据read_csv()

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK')
#printdata.head()
#printdata.tail()
#作为示例,输出CSV文件的前5行和最后5行,这是pandas默认的输出5行,可以根据需要自己设定输出几行的值



  • 详细read_csv参数连接

  • header=0

    表示文件第0行(即第一行,索引从0开始)为列索引,这样加names会替换原来的列索引。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',header=0)
print(data)



  • header=None

    即指明原始文件数据没有列索引,这样read_csv为自动加上列索引,除非你给定列索引的名字。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',header=None)
print(data)



  • names

    指定列名

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',names=['name','age','sex'])
print(data)



  • index_col:

    int类型值,序列,FALSE(默认None)

    将真实的某列当做index(列的数目,甚至列名)

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',index_col=0)
print(data)



  • nrows

    需要读取的行数(从文件头开始算起)


  • 如何存储csvto_csv()

    详细to_csv参数连接



序列化

pickle主要用于将python对象和文件之间的转换。

importpandasaspd
deftest():
data=pd.read_csv('../one.csv',encoding='GBK',nrows=2)
#data=pd.read_table('../one.csv',encoding='GBK',sep=',',header=None)
data.to_pickle('csv_data')
result=pd.read_pickle('csv_data')
print(result)
使用数据库

importpymysql
importpandasaspd
deftest():
cOnn=pymysql.connect("localhost","root","admin","data_output")
sql='SELECT*fromold_user'
df=pd.read_sql(sql,conn)
print(df)


合并数据集

博客连接


重塑和轴向旋转
数据转换

推荐阅读
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • PHP 5.2.5 安装与配置指南
    本文详细介绍了 PHP 5.2.5 的安装和配置步骤,帮助开发者解决常见的环境配置问题,特别是上传图片时遇到的错误。通过本教程,您可以顺利搭建并优化 PHP 运行环境。 ... [详细]
  • 1.如何在运行状态查看源代码?查看函数的源代码,我们通常会使用IDE来完成。比如在PyCharm中,你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢?当我们想使用一个函 ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 解决网站乱码问题的综合指南
    本文总结了导致网站乱码的常见原因,并提供了详细的解决方案,包括文件编码、HTML元标签设置、服务器响应头配置、数据库字符集调整以及PHP与MySQL交互时的编码处理。 ... [详细]
  • Python 异步编程:ASGI 服务器与框架详解
    自 Python 3.5 引入 async/await 语法以来,异步编程迅速崛起,吸引了大量开发者的关注。本文将深入探讨 ASGI(异步服务器网关接口)及其在现代 Python Web 开发中的应用,介绍主流的 ASGI 服务器和框架。 ... [详细]
  • 使用 Azure Service Principal 和 Microsoft Graph API 获取 AAD 用户列表
    本文介绍了一段通用代码示例,该代码不仅能够操作 Azure Active Directory (AAD),还可以通过 Azure Service Principal 的授权访问和管理 Azure 订阅资源。Azure 的架构可以分为两个层级:AAD 和 Subscription。 ... [详细]
  • Python自动化处理:从Word文档提取内容并生成带水印的PDF
    本文介绍如何利用Python实现从特定网站下载Word文档,去除水印并添加自定义水印,最终将文档转换为PDF格式。该方法适用于批量处理和自动化需求。 ... [详细]
  • 本文详细解析了如何使用Python语言在STM32硬件平台上实现高效的编程和快速的应用开发。通过具体的代码示例,展示了Python简洁而强大的特性。 ... [详细]
  • 本文详细解析了Python中的os和sys模块,介绍了它们的功能、常用方法及其在实际编程中的应用。 ... [详细]
  • 离线环境下的Python及其第三方库安装指南
    在项目开发中,有时会遇到电脑只能连接内网或完全无法联网的情况。本文将详细介绍如何在这种环境下安装Python及其所需的第三方库,确保开发工作的顺利进行。 ... [详细]
  • 掌握远程执行Linux脚本和命令的技巧
    本文将详细介绍如何利用Python的Paramiko库实现远程执行Linux脚本和命令,帮助读者快速掌握这一实用技能。通过具体的示例和详尽的解释,让初学者也能轻松上手。 ... [详细]
author-avatar
风去无痕吧
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有