热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Python如何实现SQL自动化

本篇内容主要讲解“Python如何实现SQL自动化”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python

本篇内容主要讲解“Python如何实现SQL自动化”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python如何实现SQL自动化”吧!

从基础开始

import pyodbc from datetime import datetime classSql:     def__init__(self,  database, server="XXVIR00012,55000"):         # here we are  telling python what to connect to (our SQL Server)         self.cnxn = pyodbc.connect("Driver={SQL  Server Native Client 11.0};"                                    "Server="+server+";"                                    "Database="+database+";"                                    "Trusted_COnnection=yes;")         # initialise  query attribute         self.query ="--  {}\n\n-- Made in Python".format(datetime.now()                                                           .strftime("%d/%m/%Y"))

这个代码就是操作MS SQL服务器的基础。只要编写好这个代码,通过Python 连接到SQL 仅需:

sql = Sql('database123')

很简单对么?同时发生了几件事,下面将对此代码进行剖析。class Sql:

首先要注意,这个代码包含在一个类中。笔者发现这是合乎逻辑的,因为在此格式中,已经对此特定数据库进行了增添或移除进程。若见其工作过程,思路便能更加清晰。

初始化类:

def __init__(self, database,server="XXVIR00012,55000"):

因为笔者和同事几乎总是连接到相同的服务器,所以笔者将这个通用浏览器的名称设为默认参数server。

在“Connect to Server”对话框或者MS SQL Server Management Studio的视窗顶端可以找到服务器的名称:

Python如何实现SQL自动化

下一步,连接SQL:

self.cnxn =pyodbc.connect("Driver={SQL Server Native Client 11.0};"                           "Server="+self.server+";"                           "Database="+self.database+";"                           "Trusted_COnnection=yes;")

pyodbc 模块,使得这一步骤异常简单。只需将连接字符串过渡到 pyodbc.connect(...) 函数即可,点击以了解详情here。

最后,笔者通常会在 Sql 类中编写一个查询字符串,sql类会随每个传递给类的查询而更新:

self.query = "-- {}\n\n--Made in Python".format(datetime.now()                                              .strftime("%d/%m/%Y"))

这样便于记录代码,同时也使输出更为可读,让他人读起来更舒服。

请注意在下列的代码片段中,笔者将不再更新代码中的self.query 部分。

组块

一些重要函数非常有用,笔者几乎每天都会使用。这些函数都侧重于将数据从数据库中传入或传出。

以下图文件目录为始:

Python如何实现SQL自动化

对于当前此项目,需要:

  • 将文件导入SQL

  • 将其合并到单一表格内

  • 根据列中类别灵活创建多个表格

SQL类不断被充实后,后续会容易很多:

import sys sys.path.insert(0, r'C:\\User\medium\pysqlplus\lib') import os from data importSql sql =Sql('database123')  # initialise the Sql object directory =r'C:\\User\medium\data\\'  # this is where our generic data is  stored file_list = os.listdir(directory)  # get a list of all files for file in  file_list:  # loop to import  files to sql     df = pd.read_csv(directory+file)  # read file to dataframe     sql.push_dataframe(df, file[:-4]) # now we  convert our file_list names into the table names we have imported to SQL table_names = [x[:-4] for x in file_list] sql.union(table_names, 'generic_jan')  # union our files into one new table  called 'generic_jan' sql.drop(table_names)  # drop our original tables as we now  have full table # get list of  categories in colX, eg ['hr', 'finance', 'tech', 'c_suite'] sets =list(sql.manual("SELECT  colX AS 'category' FROM generic_jan GROUP BY colX", respOnse=True)['category']) for category in sets:     sql.manual("SELECT *  INTO generic_jan_"+category+" FROM  generic_jan WHERE colX = '"+category+"'")

从头开始。

入栈数据结构

defpush_dataframe(self, data,  table="raw_data", batchsize=500):     # create execution cursor     cursor = self.cnxn.cursor()     # activate fast execute     cursor.fast_executemany =True     # create create table statement     query ="CREATE  TABLE ["+ table +"] (\n"     # iterate through each column to be  included in create table statement     for i inrange(len(list(data))):         query +="\t[{}]  varchar(255)".format(list(data)[i])  # add column (everything is varchar  for now)         # append correct  connection/end statement code         if i !=len(list(data))-1:             query +=",\n"         else:             query +="\n);"     cursor.execute(query)  # execute the create table statement     self.cnxn.commit()  # commit changes     # append query to our SQL code logger     self.query += ("\n\n--  create table\n"+ query)     # insert the data in batches     query = ("INSERT  INTO [{}] ({})\n".format(table,                                                '['+'], ['  # get columns                                                .join(list(data)) +']') +              "VALUES\n(?{})".format(",  ?"*(len(list(data))-1)))     # insert data into target table in  batches of 'batchsize'     for i inrange(0, len(data), batchsize):         if i+batchsize >len(data):             batch = data[i: len(data)].values.tolist()         else:             batch = data[i: i+batchsize].values.tolist()         # execute batch  insert         cursor.executemany(query, batch)         # commit insert  to SQL Server         self.cnxn.commit()

此函数包含在SQL类中,能轻松将Pandas dataframe插入SQL数据库。

其在需要上传大量文件时非常有用。然而,Python能将数据插入到SQL的真正原因在于其灵活性。

要横跨一打Excel工作簿才能在SQL中插入特定标签真的很糟心。但有Python在,小菜一碟。如今已经构建起了一个可以使用Python读取标签的函数,还能将标签插入到SQL中。

Manual(函数)

defmanual(self, query,  respOnse=False):     cursor = self.cnxn.cursor()  # create execution cursor     if response:         returnread_sql(query,  self.cnxn)  # get sql query  output to dataframe     try:         cursor.execute(query)  # execute     except pyodbc.ProgrammingErroras error:         print("Warning:\n{}".format(error))  # print error as a warning     self.cnxn.commit()  # commit query to SQL Server     return"Query  complete."

此函数实际上应用在union 和 drop 函数中。仅能使处理SQL代码变得尽可能简单。

response参数能将查询输出解压到DataFrame。generic_jan 表中的colX ,可供摘录所有独特值,操作如下:

sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BYcolX", respOnse=True)['category'])

Union(函数)

构建 了manual 函数,创建 union 函数就简单了:

defunion(self,  table_list, name="union", join="UNION"):     # initialise the query     query ="SELECT *  INTO ["+name+"] FROM (\n"     # build the SQL query     query +=f'\n{join}\n'.join(                         [f'SELECT [{x}].* FROM [{x}]'for x in table_list]                         )     query +=")  x"  # add end of  query     self.manual(query, fast=True)  # fast execute

创建 union 函数只不过是在循环参考 table_list提出的表名,从而为给定的表名构建  UNION函数查询。然后用self.manual(query)处理。

Drop(函数)

上传大量表到SQL服务器是可行的。虽然可行,但会使数据库迅速过载。 为解决这一问题,需要创建一个drop函数:

defdrop(self,  tables):     # check if single or list     ifisinstance(tables, str):         # if single  string, convert to single item in list for for-loop         tables = [tables]     for table in tables:         # check for  pre-existing table and delete if present         query = ("IF  OBJECT_ID ('["+table+"]', 'U')  IS NOT NULL "                  "DROP TABLE  ["+table+"]")         self.manual(query)  # execute

到此,相信大家对“Python如何实现SQL自动化”有了更深的了解,不妨来实际操作一番吧!这里是编程笔记网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


推荐阅读
  • 本指南详细介绍了在Linux环境中高效连接MySQL数据库的方法。用户可以通过安装并使用`mysql`客户端工具来实现本地连接,具体命令为:`mysql -u 用户名 -p 密码 -h 主机`。例如,使用管理员账户连接本地MySQL服务器的命令为:`mysql -u root -p pass`。此外,还提供了多种配置优化建议,以确保连接过程更加稳定和高效。 ... [详细]
  • 您的数据库配置是否安全?DBSAT工具助您一臂之力!
    本文探讨了Oracle提供的免费工具DBSAT,该工具能够有效协助用户检测和优化数据库配置的安全性。通过全面的分析和报告,DBSAT帮助用户识别潜在的安全漏洞,并提供针对性的改进建议,确保数据库系统的稳定性和安全性。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • 服务器部署中的安全策略实践与优化
    服务器部署中的安全策略实践与优化 ... [详细]
  • 在使用 SQL Server 时,连接故障是用户最常见的问题之一。通常,连接 SQL Server 的方法有两种:一种是通过 SQL Server 自带的客户端工具,例如 SQL Server Management Studio;另一种是通过第三方应用程序或开发工具进行连接。本文将详细分析导致连接故障的常见原因,并提供相应的解决策略,帮助用户有效排除连接问题。 ... [详细]
  • 如何在MySQL中选择合适的表空间以优化性能和管理效率
    在MySQL中,合理选择表空间对于提升表的管理和访问性能至关重要。表空间作为MySQL中用于组织和管理数据的一种机制,能够显著影响数据库的运行效率和维护便利性。通过科学地配置和使用表空间,可以优化存储结构,提高查询速度,简化数据管理流程,从而全面提升系统的整体性能。 ... [详细]
  • Java 零基础入门:SQL Server 学习笔记(第21篇)
    Java 零基础入门:SQL Server 学习笔记(第21篇) ... [详细]
  • DAO(Data Access Object)模式是一种用于抽象和封装所有对数据库或其他持久化机制访问的方法,它通过提供一个统一的接口来隐藏底层数据访问的复杂性。 ... [详细]
  • 本文介绍了如何通过Sybase Central连接到示例数据库,并查看其中的表和其他对象。主要内容包括启动Sybase Central、建立连接、查看表列表及表的具体信息。 ... [详细]
  • 本文详细介绍了MySQL数据库的基础语法与核心操作,涵盖从基础概念到具体应用的多个方面。首先,文章从基础知识入手,逐步深入到创建和修改数据表的操作。接着,详细讲解了如何进行数据的插入、更新与删除。在查询部分,不仅介绍了DISTINCT和LIMIT的使用方法,还探讨了排序、过滤和通配符的应用。此外,文章还涵盖了计算字段以及多种函数的使用,包括文本处理、日期和时间处理及数值处理等。通过这些内容,读者可以全面掌握MySQL数据库的核心操作技巧。 ... [详细]
  • 通过使用Sqoop导入工具,可以精确控制并高效地将表数据的特定子集导入到HDFS中。具体而言,可以通过在导入命令中添加WHERE子句来指定所需的数据范围,从而在数据库服务器上执行相应的SQL查询,并将查询结果高效地存储到HDFS中。这种方法不仅提高了数据导入的灵活性,还确保了数据的准确性和完整性。 ... [详细]
  • 本文介绍了如何使用Python的Paramiko库批量更新多台服务器的登录密码。通过示例代码展示了具体实现方法,确保了操作的高效性和安全性。Paramiko库提供了强大的SSH2协议支持,使得远程服务器管理变得更加便捷。此外,文章还详细说明了代码的各个部分,帮助读者更好地理解和应用这一技术。 ... [详细]
  • Oracle字符集详解:图表解析与中文乱码解决方案
    本文详细解析了 Oracle 数据库中的字符集机制,通过图表展示了不同字符集之间的转换过程,并针对中文乱码问题提供了有效的解决方案。文章深入探讨了字符集配置、数据迁移和兼容性问题,为数据库管理员和开发人员提供了实用的参考和指导。 ... [详细]
  • 如何使用R语言高效连接并操作MySQL数据库
    如何使用R语言高效连接并操作MySQL数据库 ... [详细]
  • 本文详细介绍了使用响应文件在静默模式下安装和配置Oracle 11g的方法。硬件要求包括:内存至少1GB,具体可通过命令`grep -i memtotal /proc/meminfo`进行检查。此外,还提供了详细的步骤和注意事项,确保安装过程顺利进行。 ... [详细]
author-avatar
DZ---Shanghai
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有