Pandas實現(xiàn)常用SQL操作

本文是寫給有 SQL 基礎(chǔ)，而對于 pandas 的 API 不夠熟悉的同學(xué)的。將各種常見的 SQL 操作“翻譯”成 pandas 的形式，從而便于數(shù)據(jù)處理。

成都創(chuàng)新互聯(lián)公司成立與2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目做網(wǎng)站、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元松原做網(wǎng)站,已為上家服務(wù),為松原各地企業(yè)和個人服務(wù),聯(lián)系電話:18982081108

首先建立兩個表，年齡國籍表和性別表，兩者可以通過 name 字段進(jìn)行關(guān)聯(lián)。

t1 數(shù)據(jù)如下：

t2 數(shù)據(jù)如下：

用 SQL 來實現(xiàn)是：

而在 pandas 中，join 被稱為 merge。其中 on 表示兩個表用于關(guān)聯(lián)的鍵。how 表示 join 的方式，支持 {‘left’, ‘right’, ‘outer’, ‘inner’} 四個選項，分別對應(yīng) SQL 的 left join、right join、outer join、inner join。

能匹配到 name 的就會補充上 gender，Kim 在性別表差不到數(shù)據(jù)，因此填充來一個 NaN 表示空值。

遇到兩個表需要關(guān)聯(lián)的字段不同名，在 SQL 中只需要修改 on 后面的條件即可。

假如把 t1 的 name 換一個名字，那么就不能直接用 on='name' 來進(jìn)行關(guān)聯(lián)了。先使用 rename 方法更改列名，然后再次左聯(lián)。

輸出：

新增一個年齡表：

表內(nèi)容：

如果不對 age 兩個同名字段進(jìn)行處理，pandas 會自動添加后綴，一個是 _x，另一個是 _y：

如果想要自定義后綴，那么可以：

于是上表的 age_x 和 age_y 就變成 age_left 和 age_right 了。

pandas 的 join 和 SQL 的 join 不太一樣。默認(rèn)行為是直接根據(jù) index 進(jìn)行關(guān)聯(lián)。你可以理解為直接把兩個表左右拼接在一起。

可以看到是直接根據(jù) index 序號進(jìn)行左右拼接。

如果存在名字相同的列則需要指明后綴，否則會報 ValueError。

將兩個表上下拼接起來的操作。

結(jié)果如下：

注意，該操作不會做任何去重，只是單純的拼接而已。

例如要求男性和女性兩組的平均年齡。先關(guān)聯(lián) t1 和 t2 然后 group by 即可：

如果用 SQL 實現(xiàn)：

同時查看最小值和最大值：

其中 ['age'] 表示只輸出 age 字段。agg 表示聚合，對于內(nèi)置函數(shù)需要用引號，這里分別計算兩個組的最小值和最大值。

SQL版本：

這里是體現(xiàn) Python 比 SQL 強大的地方了。你可以寫自定義的聚合函數(shù)。比如我要計算每組的奇數(shù)個數(shù)。注意，由于是聚合函數(shù)，因此傳入的參數(shù)是 Series 對象，即一列數(shù)據(jù)，因此要用對應(yīng)的方法。用數(shù)學(xué)語言來說，這里處理的是向量，而不是標(biāo)量。

s % 2 是對輸入的向量的每一個元素進(jìn)行除2求余數(shù)，然后用內(nèi)置聚合函數(shù) sum 加總，由于奇數(shù)的余數(shù)是1，而偶數(shù)的余數(shù)是0，因此這個求和數(shù)就是奇數(shù)的個數(shù)。傳參到 agg 方法只需要把 is_odd 函數(shù)放入列表即可，由于不是內(nèi)置函數(shù)，因此不需要加引號。

暫時寫到這里，后面如果用到其他地方再繼續(xù)補充。

python sql 定義函數(shù)，調(diào)用后出錯

要看你的數(shù)據(jù)庫里存的是什么格式的，如果是unicode的話：

sql="select * from t.branch where name='河南'".decode('utf8')

如果是gb系列編碼的話:

sql="select * from t.branch where name='河南'".decode('utf8').encode('gb18030')

如何用python寫sql

python可以利用pymysql模塊操作數(shù)據(jù)庫。

什么是 PyMySQL？

PyMySQL 是在 Python3.x 版本中用于連接 MySQL 服務(wù)器的一個庫，Python2中則使用mysqldb。

PyMySQL 遵循 Python 數(shù)據(jù)庫 API v2.0 規(guī)范，并包含了 pure-Python MySQL 客戶端庫。

PyMySQL 安裝

在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。

PyMySQL 下載地址：。

如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：

$ pip3 install PyMySQL

如果你的系統(tǒng)不支持 pip 命令，可以使用以下方式安裝：

1、使用 git 命令下載安裝包安裝(你也可以手動下載)：

$ git clone cd PyMySQL/$ python3 setup.py install

2、如果需要制定版本號，可以使用 curl 命令來安裝：

$ # X.X 為 PyMySQL 的版本號$ curl -L | tar xz$ cd PyMySQL*$ python3 setup.py install

$ # 現(xiàn)在你可以刪除 PyMySQL* 目錄

注意：請確保您有root權(quán)限來安裝上述模塊。

安裝的過程中可能會出現(xiàn)"ImportError: No module named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問?找到各個系統(tǒng)的安裝方法。

Linux 系統(tǒng)安裝實例：

$ wget python3 ez_setup.py

數(shù)據(jù)庫連接

連接數(shù)據(jù)庫前，請先確認(rèn)以下事項：

您已經(jīng)創(chuàng)建了數(shù)據(jù)庫 TESTDB.

在TESTDB數(shù)據(jù)庫中您已經(jīng)創(chuàng)建了表 EMPLOYEE

EMPLOYEE表字段為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

連接數(shù)據(jù)庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設(shè)定或者直接使用root用戶名及其密碼，Mysql數(shù)據(jù)庫用戶授權(quán)請使用Grant命令。

在你的機子上已經(jīng)安裝了 Python MySQLdb 模塊。

如果您對sql語句不熟悉，可以訪問我們的?SQL基礎(chǔ)教程

實例：

以下實例鏈接 Mysql 的 TESTDB 數(shù)據(jù)庫：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法創(chuàng)建一個游標(biāo)對象 cursorcursor = db.cursor()

# 使用 execute() ?方法執(zhí)行 SQL 查詢 cursor.execute("SELECT VERSION()")

# 使用 fetchone() 方法獲取單條數(shù)據(jù).data = cursor.fetchone()

print ("Database version : %s " % data)

# 關(guān)閉數(shù)據(jù)庫連接db.close()

執(zhí)行以上腳本輸出結(jié)果如下：

Database version : 5.5.20-log

創(chuàng)建數(shù)據(jù)庫表

如果數(shù)據(jù)庫連接存在我們可以使用execute()方法來為數(shù)據(jù)庫創(chuàng)建表，如下所示創(chuàng)建表EMPLOYEE：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法創(chuàng)建一個游標(biāo)對象 cursorcursor = db.cursor()

# 使用 execute() 方法執(zhí)行 SQL，如果表存在則刪除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")

# 使用預(yù)處理語句創(chuàng)建表sql = """CREATE TABLE EMPLOYEE (

? ? FIRST_NAME ?CHAR(20) NOT NULL,

? ? LAST_NAME ?CHAR(20),

? ? AGE INT, ?

? ? SEX CHAR(1),

? ? INCOME FLOAT )"""

cursor.execute(sql)

# 關(guān)閉數(shù)據(jù)庫連接db.close()

數(shù)據(jù)庫插入操作

以下實例使用執(zhí)行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標(biāo) cursor = db.cursor()

# SQL 插入語句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,

? ? LAST_NAME, AGE, SEX, INCOME)

? ? VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try: ? # 執(zhí)行sql語句

cursor.execute(sql)

# 提交到數(shù)據(jù)庫執(zhí)行

db.commit()except: ? # 如果發(fā)生錯誤則回滾

db.rollback()

# 關(guān)閉數(shù)據(jù)庫連接db.close()

以上例子也可以寫成如下形式：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標(biāo) cursor = db.cursor()

# SQL 插入語句sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \

? LAST_NAME, AGE, SEX, INCOME) \

? VALUES ('%s', '%s', ?%s, ?'%s', ?%s)" % \ ? ? ? ('Mac', 'Mohan', 20, 'M', 2000)try: ? # 執(zhí)行sql語句

cursor.execute(sql)

# 執(zhí)行sql語句

db.commit()except: ? # 發(fā)生錯誤時回滾

db.rollback()

# 關(guān)閉數(shù)據(jù)庫連接db.close()

以下代碼使用變量向SQL語句中傳遞參數(shù):

..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s, ?%s)' % \ ? ? ? ? ? ? (user_id, password))..................................

數(shù)據(jù)庫查詢操作

Python查詢Mysql使用 fetchone() 方法獲取單條數(shù)據(jù), 使用fetchall() 方法獲取多條數(shù)據(jù)。

fetchone():?該方法獲取下一個查詢結(jié)果集。結(jié)果集是一個對象

fetchall():?接收全部的返回結(jié)果行.

rowcount:?這是一個只讀屬性，并返回執(zhí)行execute()方法后影響的行數(shù)。

實例：

查詢EMPLOYEE表中salary（工資）字段大于1000的所有數(shù)據(jù)：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標(biāo) cursor = db.cursor()

# SQL 查詢語句sql = "SELECT * FROM EMPLOYEE \

? WHERE INCOME %s" % (1000)try: ? # 執(zhí)行SQL語句

cursor.execute(sql)

# 獲取所有記錄列表

results = cursor.fetchall()

for row in results: ? ? ?fname = row[0]

?lname = row[1]

?age = row[2]

?sex = row[3]

?income = row[4]

? # 打印結(jié)果

?print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \ ? ? ? ? ? ? (fname, lname, age, sex, income ))except: ? print ("Error: unable to fetch data")

# 關(guān)閉數(shù)據(jù)庫連接db.close()

以上腳本執(zhí)行結(jié)果如下：

fname=Mac, lname=Mohan, age=20, sex=M, income=2000

數(shù)據(jù)庫更新操作

更新操作用于更新數(shù)據(jù)表的的數(shù)據(jù)，以下實例將 TESTDB 表中 SEX 為 'M' 的 AGE 字段遞增 1：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標(biāo) cursor = db.cursor()

# SQL 更新語句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try: ? # 執(zhí)行SQL語句

cursor.execute(sql)

# 提交到數(shù)據(jù)庫執(zhí)行

db.commit()except: ? # 發(fā)生錯誤時回滾

db.rollback()

# 關(guān)閉數(shù)據(jù)庫連接db.close()

刪除操作

刪除操作用于刪除數(shù)據(jù)表中的數(shù)據(jù)，以下實例演示了刪除數(shù)據(jù)表 EMPLOYEE 中 AGE 大于 20 的所有數(shù)據(jù)：

實例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打開數(shù)據(jù)庫連接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法獲取操作游標(biāo) cursor = db.cursor()

# SQL 刪除語句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: ? # 執(zhí)行SQL語句

cursor.execute(sql)

# 提交修改

db.commit()except: ? # 發(fā)生錯誤時回滾

db.rollback()

# 關(guān)閉連接db.close()

執(zhí)行事務(wù)

事務(wù)機制可以確保數(shù)據(jù)一致性。

事務(wù)應(yīng)該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。

原子性（atomicity）。一個事務(wù)是一個不可分割的工作單位，事務(wù)中包括的諸操作要么都做，要么都不做。

一致性（consistency）。事務(wù)必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一個一致性狀態(tài)。一致性與原子性是密切相關(guān)的。

隔離性（isolation）。一個事務(wù)的執(zhí)行不能被其他事務(wù)干擾。即一個事務(wù)內(nèi)部的操作及使用的數(shù)據(jù)對并發(fā)的其他事務(wù)是隔離的，并發(fā)執(zhí)行的各個事務(wù)之間不能互相干擾。

持久性（durability）。持續(xù)性也稱永久性（permanence），指一個事務(wù)一旦提交，它對數(shù)據(jù)庫中數(shù)據(jù)的改變就應(yīng)該是永久性的。接下來的其他操作或故障不應(yīng)該對其有任何影響。

Python DB API 2.0 的事務(wù)提供了兩個方法 commit 或 rollback。

實例

實例(Python 3.0+)

# SQL刪除記錄語句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try: ? # 執(zhí)行SQL語句

cursor.execute(sql)

# 向數(shù)據(jù)庫提交

db.commit()except: ? # 發(fā)生錯誤時回滾

db.rollback()

對于支持事務(wù)的數(shù)據(jù)庫， 在Python數(shù)據(jù)庫編程中，當(dāng)游標(biāo)建立之時，就自動開始了一個隱形的數(shù)據(jù)庫事務(wù)。

commit()方法游標(biāo)的所有更新操作，rollback（）方法回滾當(dāng)前游標(biāo)的所有操作。每一個方法都開始了一個新的事務(wù)。

錯誤處理

DB API中定義了一些數(shù)據(jù)庫操作的錯誤及異常，下表列出了這些錯誤和異常:

異常

描述

Warning ? ?當(dāng)有嚴(yán)重警告時觸發(fā)，例如插入數(shù)據(jù)是被截斷等等。必須是 StandardError 的子類。 ?

Error ? ?警告以外所有其他錯誤類。必須是 StandardError 的子類。 ?

InterfaceError ? ?當(dāng)有數(shù)據(jù)庫接口模塊本身的錯誤（而不是數(shù)據(jù)庫的錯誤）發(fā)生時觸發(fā)。 必須是Error的子類。 ?

DatabaseError ? ?和數(shù)據(jù)庫有關(guān)的錯誤發(fā)生時觸發(fā)。 必須是Error的子類。 ?

DataError ? ?當(dāng)有數(shù)據(jù)處理時的錯誤發(fā)生時觸發(fā)，例如：除零錯誤，數(shù)據(jù)超范圍等等。 必須是DatabaseError的子類。 ?

OperationalError ? ?指非用戶控制的，而是操作數(shù)據(jù)庫時發(fā)生的錯誤。例如：連接意外斷開、 數(shù)據(jù)庫名未找到、事務(wù)處理失敗、內(nèi)存分配錯誤等等操作數(shù)據(jù)庫是發(fā)生的錯誤。 必須是DatabaseError的子類。 ?

IntegrityError ? ?完整性相關(guān)的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。 ?

InternalError ? ?數(shù)據(jù)庫的內(nèi)部錯誤，例如游標(biāo)（cursor）失效了、事務(wù)同步失敗等等。 必須是DatabaseError子類。 ?

ProgrammingError ? ?程序錯誤，例如數(shù)據(jù)表（table）沒找到或已存在、SQL語句語法錯誤、 參數(shù)數(shù)量錯誤等等。必須是DatabaseError的子類。 ?

NotSupportedError ? ?不支持錯誤，指使用了數(shù)據(jù)庫不支持的函數(shù)或API等。例如在連接對象上 使用.rollback()函數(shù)，然而數(shù)據(jù)庫并不支持事務(wù)或者事務(wù)已關(guān)閉。 必須是DatabaseError的子類。 ?

本文題目：python用sql函數(shù)的簡單介紹
分享鏈接：http://chinadenli.net/article24/hshije.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、、手機網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、云服務(wù)器、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)