MongoDB儲存

在這裡我們來看一下Python3下MongoDB的儲存操作,在本節開始之前請確保你已經安裝好了MongoDB並啟動了其服務,另外安裝好了Python的PyMongo庫。

連線MongoDB

連線MongoDB我們需要使用PyMongo庫裡面的MongoClient,一般來說傳入MongoDB的IP及埠即可,第一個引數為地址host,第二個引數為埠port,埠如果不傳預設是27017。

import pymongo

client = pymongo。MongoClient(host=‘localhost’, port=27017)

這樣我們就可以建立一個MongoDB的連線物件了。

另外MongoClient的第一個引數host還可以直接傳MongoDB的連線字串,以mongodb開頭,例如:

client = MongoClient(‘mongodb://localhost:27017/’)

可以達到同樣的連線效果。

指定資料庫

MongoDB中還分為一個個資料庫,我們接下來的一步就是指定要操作哪個資料庫,在這裡我以test資料庫為例進行說明,所以下一步我們需要在程式中指定要使用的資料庫。

db = client。test

呼叫client的test屬性即可返回test資料庫,當然也可以這樣來指定:

db = client[‘test’]

兩種方式是等價的。

指定集合

MongoDB的每個資料庫又包含了許多集合Collection,也就類似與關係型資料庫中的表,下一步我們需要指定要操作的集合,在這裡我們指定一個集合名稱為students,學生集合。還是和指定資料庫類似,指定集合也有兩種方式。

collection = db。students

collection = db[‘students’]

插入資料

接下來我們便可以進行資料插入了,對於students這個Collection,我們新建一條學生資料,以字典的形式表示:

student = {

‘id’: ‘20170101’,

‘name’: ‘Jordan’,

‘age’: 20,

‘gender’: ‘male’

}

在這裡我們指定了學生的學號、姓名、年齡和性別,然後接下來直接呼叫collection的insert()方法即可插入資料。

result = collection。insert(student)

print(result)

在MongoDB中,每條資料其實都有一個_id屬性來唯一標識,如果沒有顯式指明_id,MongoDB會自動產生一個ObjectId型別的_id屬性。insert()方法會在執行後返回的_id值。

執行結果:

5932a68615c2606814c91f3d

當然我們也可以同時插入多條資料,只需要以列表形式傳遞即可,示例如下:

student1 = {

‘id’: ‘20170101’,

‘name’: ‘Jordan’,

‘age’: 20,

‘gender’: ‘male’

}

student2 = {

‘id’: ‘20170202’,

‘name’: ‘Mike’,

‘age’: 21,

‘gender’: ‘male’

}

result = collection。insert([student1, student2])

print(result)

返回的結果是對應的_id的集合,執行結果:

[ObjectId(‘5932a80115c2606a59e8a048’), ObjectId(‘5932a80115c2606a59e8a049’)]

實際上在PyMongo 3。X版本中,insert()方法官方已經不推薦使用了,當然繼續使用也沒有什麼問題,官方推薦使用insert_one()和insert_many()方法將插入單條和多條記錄分開。

student = {

‘id’: ‘20170101’,

‘name’: ‘Jordan’,

‘age’: 20,

‘gender’: ‘male’

}

result = collection。insert_one(student)

print(result)

print(result。inserted_id)

執行結果:

5932ab0f15c2606f0c1cf6c5

返回結果和insert()方法不同,這次返回的是InsertOneResult物件,我們可以呼叫其inserted_id屬性獲取_id。

對於insert_many()方法,我們可以將資料以列表形式傳遞即可,示例如下:

student1 = {

‘id’: ‘20170101’,

‘name’: ‘Jordan’,

‘age’: 20,

‘gender’: ‘male’

}

student2 = {

‘id’: ‘20170202’,

‘name’: ‘Mike’,

‘age’: 21,

‘gender’: ‘male’

}

result = collection。insert_many([student1, student2])

print(result)

print(result。inserted_ids)

insert_many()方法返回的型別是InsertManyResult,呼叫inserted_ids屬性可以獲取插入資料的_id列表,執行結果:

[ObjectId(‘5932abf415c2607083d3b2ac’), ObjectId(‘5932abf415c2607083d3b2ad’)]

查詢

插入資料後我們可以利用find_one()或find()方法進行查詢,find_one()查詢得到是單個結果,find()則返回多個結果。

result = collection。find_one({‘name’: ‘Mike’})

print(type(result))

print(result)

在這裡我們查詢name為Mike的資料,它的返回結果是字典型別,執行結果:

{‘_id’: ObjectId(‘5932a80115c2606a59e8a049’), ‘id’: ‘20170202’, ‘name’: ‘Mike’, ‘age’: 21, ‘gender’: ‘male’}

可以發現它多了一個_id屬性,這就是MongoDB在插入的過程中自動新增的。

我們也可以直接根據ObjectId來查詢,這裡需要使用bson庫裡面的ObjectId。

from bson。objectid import ObjectId

result = collection。find_one({‘_id’: ObjectId(‘593278c115c2602667ec6bae’)})

print(result)

其查詢結果依然是字典型別,執行結果:

{‘_id’: ObjectId(‘593278c115c2602667ec6bae’), ‘id’: ‘20170101’, ‘name’: ‘Jordan’, ‘age’: 20, ‘gender’: ‘male’}

當然如果查詢結果不存在則會返回None。

對於多條資料的查詢,我們可以使用find()方法,例如在這裡查詢年齡為20的資料,示例如下:

results = collection。find({‘age’: 20})

print(results)

for result in results:

print(result)

執行結果:

{‘_id’: ObjectId(‘593278c115c2602667ec6bae’), ‘id’: ‘20170101’, ‘name’: ‘Jordan’, ‘age’: 20, ‘gender’: ‘male’}

{‘_id’: ObjectId(‘593278c815c2602678bb2b8d’), ‘id’: ‘20170102’, ‘name’: ‘Kevin’, ‘age’: 20, ‘gender’: ‘male’}

{‘_id’: ObjectId(‘593278d815c260269d7645a8’), ‘id’: ‘20170103’, ‘name’: ‘Harden’, ‘age’: 20, ‘gender’: ‘male’}

返回結果是Cursor型別,相當於一個生成器,我們需要遍歷取到所有的結果,每一個結果都是字典型別。

如果要查詢年齡大於20的資料,則寫法如下:

results = collection。find({‘age’: {‘$gt’: 20}})

在這裡查詢的條件鍵值已經不是單純的數字了,而是一個字典,其鍵名為比較符號$gt,意思是大於,鍵值為20,這樣便可以查詢出所有年齡大於20的資料。

在這裡將比較符號歸納如下表:

符號含義示例

$lt小於{‘age’: {‘$lt’: 20}}

$gt大於{‘age’: {‘$gt’: 20}}

$lte小於等於{‘age’: {‘$lte’: 20}}

$gte大於等於{‘age’: {‘$gte’: 20}}

$ne不等於{‘age’: {‘$ne’: 20}}

$in在範圍內{‘age’: {‘$in’: [20, 23]}}

$nin不在範圍內{‘age’: {‘$nin’: [20, 23]}}

另外還可以進行正則匹配查詢,例如查詢名字以M開頭的學生資料,示例如下:

results = collection。find({‘name’: {‘$regex’: ‘^M。*’}})

在這裡使用了$regex來指定正則匹配,^M。*代表以M開頭的正則表示式,這樣就可以查詢所有符合該正則的結果。

在這裡將一些功能符號再歸類如下:

符號含義示例示例含義

$regex匹配正則{‘name’: {‘$regex’: ‘^M。*’}}name以M開頭

$exists屬性是否存在{‘name’: {‘$exists’: True}}name屬性存在

$type型別判斷{‘age’: {‘$type’: ‘int’}}age的型別為int

$mod數字模操作{‘age’: {‘$mod’: [5, 0]}}年齡模5餘0

$text文字查詢{‘$text’: {‘$search’: ‘Mike’}}text型別的屬性中包含Mike字串

$where高階條件查詢{‘$where’: ‘obj。fans_count == obj。follows_count’}自身粉絲數等於關注數

這些操作的更詳細用法在可以在MongoDB官方文件找到:

https://

docs。mongodb。com/manual

/reference/operator/query/

計數

要統計查詢結果有多少條資料,可以呼叫count()方法,如統計所有資料條數:

count = collection。find()。count()

print(count)

或者統計符合某個條件的資料:

count = collection。find({‘age’: 20})。count()

print(count)

排序

可以呼叫sort方法,傳入排序的欄位及升降序標誌即可,示例如下:

results = collection。find()。sort(‘name’, pymongo。ASCENDING)

print([result[‘name’] for result in results])

執行結果:

[‘Harden’, ‘Jordan’, ‘Kevin’, ‘Mark’, ‘Mike’]

偏移

在某些情況下我們可能想只取某幾個元素,在這裡可以利用skip()方法偏移幾個位置,比如偏移2,就忽略前2個元素,得到第三個及以後的元素。

results = collection。find()。sort(‘name’, pymongo。ASCENDING)。skip(2)

print([result[‘name’] for result in results])

執行結果:

[‘Kevin’, ‘Mark’, ‘Mike’]

另外還可以用limit()方法指定要取的結果個數,示例如下:

results = collection。find()。sort(‘name’, pymongo。ASCENDING)。skip(2)。limit(2)

print([result[‘name’] for result in results])

執行結果:

[‘Kevin’, ‘Mark’]

如果不加limit()原本會返回三個結果,加了限制之後,會擷取2個結果返回。

值得注意的是,在資料庫數量非常龐大的時候,如千萬、億級別,最好不要使用大的偏移量來查詢資料,很可能會導致記憶體溢位,可以使用類似find({‘_id’: {‘$gt’: ObjectId(‘593278c815c2602678bb2b8d’)}}) 這樣的方法來查詢,記錄好上次查詢的_id。

更新

對於資料更新可以使用update()方法,指定更新的條件和更新後的資料即可,例如:

condition = {‘name’: ‘Kevin’}

student = collection。find_one(condition)

student[‘age’] = 25

result = collection。update(condition, student)

print(result)

在這裡我們將name為Kevin的資料的年齡進行更新,首先指定查詢條件,然後將資料查詢出來,修改年齡,之後呼叫update方法將原條件和修改後的資料傳入,即可完成資料的更新。

執行結果:

{‘ok’: 1, ‘nModified’: 1, ‘n’: 1, ‘updatedExisting’: True}

返回結果是字典形式,ok即代表執行成功,nModified代表影響的資料條數。

另外update()方法其實也是官方不推薦使用的方法,在這裡也分了update_one()方法和update_many()方法,用法更加嚴格,第二個引數需要使用$型別運算子作為字典的鍵名,我們用示例感受一下。

condition = {‘name’: ‘Kevin’}

student = collection。find_one(condition)

student[‘age’] = 26

result = collection。update_one(condition, {‘$set’: student})

print(result)

print(result。matched_count, result。modified_count)

在這裡呼叫了update_one方法,第二個引數不能再直接傳入修改後的字典,而是需要使用{‘$set’: student}這樣的形式,其返回結果是UpdateResult型別,然後呼叫matched_count和modified_count屬性分別可以獲得匹配的資料條數和影響的資料條數。

執行結果:

1 0

我們再看一個例子:

condition = {‘age’: {‘$gt’: 20}}

result = collection。update_one(condition, {‘$inc’: {‘age’: 1}})

print(result)

print(result。matched_count, result。modified_count)

在這裡我們指定查詢條件為年齡大於20,然後更新條件為{‘$inc’: {‘age’: 1}},也就是年齡加1,執行之後會講第一條符合條件的資料年齡加1。

執行結果:

1 1

可以看到匹配條數為1條,影響條數也為1條。

如果呼叫update_many()方法,則會將所有符合條件的資料都更新,示例如下:

condition = {‘age’: {‘$gt’: 20}}

result = collection。update_many(condition, {‘$inc’: {‘age’: 1}})

print(result)

print(result。matched_count, result。modified_count)

這時候匹配條數就不再為1條了,執行結果如下:

3 3

可以看到這時所有匹配到的資料都會被更新。

刪除

刪除操作比較簡單,直接呼叫remove()方法指定刪除的條件即可,符合條件的所有資料均會被刪除,示例如下:

result = collection。remove({‘name’: ‘Kevin’})

print(result)

執行結果:

{‘ok’: 1, ‘n’: 1}

另外依然存在兩個新的推薦方法,delete_one()和delete_many()方法,示例如下:

result = collection。delete_one({‘name’: ‘Kevin’})

print(result)

print(result。deleted_count)

result = collection。delete_many({‘age’: {‘$lt’: 25}})

print(result。deleted_count)

執行結果:

1

4

delete_one()即刪除第一條符合條件的資料,delete_many()即刪除所有符合條件的資料,返回結果是DeleteResult型別,可以呼叫deleted_count屬性獲取刪除的資料條數。

更多

另外PyMongo還提供了一些組合方法,如find_one_and_delete()、find_one_and_replace()、find_one_and_update(),就是查詢後刪除、替換、更新操作,用法與上述方法基本一致。

另外還可以對索引進行操作,如create_index()、create_indexes()、drop_index()等。

詳細用法可以參見官方文件:

http://

api。mongodb。com/python/

current/api/pymongo/collection。html

另外還有對資料庫、集合本身以及其他的一些操作,在這不再一一講解,可以參見官方文件:

http://

api。mongodb。com/python/

current/api/pymongo/

作者:崔慶才 Python愛好者社群專欄作者 授權原創釋出,請勿轉載,謝謝。

出處:Python3中PyMongo的用法

配套影片教程:Python3爬蟲三大案例實戰分享:貓眼電影、今日頭條街拍美圖、淘寶美食 Python3爬蟲三大案例實戰分享

公眾號:Python愛好者社群(微信ID:python_shequ)

小編個人微信:tsdatajob ,來不急回覆的,可以加小編微信溝通,謝謝。