最近項目在使用MongoDB作為圖片和文檔的存儲數(shù)據(jù)庫，為啥不直接存MySQL里，還要搭個MongoDB集群，麻不麻煩？
讓我們一探究竟，了解一下MongoDB的特點和基本用法。
三分鐘你將學會：
- MongoDB主要特征
- MongoDB優(yōu)缺點，揚長避短
- 何時選擇MongoDB？為啥要用它？
- MongoDB與MySQL關(guān)鍵字對比
- 下載與安裝過程中一些常見的坑
- JAVA整合MongoDB，實現(xiàn)農(nóng)民工增刪改查
一、基本概念
MongoDB是一款開源、跨平臺、分布式，具有大數(shù)據(jù)處理能力的文檔存儲數(shù)據(jù)庫。文檔數(shù)據(jù)庫MongoDB用于記錄文檔結(jié)構(gòu)的數(shù)據(jù)，比如JSON、XML結(jié)構(gòu)的數(shù)據(jù)。
二、MongoDB的主要特征
- 高性能。提供JSON、XML等可嵌入數(shù)據(jù)快速處理功能，提供文檔的索引功能，以提高查詢速度；
- 豐富的查詢語言。為數(shù)據(jù)聚合、結(jié)構(gòu)文檔、地理空間提供豐富的查詢功能；
- 高可用性。提供自動故障轉(zhuǎn)移和數(shù)據(jù)冗余處理功能；
- 水平擴展能力。提供基于多服務(wù)器集群的分布式數(shù)據(jù)處理能力，具體處理時分「主從」和「權(quán)衡」（基于Hash自動推選）兩種處理模式；
- 支持多種存儲引擎。MongoDB提供多種存儲引擎，WiredTiger引擎、MMAPv1引擎是基于硬盤讀寫的存儲引擎，In-Memory引擎是基于內(nèi)存的存儲引擎。
三、MongoDB的優(yōu)缺點
1、優(yōu)點
- Free-schema無模式文檔，適應(yīng)非結(jié)構(gòu)化數(shù)據(jù)存儲；
- 內(nèi)置GridFS，支持大容量的存儲；
- 內(nèi)置Sharding，分片簡單
- 弱一致性（最終一致），更能保證用戶的訪問速度;
- 查詢性能優(yōu)越，對于千萬級別的文檔對象，差不多10個G，對有索引的ID的查詢不會比MySQL慢，而對非索引字段的查詢，則是完勝MySQL;
- 聚合框架，它支持典型幾種聚合操作 , 比如，Aggregate pipelien, Map-Reduce等；
- 支持自動故障恢復(fù)
2、缺點
- 太吃內(nèi)存，快是有原因的，因為MongoDB把數(shù)據(jù)都放內(nèi)存里了；
- 對事務(wù)的支持不夠友好；
- 占用空間過大；
- 對聯(lián)表查詢的支持不夠強大；
- 只有最終一致性，言外之意，就是可能造成數(shù)據(jù)的不一致，如果想要保持強一致性，必須在一個服務(wù)器處理所有的讀寫操作，坑；
- 復(fù)雜聚合操作通過mapreduce創(chuàng)建，速度慢
- Mongodb全局鎖機制也是個坑；
- 預(yù)分配模式會帶來的磁盤瓶頸；
- 刪除記錄時不會釋放空間，相當于邏輯刪除，這個真的坑；
- MongoDB到現(xiàn)在為止，好像還沒有太好用的客戶端工具。
四、何時選擇MongoDB？
為啥要用它？
MongoDB事務(wù)
MongoDB目前只支持單文檔事務(wù)，MongoDB暫時不適合需要復(fù)雜事務(wù)的場景。靈活的文檔模型JSON格式存儲最接近真實對象模型，對開發(fā)者友好，方便快速開發(fā)迭代，可用復(fù)制集滿足數(shù)據(jù)高可靠、高可用的需求，運維較為簡單、故障自動切換可擴展分片集群海量數(shù)據(jù)存儲。
多引擎支持各種強大的索引需求
支持地理位置索引
可用于構(gòu)建各種O2O應(yīng)用
文本索引解決搜索的需求
TTL索引解決歷史數(shù)據(jù)過期的需求
Gridfs解決文件存儲的需求
aggregation & mapreduce解決數(shù)據(jù)分析場景需求，可以自己寫查詢語句或腳本，將請求分發(fā)到 MongoDB 上完成。
具體的應(yīng)用場景
傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在解決三高問題上的力不從心。何為三高？
- High performance - 對數(shù)據(jù)庫高并發(fā)讀寫的需求。
- Huge Storage - 對海量數(shù)據(jù)的高效率存儲和訪問的需求。
- High Scalability && High Availability- 對數(shù)據(jù)庫的高可擴展性和高可用性的需求。
MongoDB可以完美解決三高問題。
以下是幾個實際的應(yīng)用案例：
1）游戲場景
使用MongoDB存儲游戲用戶信息、裝備、積分等，直接以內(nèi)嵌文檔的形式存儲，方便查詢、更新。
2）物流場景
使用MongoDB存儲訂單信息、訂單狀態(tài)、物流信息，訂單狀態(tài)在運送過程中飛速迭代、以MongoDB內(nèi)嵌數(shù)組的形式來存儲，一次查詢就能將訂單所有的變更查出來，牛逼plus。
3）社交場景
使用MongoDB存儲用戶信息，朋友圈信息，通過地理位置索引實現(xiàn)附近的人、定位功能。
4）物聯(lián)網(wǎng)場景
使用MongoDB存儲設(shè)備信息、設(shè)備匯報的日志信息、并對這些信息進行多維度分析。
5）視頻直播
使用MongoDB存儲用戶信息、點贊互動信息。
選擇MongoDB的場景總結(jié)
- 數(shù)據(jù)量大
- 讀寫操作頻繁
- 數(shù)據(jù)價值較低，對事務(wù)要求不高
五、MongoDB與MySQL關(guān)鍵字對比
關(guān)鍵字對比
集合相當于MySQL中的表
集合就是一組文檔。可以看作是具有動態(tài)模式的表。
集合具有動態(tài)模式的特性。這意味著一個集合中的文檔可以具有任意數(shù)量的不同形態(tài)。
但是，將不同類型的文檔存放在一個集合中會出現(xiàn)很多問題：
- 文檔中可以存放任意類型的變量，但是，這里不建議將不同類型的文檔保存在同一個集合中，開發(fā)人員需要確保每個查詢只返回特定模式的文檔，或者確保執(zhí)行查詢的應(yīng)用程序代碼可以處理不同類型的文檔；
- 獲取集合列表比提取集合中的文檔類型列表要快得多，減少磁盤查找次數(shù)；
- 相同類型的文檔存放在同一個集合中可以實現(xiàn)數(shù)據(jù)的局部性，對于集合，讓使用者見文知意；
- 集合中只存放單一類型的文檔，可以更高效地對集合進行索引。
集合的命名
- 集合名稱中不能是空字符串；
- 集合名稱不能包含（空字符），因為這個字符用于表示一個集合名稱的結(jié)束；
- 集合名稱不能以system.開頭，該前綴是為內(nèi)部集合保留的。
- 集合名稱不能有$，只能在某些特定情況下使用。通常情況下，可以認為這兩個字符是MongoDB的保留字符，如果使用不當，那么驅(qū)動程序?qū)o法正常工作。
文檔相當于MySQL中的行
文檔是MongoDB中的基本數(shù)據(jù)單元，相當于傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的行，它是一組有序鍵值的集合。每個文檔都有一個特殊的鍵“_id”，其在所屬的集合中是唯一的。
文檔中的鍵是字符串類型。
鍵中不能含有（空字符）。這個字符用于表示一個鍵的結(jié)束。.和$是特殊字符，只能在某些特定情況下使用。通常情況下，可以認為這兩個字符是MongoDB的保留字符，如果使用不當，那么驅(qū)動程序?qū)o法正常工作。
游標
數(shù)據(jù)庫會使用游標返回find的執(zhí)行結(jié)果。游標的客戶端實現(xiàn)通常能夠在很大程度上對查詢的最終輸出進行控制。你可以限制結(jié)果的數(shù)量，跳過一些結(jié)果，按任意方向的任意鍵組合對結(jié)果進行排序，以及執(zhí)行許多其他功能強大的操作。
通過cursor.hasNext()檢查是否還有其它結(jié)果，通過cursor.next()用來對其進行獲取。
調(diào)用find()時，shell并不會立即查詢數(shù)據(jù)庫，而是等到真正開始請求結(jié)果時才發(fā)送查詢，這樣可以在執(zhí)行之前給查詢附加額外的選項。cursor對象的大多數(shù)方法會返回游標本身，這樣就可以按照任意順序?qū)⑦x項鏈接起來了。
在使用db.users.find();查詢時，實際上查詢并沒有真正執(zhí)行，只是在構(gòu)造查詢，執(zhí)行cursor.hasNext()，查詢才會發(fā)往服務(wù)器端。shell會立刻獲取前100個結(jié)果或者前4MB的數(shù)據(jù)（兩者之中的較小者），這樣下次調(diào)用next或者hasNext時就不必再次連接服務(wù)器去獲取結(jié)果了。在客戶端遍歷完第一組結(jié)果后，shell會再次連接數(shù)據(jù)庫，使用getMore請求更多的結(jié)果。getMore請求包含一個游標的標識符，它會向數(shù)據(jù)庫詢問是否還有更多的結(jié)果，如果有則返回下一批結(jié)果。這個過程會一直持續(xù)，直到游標耗盡或者結(jié)果被全部返回。
游標的生命周期
在服務(wù)器端，游標會占用內(nèi)存和資源。一旦游標遍歷完結(jié)果之后，或者客戶端發(fā)送一條消息要求終止，數(shù)據(jù)庫就可以釋放它正在使用的資源。
何時銷毀游標：
- 當游標遍歷完匹配的結(jié)果時，它會消除自身；
- 當游標超出客戶端的作用域時，驅(qū)動程序會向數(shù)據(jù)庫發(fā)送一條特殊的消息，讓數(shù)據(jù)庫終止該游標；
- 如果10分鐘沒有被使用的話，數(shù)據(jù)庫游標也將自動銷毀。
六、下載與安裝過程中一些常見的坑
1、下載地址：
https://www.mongodb.com/try/download/community2
- 配置環(huán)境變量D:Program FilesMongoDBServer5.0bin
- 在bin目錄下，重新打開一個窗口，D:Program FilesMongoDBServer5.0bin，打開cmd，輸入MongoDB
- 如果msi方式失敗，可以下載zip文件進行安裝
下載zip文件，解壓，在bin同級目錄下建data文件夾，在data下建一個db文件夾，存儲MongoDB數(shù)據(jù)。
在bin文件夾下執(zhí)行cmd，執(zhí)行mongod --dbpath D:Program Filesmongodbdatadb命令；
再在data目錄下，建一個logs文件夾，存放MongoDB日志。
在mongodb/bin目錄下，建一個mongod.cfg文件，寫入
systemLog:
destination: file
logAppend: true
path: D:Program Filesmongodbdatalogsmongod.log
storage:
dbPath: D:Program Filesmongodbdatadb
執(zhí)行mongod --config "D:Program Filesmongodbbinmongod.cfg" --install 命令，安裝MongoDB。
通過mongod --version檢查MongoDB版本。
D:Program Filesmongodbbin>mongod --version
db version v5.0.14
Build Info: {
"version": "5.0.14",
"gitVersion": "1b3b0073a0b436a8a502b612f24fb2bd572772e5",
"modules": [],
"allocator": "tcmalloc",
"environment": {
"distmod": "windows",
"distarch": "x86_64",
"target_arch": "x86_64"
}
}
2、mongodb由于目標計算機積極拒絕，無法連接
突然間，mongodb無法連接了？mongod.exe --dbpath "D:Program Filesmongodbdata完美解決。
注意一點，在重新啟動時，執(zhí)行mongod.exe --dbpath "D:Program Filesmongodbdata的窗口不要關(guān)閉。
3、由于找不到vcruntime140_1.dll,無法繼續(xù)執(zhí)行代碼
下載vcruntime140_1.dll文件；
將vcruntime140_1.dll文件拷貝到C:WindowsSystem32即可。
七、Java整合MongoDB，實現(xiàn)農(nóng)民工增刪改查
加入POM
<dependency>
<groupId>org.mongodb</groupId>
<artifactId>mongo-java-driver</artifactId>
<version>3.8.2</version>
</dependency>
MongoDBUtil工具類
package com.example.demo.utils;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import org.bson.Document;
import org.bson.conversions.Bson;
import com.mongodb.MongoClient;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.client.FindIterable;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.model.Filters;
public class MongoDBUtil {
private static MongoClient mongoClient;
private static MongoClient mongoClientIdentify;
/**
* 不通過認證獲取連接數(shù)據(jù)庫對象
*/
public static MongoDatabase getNoIdentifyConnect(String host, int port, String dbaseName) {
// 連接mongodb服務(wù)
MongoDBUtil.mongoClient = new MongoClient(host, port);
// 連接數(shù)據(jù)庫
MongoDatabase mongoDatabase = MongoDBUtil.mongoClient.getDatabase(dbaseName);
// 返回連接數(shù)據(jù)庫對象
return mongoDatabase;
}
/**
* 通過連接認證獲取MongoDB連接
*/
public static MongoDatabase getIdentifyConnect(String host, int port, String dbaseName, String userName, String password) {
List<ServerAddress> adds = new ArrayList<ServerAddress>();
ServerAddress serverAddress = new ServerAddress(host, port);
adds.add(serverAddress);
List<MongoCredential> credentials = new ArrayList<>();
MongoCredential mongoCredential = MongoCredential.createScramSha1Credential(userName, dbaseName, password.toCharArray());
credentials.add(mongoCredential);
// 通過連接認證獲取MongoDB連接
MongoDBUtil.mongoClientIdentify = new MongoClient(adds, credentials);
MongoDatabase mongoDatabase = MongoDBUtil.mongoClientIdentify.getDatabase(dbaseName);
return mongoDatabase;
}
/**
* 關(guān)閉連接
*/
public static void closeNoIdentifyConnect () {
MongoDBUtil.mongoClient.close();
}
/**
* 關(guān)閉連接
*/
public static void closeIdentifyConnect () {
MongoDBUtil.mongoClientIdentify.close();
}
/**
* 插入一個文檔
*/
public static void insertOne (Map<String, Object> data, MongoDatabase mongoDatabase, String col) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//創(chuàng)建文檔
Document document = new Document();
for (Map.Entry<String, Object> m : data.entrySet()) {
document.append(m.getKey(), m.getValue()).append(m.getKey(), m.getValue());
}
//插入一個文檔
collection.insertOne(document);
}
/**
* 插入多個文檔
*/
public static void insertMany (List<Map<String, Object>> listData, MongoDatabase mongoDatabase, String col) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//要插入的數(shù)據(jù)
List<Document> list = new ArrayList<>();
for (Map<String, Object> data : listData) {
//創(chuàng)建文檔
Document document = new Document();
for (Map.Entry<String, Object> m : data.entrySet()) {
document.append(m.getKey(), m.getValue());
}
list.add(document);
}
//插入多個文檔
collection.insertMany(list);
}
/**
* 刪除匹配到的第一個文檔
*/
public static void delectOne (String col, String key, Object value, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//申明刪除條件
Bson filter = Filters.eq(key, value);
//刪除與篩選器匹配的單個文檔
collection.deleteOne(filter);
}
/**
* 刪除匹配的所有文檔
*/
public static void deleteMany (String col, String key, Object value, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//申明刪除條件
Bson filter = Filters.eq(key, value);
//刪除與篩選器匹配的所有文檔
collection.deleteMany(filter);
}
/**
* 刪除集合中所有文檔
*/
public static void deleteAllDocument(String col, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
collection.deleteMany(new Document());
}
/**
* 刪除文檔和集合。
*/
public static void deleteAllCollection(String col, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
collection.drop();
}
/**
* 修改單個文檔，修改過濾器篩選出的第一個文檔
* @param col 修改的集合
* @param key 修改條件的鍵
* @param value 修改條件的值
* @param eqKey 要修改的鍵，如果eqKey不存在，則新增記錄
* @param eqValue 要修改的值
* @param mongoDatabase 連接數(shù)據(jù)庫對象
*/
public static void updateOne (String col, String key, Object value,String eqKey, Object eqValue, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//修改過濾器
Bson filter = Filters.eq(key, value);
//指定修改的更新文檔
Document document = new Document("$set", new Document(eqKey, eqValue));
//修改單個文檔
collection.updateOne(filter, document);
}
/**
* 修改多個文檔
* @param col 修改的集合
* @param key 修改條件的鍵
* @param value 修改條件的值
* @param eqKey 要修改的鍵，如果eqKey不存在，則新增記錄
* @param eqValue 要修改的值
* @param mongoDatabase 連接數(shù)據(jù)庫對象
*/
public static void updateMany (String col, String key, Object value, String eqKey, Object eqValue, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//修改過濾器
Bson filter = Filters.eq(key, value);
//指定修改的更新文檔
Document document = new Document("$set", new Document(eqKey, eqValue));
//修改多個文檔
collection.updateMany(filter, document);
}
/**
* 查找集合中的所有文檔
*/
public static MongoCursor<Document> find (String col, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//查找集合中的所有文檔
FindIterable<Document> findIterable = collection.find();
MongoCursor<Document> cursorIterator = findIterable.iterator();
return cursorIterator;
}
/**
* 按條件查找集合中文檔
*/
public static MongoCursor<Document> Filterfind (String col,String key, Object value, MongoDatabase mongoDatabase) {
//獲取集合
MongoCollection<Document> collection = mongoDatabase.getCollection(col);
//指定查詢過濾器
Bson filter = Filters.eq(key, value);
//指定查詢過濾器查詢
FindIterable<Document> findIterable = collection.find(filter);
MongoCursor<Document> cursorIterator = findIterable.iterator();
return cursorIterator;
}
}
測試類
<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version></dependency>
package com.example.demo.utils;
import com.mongodb.client.MongoCursor;import com.mongodb.client.MongoDatabase;import org.bson.Document;import org.junit.Test;
import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;
public class MongoDBTest {
// 獲取數(shù)據(jù)庫連接對象 MongoDatabase mongoDatabase = MongoDBUtil.getNoIdentifyConnect("127.0.0.1", 27017, "test");
@Test public void insertOne() { Map<String, Object> map = new HashMap<String, Object>(); map.put("姓名", "哪吒編程"); map.put("性別", "男"); map.put("年齡", 18); MongoDBUtil.insertOne(map, mongoDatabase, "worker"); MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void insertMany() { Map<String, Object> map1 = new HashMap<String, Object>(); map1.put("姓名", "哪吒編程2"); map1.put("性別", "男"); map1.put("年齡", 18); Map<String, Object> map2 = new HashMap<String, Object>(); map2.put("姓名", "妲己"); map2.put("性別", "女"); map2.put("年齡", 18); List<Map<String, Object>> listData = new ArrayList<>(); listData.add(map1); listData.add(map2); MongoDBUtil.insertMany(listData, mongoDatabase, "worker"); MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void delectOne() { MongoDBUtil.delectOne("worker", "姓名", "妲己", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void deleteMany() {
MongoDBUtil.deleteMany("worker", "姓名", "哪吒編程", mongoDatabase); MongoDBUtil.deleteMany("worker", "姓名", "妲己", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void deleteAllDocument() { MongoDBUtil.deleteAllDocument("worker", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void deleteAllCollection() {
MongoDBUtil.deleteAllCollection("worker", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void updateOne() {
MongoDBUtil.updateOne("worker", "姓名", "哪吒編程2","姓名", "哪吒編程", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void updateMany() {
MongoDBUtil.updateMany("worker", "姓名", "哪吒編程2","姓名", "哪吒編程", mongoDatabase);
MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void find() { MongoCursor<Document> mongoCursor = MongoDBUtil.find("worker", mongoDatabase);
while (mongoCursor.hasNext()) { Document document = mongoCursor.next(); System.out.println(document + " size: " + document.size()); } MongoDBUtil.closeNoIdentifyConnect(); }
@Test public void filterfind() { MongoCursor<Document> mongoCursor = MongoDBUtil.Filterfind("worker", "姓名", "哪吒編程", mongoDatabase);
while (mongoCursor.hasNext()) { Document document = mongoCursor.next(); System.out.println(document + " size: " + document.size()); } MongoDBUtil.closeNoIdentifyConnect(); }}
作者丨哪吒
來源丨公眾號：哪吒編程（ID：gh_61b183bcf690）
