一、前言
- 大家好,我是小誠,《從0到1-全面深刻理解MySQL系列》已經來到第四章,這一章節的主要從一條SQL執行的開始,由淺入深的解析SQL語句由客戶端到服務器的完整執行流程,最終達到 "知其然、知其所以然" 的目的。
- 最近時常會收到一些小伙伴反饋的問題,為了方便交流,所以創建了交流群,感興趣的可以添加,歡迎大家一起交流,吹水,摸魚,進步。
- 《從0到1-全面深刻理解MySQL系列》系列文章會持續更新,感興趣的小伙伴可以關注我,,一起加油,一起進步!,如有幫助,不要忘記一鍵三聯哦,?( ´???` )比心！
二、孽緣,一條SQL是如何被執行
前幾天在網上進行了一個面試,關于數據庫方面的面試題其實也沒少背,但是這個面試官的問題多少讓我有些觸不及防,他沒有詢問比較常見的基礎語法和優化的問題,而是讓我解釋一條SQL從客戶端到服務端的執行流程,這讓我十分尷尬,因為平時只顧應用層面的東西,沒有真正去理解到更深層次的東西,所以遇到非常規問題,很容易蒙圈,希望大家以我為鑒,學習一個知識要盡量達到"知其然、知其所以然",這樣即使面試官變換問題的角度,我們也能更好的應對回答,叨嘮完了,正片開始!
平常工作中,我們最常見的就是從客戶端發送一條SQL到數據庫服務端進行相應的數據表操作,其實抽象起來就是: 客戶端(也就是我們的業務代碼)發送了一段SQL文本，服務端接收到了一段SQL文本然后進行解析處理，最終返回一段文本(執行結果)。
那實際上服務端是對客戶端進行了哪些解析步驟的操作才最終返回執行結果的呢?這里我們首先通過一張圖片形象的展示解析的流程,然后再對逐個流程進行具體的解析。
2.1、連接處理模塊:
該模塊主要是管理客戶端的連接,客戶端可以通過TCP/IP、命名管道、共享內存、套接字等方式與服務端進行連接,服務端接收到連接后,會專門生成一個線程去處理客戶端的請求,當完成客戶端的請求后,該線程不會被銷毀,而是放入線程池中,從而減少了頻繁創建和刪除線程的消耗,大大節省了系統資源和提高了效率。
客戶端每次發起連接請求時,都會攜帶用戶名、密碼等驗證信息,如果服務器驗證不通過,則會拒絕連接,同時,如果很多客戶端同時請求連接,為了避免服務端程序崩潰和提高效率,可以限制最大的連接數量。
2.2、解析和優化模塊
客戶端和服務端建立完連接后,服務端會有專門的線程對客戶端的請求做處理,此時服務端接收到的是客戶端發送的一段文本信息,需要轉換成自己可以識別的信息，具體步驟如下:
2.2.1、查詢緩存
試想,周末晚上你用手機看電影學習經驗,突然老板給來了個電話,讓你去處理一個緊急事情,你不得不中斷看電影去處理突發事件,處理完后你肯定是想從上一次播放的位置繼續觀看而不是從頭觀看,緩存的作用就體現在這里。
為了提高響應效率,Mysql服務端程序會根據客戶端請求的信息生成對應的緩存,如果請求的信息符合緩存中的,則直接返回,無需再去與底層進行更多的交互。
但是、Mysql服務器程序并不能像人一樣智能,如果兩次的請求文本不一樣如多了空格、大小寫以及每次調用會返回不同的值的函數等情況時,都不會命中緩存,因為它無法判斷多出來的這些東西是否會影響SQL最終執行的結果。
使用到了緩存,就涉及到對緩存維護,Mysql中的緩存檢測程序會監測到緩存涉及的每一張表,如果表中的數據或者結構發生改變,如執行了insert、alter等命令時,那么它會將該表對應的緩存進行失效和刪除。因為維護緩存是需要很大的開銷,特別是表很多的情況下,所以Mysql8.0時已經將查詢緩存這個流程刪除。
2.2.2、語法解析
如果請求沒有命中緩存,則進入到語法解析的步驟,因為服務端程序接收到的是客戶端發送過來的文本信息,Mysql服務端程序要從文本中將具體的請求含義解析出來,如查詢什么字段,查詢哪一些表等
2.2.3、查詢優化
經過語法解析步驟后,服務端程序已經知道客戶端請求的信息,如請求的表,數據等,但是,此時服務器程序還不會立馬根據這些信息去執行.它會解析出來的語句進行一些優化,如:子連接轉為關聯查詢,內外連接查詢等,以達到最大的優化效率,優化的結果就是生成一個執行計劃,就是平常我們使用Explain關鍵字看到的一個結果。
3、存儲引擎模塊
經過了連接處理和解析優化倆步驟后,實際上還是沒有對實際的數據進行任何的處理,Mysql中,將對數據存儲和提取的操作抽取到了一個叫存儲引擎的模塊中。
在邏輯上,我們看到的是表的數據是一行行的形式,但實際物理層面上,表的數據如何存儲、如何讀取表的數據、這都是存儲引擎需要負責的操作,Mysql中提供了不同的存儲引擎,不同的存儲引擎存儲的數據結構可能不相同,采用的算法也可能不同。
4、延伸
我們常在一些教學視頻或者專業文章中看到MySQL Server層和存儲引擎模塊的概念,它們具體的含義如下:
為了管理方便,將連接處理/管理、查詢緩存、語法解析、查詢優化等不涉及到真實數據存取的功能劃分為Mysql Server層的功能。
把涉及到真實數據存取的功能劃分為存儲引擎模塊的功能,Mysql Server層通過各個存儲引擎提供的API進行訪問響應的存儲引擎,Mysql通過查詢優化生成了執行計劃后,通過調用存儲引擎提供的API獲取到對應的數據返回給客戶端即可。
三、MySQL流程常見面試題
3.1、數據庫語句的執行順序
(一): 執行順序
from -> on -> join -> where -> group by -> having -> count(聚合函數) -> select -> distinct -> order by -> limit
(二): 執行步驟解釋:
(1)、from: 表示數據的來源
(2)、on: 表示數據的關聯表,執行完后生成一個臨時表t1,提供給下一步的操作使用
(3)、join: 將join表的數據補充到on執行完成的臨時表t1中,如: left join則將坐標剩余的數據添加到臨時表t1中,如果join超過3個,則重復on...join之間的步驟。
(4)、where: 根據攜帶的條件,從臨時表中篩選出符合條件的數據,并生成臨時表t2。
(5)、groub by: 根據攜帶的條件,將臨時表t2進行相應的數據分組,并形成臨時表t3,如果語句包含了group by則它后面的字段必須出現在select中或者出現在聚合函數中,否則會報SQL語法錯誤。
(6)、having: 篩選分組后臨時表t3的數據,得到臨時表t4。
(7)、count等聚合函數: 對臨時表進行指定字段的聚合函數操作,形成臨時表t5。
(8)、select: 從臨時表篩選出需要返回的數據,形成臨時表t6。
(9)、distinct: 對臨時表t6進行指定的去重篩選,形成臨時表t7。
(10)、order by: 對臨時表t7排序,形成臨時表t8。
(11)、limit: 篩選返回的數據條數
想要了解更多的執行過程的問題,可以查看之前專門解析執行過程的文章: 你真的懂使用Group by?
四、系列文章
1、《從0到1-全面深刻理解MySQL系列》- 最詳細的MySQL安裝流程(Window版)
2、《從0到1-全面深刻理解MySQL系列》- 最詳細的MySQL安裝流程(linux環境)
3、《從0到1-全面深刻理解MySQL系列》- 忘記MySQL登錄密碼時如何連接數據庫
五、小結
從上文我們可以知道,MySQL服務端又劃分為: MySQL Server層和存儲引擎層。MySQL Server層主要負責進行客戶端連接、語法解析、語法優化等操作,存儲引擎層負責對實際數據的存取操作。
一條SQL語句完整的解析需要經歷以下步驟: 客戶端和服務端請求處理 -》查詢緩存 -》語法解析 -》查詢優化 -》存儲引擎對數據存取 -》 返回處理結果
