這次我們采取技術(shù)演進(jìn)的方式來談?wù)剶?shù)據(jù)庫連接池的技術(shù)出現(xiàn)過程及其原理,以及當(dāng)下最流行的開源數(shù)據(jù)庫連接池jar包。

一、早期我們怎么進(jìn)行數(shù)據(jù)庫操作

1、原理
一般來說,JAVA應(yīng)用程序訪問數(shù)據(jù)庫的過程是:
①裝載數(shù)據(jù)庫驅(qū)動程序;
②通過jdbc建立數(shù)據(jù)庫連接;
③訪問數(shù)據(jù)庫,執(zhí)行sql語句;
④斷開數(shù)據(jù)庫連接。
2、代碼
// 查詢所有用戶 public void FindAllUsers (){ //1、裝載sqlserver驅(qū)動對象 DriverManager.registerDriver(new SQLServerDriver()); //2、通過JDBC建立數(shù)據(jù)庫連接 Connection con =DriverManager.getConnection("jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123"); //3、創(chuàng)建狀態(tài) Statement state =con.createStatement(); //4、查詢數(shù)據(jù)庫并返回結(jié)果 ResultSet result =state.executeQuery("select * from users"); //5、輸出查詢結(jié)果 while(result.next()){ System.out.println(result.getString("email")); } //6、斷開數(shù)據(jù)庫連接 result.close(); state.close(); con.close(); }
3、分析
程序開發(fā)過程中,存在很多問題:首先,每一次web請求都要建立一次數(shù)據(jù)庫連接。建立連接是一個費時的活動,每次都得花費0.05s~1s的時間,而且系統(tǒng)還要分配內(nèi)存資源。這個時間對于一次或幾次數(shù)據(jù)庫操作,或許感覺不出系統(tǒng)有多大的開銷。可是對于現(xiàn)在的web應(yīng)用,尤其是大型電子商務(wù)網(wǎng)站,同時有幾百人甚至幾千人在線是很正常的事。在這種情況下,頻繁的進(jìn)行數(shù)據(jù)庫連接操作勢必占用很多的系統(tǒng)資源,網(wǎng)站的響應(yīng)速度必定下降,嚴(yán)重的甚至?xí)斐煞?wù)器的崩潰。不是危言聳聽,這就是制約某些電子商務(wù)網(wǎng)站發(fā)展的技術(shù)瓶頸問題。其次,對于每一次數(shù)據(jù)庫連接,使用完后都得斷開。否則,如果程序出現(xiàn)異常而未能關(guān)閉,將會導(dǎo)致數(shù)據(jù)庫系統(tǒng)中的內(nèi)存泄漏,最終將不得不重啟數(shù)據(jù)庫。還有,這種開發(fā)不能控制被創(chuàng)建的連接對象數(shù),系統(tǒng)資源會被毫無顧及的分配出去,如連接過多,也可能導(dǎo)致內(nèi)存泄漏,服務(wù)器崩潰。
上述的用戶查詢案例,如果同時有1000人訪問,就會不斷的有數(shù)據(jù)庫連接、斷開操作:

通過上面的分析,我們可以看出來,“數(shù)據(jù)庫連接”是一種稀缺的資源,為了保障網(wǎng)站的正常使用,應(yīng)該對其進(jìn)行妥善管理。其實我們查詢完數(shù)據(jù)庫后,如果不關(guān)閉連接,而是暫時存放起來,當(dāng)別人使用時,把這個連接給他們使用。就避免了一次建立數(shù)據(jù)庫連接和斷開的操作時間消耗。原理如下:

二、技術(shù)演進(jìn)出來的數(shù)據(jù)庫連接池
由上面的分析可以看出,問題的根源就在于對數(shù)據(jù)庫連接資源的低效管理。我們知道,對于共享資源,有一個很著名的設(shè)計模式:資源池(resource pool)。該模式正是為了解決資源的頻繁分配﹑釋放所造成的問題。為解決上述問題,可以采用數(shù)據(jù)庫連接池技術(shù)。數(shù)據(jù)庫連接池的基本思想就是為數(shù)據(jù)庫連接建立一個“緩沖池”。預(yù)先在緩沖池中放入一定數(shù)量的連接,當(dāng)需要建立數(shù)據(jù)庫連接時,只需從“緩沖池”中取出一個,使用完畢之后再放回去。我們可以通過設(shè)定連接池最大連接數(shù)來防止系統(tǒng)無盡的與數(shù)據(jù)庫連接。更為重要的是我們可以通過連接池的管理機(jī)制監(jiān)視數(shù)據(jù)庫的連接的數(shù)量﹑使用情況,為系統(tǒng)開發(fā)﹑測試及性能調(diào)整提供依據(jù)。
我們自己嘗試開發(fā)一個連接池,來為上面的查詢業(yè)務(wù)提供數(shù)據(jù)庫連接服務(wù):
① 編寫class 實現(xiàn)DataSource 接口
② 在class構(gòu)造器一次性創(chuàng)建10個連接,將連接保存LinkedList中
③ 實現(xiàn)getConnection 從 LinkedList中返回一個連接
④ 提供將連接放回連接池中方法
1、連接池代碼
public class MyDataSource implements DataSource { //鏈表 --- 實現(xiàn)棧結(jié)構(gòu) privateLinkedList<Connection> dataSources = new LinkedList<Connection>(); //初始化連接數(shù)量 publicMyDataSource() { //一次性創(chuàng)建10個連接 for(int i = 0; i < 10; i++) { try { //1、裝載sqlserver驅(qū)動對象 DriverManager.registerDriver(new SQLServerDriver()); //2、通過JDBC建立數(shù)據(jù)庫連接 Connection con =DriverManager.getConnection( "jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123"); //3、將連接加入連接池中 dataSources.add(con); } catch (Exception e) { e.printStackTrace(); } } } @Override publicConnection getConnection() throws SQLException { //取出連接池中一個連接 final Connection conn = dataSources.removeFirst(); // 刪除第一個連接返回 return conn; } //將連接放回連接池 publicvoid releaseConnection(Connection conn) { dataSources.add(conn); } }
2、使用連接池重構(gòu)我們的用戶查詢函數(shù)
//查詢所有用戶 public void FindAllUsers(){ //1、使用連接池建立數(shù)據(jù)庫連接 MyDataSource dataSource = new MyDataSource(); Connection conn =dataSource.getConnection(); //2、創(chuàng)建狀態(tài) Statement state =con.createStatement(); //3、查詢數(shù)據(jù)庫并返回結(jié)果 ResultSet result =state.executeQuery("select * from users"); //4、輸出查詢結(jié)果 while(result.next()){ System.out.println(result.getString("email")); } //5、斷開數(shù)據(jù)庫連接 result.close(); state.close(); //6、歸還數(shù)據(jù)庫連接給連接池 dataSource.releaseConnection(conn); }
這就是數(shù)據(jù)庫連接池的原理,它大大提供了數(shù)據(jù)庫連接的利用率,減小了內(nèi)存吞吐的開銷。我們在開發(fā)過程中,就不需要再關(guān)心數(shù)據(jù)庫連接的問題,自然有數(shù)據(jù)庫連接池幫助我們處理,這回放心了吧。但連接池需要考慮的問題不僅僅如此,下面我們就看看還有哪些問題需要考慮。
三、連接池還要考慮更多的問題
1、并發(fā)問題
為了使連接管理服務(wù)具有最大的通用性,必須考慮多線程環(huán)境,即并發(fā)問題。這個問題相對比較好解決,因為java語言自身提供了對并發(fā)管理的支持,使用synchronized關(guān)鍵字即可確保線程是同步的。使用方法為直接在類方法前面加上synchronized關(guān)鍵字,如:
publicsynchronized connection getconnection()
2、多數(shù)據(jù)庫服務(wù)器和多用戶
對于大型的企業(yè)級應(yīng)用,常常需要同時連接不同的數(shù)據(jù)庫(如連接oracle和sybase)。如何連接不同的數(shù)據(jù)庫呢?我們采用的策略是:設(shè)計一個符合單例模式的連接池管理類,在連接池管理類的唯一實例被創(chuàng)建時讀取一個資源文件,其中資源文件中存放著多個數(shù)據(jù)庫的url地址等信息。根據(jù)資源文件提供的信息,創(chuàng)建多個連接池類的實例,每一個實例都是一個特定數(shù)據(jù)庫的連接池。連接池管理類實例為每個連接池實例取一個名字,通過不同的名字來管理不同的連接池。
對于同一個數(shù)據(jù)庫有多個用戶使用不同的名稱和密碼訪問的情況,也可以通過資源文件處理,即在資源文件中設(shè)置多個具有相同url地址,但具有不同用戶名和密碼的數(shù)據(jù)庫連接信息。
3、事務(wù)處理
我們知道,事務(wù)具有原子性,此時要求對數(shù)據(jù)庫的操作符合“all-all-nothing”原則即對于一組sql語句要么全做,要么全不做。
在java語言中,connection類本身提供了對事務(wù)的支持,可以通過設(shè)置connection的autocommit屬性為false 然后顯式的調(diào)用commit或rollback方法來實現(xiàn)。但要高效的進(jìn)行connection復(fù)用,就必須提供相應(yīng)的事務(wù)支持機(jī)制。可采用每一個事務(wù)獨占一個連接來實現(xiàn),這種方法可以大大降低事務(wù)管理的復(fù)雜性。
4、連接池的分配與釋放
連接池的分配與釋放,對系統(tǒng)的性能有很大的影響。合理的分配與釋放,可以提高連接的復(fù)用度,從而降低建立新連接的開銷,同時還可以加快用戶的訪問速度。
對于連接的管理可使用空閑池。即把已經(jīng)創(chuàng)建但尚未分配出去的連接按創(chuàng)建時間存放到一個空閑池中。每當(dāng)用戶請求一個連接時,系統(tǒng)首先檢查空閑池內(nèi)有沒有空閑連接。如果有就把建立時間最長(通過容器的順序存放實現(xiàn))的那個連接分配給他(實際是先做連接是否有效的判斷,如果可用就分配給用戶,如不可用就把這個連接從空閑池刪掉,重新檢測空閑池是否還有連接);如果沒有則檢查當(dāng)前所開連接池是否達(dá)到連接池所允許的最大連接數(shù)(maxconn)如果沒有達(dá)到,就新建一個連接,如果已經(jīng)達(dá)到,就等待一定的時間(timeout)。如果在等待的時間內(nèi)有連接被釋放出來就可以把這個連接分配給等待的用戶,如果等待時間超過預(yù)定時間timeout 則返回空值(null)。系統(tǒng)對已經(jīng)分配出去正在使用的連接只做計數(shù),當(dāng)使用完后再返還給空閑池。對于空閑連接的狀態(tài),可開辟專門的線程定時檢測,這樣會花費一定的系統(tǒng)開銷,但可以保證較快的響應(yīng)速度。也可采取不開辟專門線程,只是在分配前檢測的方法。
5、連接池的配置與維護(hù)
連接池中到底應(yīng)該放置多少連接,才能使系統(tǒng)的性能最佳?系統(tǒng)可采取設(shè)置最小連接數(shù)(minconn)和最大連接數(shù)(maxconn)來控制連接池中的連接。最小連接數(shù)是系統(tǒng)啟動時連接池所創(chuàng)建的連接數(shù)。如果創(chuàng)建過多,則系統(tǒng)啟動就慢,但創(chuàng)建后系統(tǒng)的響應(yīng)速度會很快;如果創(chuàng)建過少,則系統(tǒng)啟動的很快,響應(yīng)起來卻慢。這樣,可以在開發(fā)時,設(shè)置較小的最小連接數(shù),開發(fā)起來會快,而在系統(tǒng)實際使用時設(shè)置較大的,因為這樣對訪問客戶來說速度會快些。最大連接數(shù)是連接池中允許連接的最大數(shù)目,具體設(shè)置多少,要看系統(tǒng)的訪問量,可通過反復(fù)測試,找到最佳點。
如何確保連接池中的最小連接數(shù)呢?有動態(tài)和靜態(tài)兩種策略。動態(tài)即每隔一定時間就對連接池進(jìn)行檢測,如果發(fā)現(xiàn)連接數(shù)量小于最小連接數(shù),則補(bǔ)充相應(yīng)數(shù)量的新連接以保證連接池的正常運(yùn)轉(zhuǎn)。靜態(tài)是發(fā)現(xiàn)空閑連接不夠時再去檢查。
四、實際開發(fā)中有成熟的開源連接池供我們使用
理解了連接池的原理就可以了,沒有必要什么都從頭寫一遍,那樣會花費很多時間,并且性能及穩(wěn)定性也不一定滿足要求。事實上,已經(jīng)存在很多流行的性能優(yōu)良的第三方數(shù)據(jù)庫連接池jar包供我們使用。如:
- Apache commons-dbcp
- c3p0
- Druid
- HikariCP
其中c3p0已經(jīng)很久沒有更新了。DBCP更新速度很慢,基本處于不活躍狀態(tài),而Druid和HikariCP處于活躍狀態(tài)的更新中。