眾所周知，大數據就是海量數據，如視頻網站每天用戶上傳的視頻數量數以萬計，這個“萬計”是以GB為單位嗎？不，是PB為單位，即1PB等于差不多100萬GB。這就是大數據了。這些數據如果沒有分析的話，是沒用的，如我想知道視頻網站上最受歡迎的裙子，我如果不將視頻數據轉換為一種能比較的單一格式，如Excel表格，這堆大數據就對我沒用的，相反，如果我做了數據分析，找出了最受歡迎的裙子，這堆大數據就有用了。
當前做數據分析工作的朋友，大部分人能使用Excel吧，畢竟不會用的，估計都退休了。如果某天，你需要面對的數據量是以PB為單位的Excel文件，恐怕做到退休都無法完成吧。
估計別人以為我是說笑，其實，這不好笑，我只說一件事，傳感器越來越智能了。不談傳感器的概念，我舉幾個例子你就明白了，人臉識別的攝像頭，藍牙體溫計，聲控防盜門等等。生物為了從外界獲取信息，必須借助于感覺器官，而我們為了讓機器從外界獲取信息，發明了傳感器，這樣會不會好明白一點。
當越來越多的企業借助傳感器來進行記錄工作，如倉庫的收發存，物流的出車記錄，發票的開具工作，貨款的收款記錄均通過傳感器來處理，這樣，這些傳感器產生的數據，他們每天所產生的數據就不再以GB為單位，而是以PB，EB為單位了。
再長遠一點，如果未來是以無線信息技術為載體的話，即，無紙化+手機終端+網絡云+物聯網，數據的輸入，存放，輸出都不需經過人手處理的，能自動記錄事件的時間，地點，人物，起因，經過和結果。你面對的，除了大堆的數據，還將是很多顆粒度非常細的數據沙，你必須利用更好的數據處理工具。
有人認為，審計中最重要的是職業判斷，風控理論，而審核數據，數據分析這些工作，只是審計手段中的一部分，不需要太重視。我覺得，隨著技術革新促進產業結構的不斷調整，固守之前的風控理論，無疑是“刻舟求劍”。雖然現在很多行業的信息化程度不高，但不代表信息技術真的不重要。
我們目前正面臨著一個重大的歷史節點。應該說，改革開放的三十余年后，中國在工業化、信息化、網絡化方面交出了一份不錯的成績單。如今世界正式邁入大數據時代，世界也向我們出了一份試卷。
小數據與大數據
如果以數據量進行劃分，工業時代可以被劃分為大數據時代和小數據時代。目前有多很的討論，如大數據時代與小數據時代的劃分標準。而我有一些不同的想法，這個就是獲取數據的成本。
在20年前，獲取大量的數據是一件高成本的事，我記得，想要獲取客戶的消費喜好，需要專業調查公司做大量的統計工作，有的公司采用抽樣的方式來進行統計，有的公司采用問卷調查進行統計，無論結果如何，而且這些數據錄入和輸出都需要人手操作，而且，對獲取數據的源頭是有限制的，即我只調查1000人，或我只抽樣1000人，這個是小數據時代下無可奈何的妥協。
而現在，隨著智能手機，5G網絡，云計算，物聯網的出現，獲取數據的成本已經大大降低了，以手機為例，智慧手機除了能上網之外，還是一個很好的傳感器。在這一次的新冠疫情當中，出現了手機加載的“健康碼”，就是大數據應用的一個例子。
“健康碼”其實不是證明你是否健康，而是證明你進過的超市、坐過的公交、乘過的飛機火車等，是否有高危人群。其信息來源包括公民登記、企業登記、基層登記。如果你不幸的與感染者同時進出超市，那么你的“健康碼”就從綠變紅了。還有，如果你去了另一個城市，手機能自動記錄你去過的時間和地點，“健康碼”就會自動更新。
這個時候，智能手機就是一個數據收集點，而全國幾乎人手一臺的情況下，數據的產生、記錄和傳遞就比較省成本了。當18個省的出行數據通過手機網絡匯總到數據中心后臺，同時讓各個省的數據得到數據互認，從而實現對人群流動的精準管理。
我個人認為，大數據與小數據之間并沒有絕對的界限，但以獲取成本來劃分，能相對準確。畢竟，一個技術能不能得到社會的承認，很大一部分是他的成本能不能讓人接受。
除手機之外，人臉識別攝像頭也是一個很好的傳感器，它承擔著圖像采集的任務，而圖像采集之后，就與服務器中的數據庫進行比對，如身份證數據比對。這樣一來，就可以判定兩個人是否為同一人。這個數據比對的過程其實也是大數據應用的過程，因為用一個人的特征去搜索14億人的數據，無論如果，都是小數據時代所不能達到的。
雖然大數據被炒得火熱，但很多時候，對于個人而言，記錄身邊的點點滴滴，小數據就夠了。比如，今年的我比去年的我增加了多少斤肉，我要跑多久才可以減少一斤肉，只要小數據就可以了。
VBA與小數據
在windows2.0的時代，EXCEL已經出來了，當時Windows系統只賣99美元，還捆綁了EXCEL。幾年之后，EXCEL從Windows分割出來，卻被捆綁到Microsoft office中，同一時期，VBA（Visual Basic for Applications）剛剛從BASIC語言基礎上開發出來，還屬于非常先進的計算機語言，微軟也將其內嵌在Microsoft Office，這樣一來，EXCEL和VBA就走在一起了。老實說，這在當時是非常先進的，因為一個是可視化表格和一個可視化是計算機語言，兩者集成在一起，使批量處理變得簡單和高效，是一個劃時代的標志。可以說，Microsoft Office取得巨大成功的一個重要原因就是VBA。
VBA中的B，就是Basic語言，Basic是非常親民的語言，其誕生于70年代，是專門為非計算機人士而設的，只要英語語法過關，基本能猜到語句的含義。本人學的第一個計算機語言就是Basic，在電腦興趣班中上三四節課，就能寫一個簡單點的小程序。而VBA仍然繼承了Basic語言的關鍵字和語法，所以算是易學易用的一種語言。功能上，VBA與微軟的產品融合得不錯，所以在Windows系統中運行一點都不吃力。
以我的古董電腦為例，在WinXP系統下，EXCEL的工作表最大行數是100萬行左右，所以如果數據量多的話，就要分成很多個工作表。如果運行一個超過50MB的Excel文件，系統會變得有點卡，如果做一個篩選后合并計算，除了執行時間長之外，還一不小心就宕機。但如果事先用VBA進行篩選后合并計算，執行時間短，而且沒感覺到系統變卡。
另外，VBA可以進行批處理，例如，要將十幾個分公司的花名冊匯總到一張表中，簡單點的就是打開所有分公司的花名冊文件，然后用復制黏貼的方法將名單匯總到一張表中。但如果分公司不是十幾個，而是幾百個，這就麻煩了。不過，如果有VBA，可以使用FileArr函數和For…Next…語句，就可以幾百個公司的花名冊匯總到一張表中。
當然，這是有限制的，當一個EXCEL文件達到200MB的時候，連打開文件都變得很慢時，想查找數據，就要將EXCEL文件導入ACCESS中，進行查找。ACCESS可以進行分類匯總，條件查詢等，另外，ACCESS內也有VBA的，所以批量處理也不是問題。
不過問題來了，ACCESS也是有限制的，最大的上限是2GB，所以，如果文件大的話，最后還需將數據進行拆分。于是數據庫軟件出來了，知名的如Oracle、MySQL、SQL Server等，當然，這個是服務器級的，畢竟在1990年，是沒有8G內存的個人電腦的，普遍是128MB的內存，能用數據庫的都是企業級服務器。而在數據庫軟件之中，最貴的是Oracle，為什么？除了穩定性強外，他的功能齊全，能對數據能進行可視化分析，對大企業的決策層是非常有幫助的。
當時，電商還是一件新鮮的業務，并不是所有人都看好的，除了極少數人，沒人會想到電商日后的輝煌，更沒有人想到有公司一天的交易量會是2000億，一分鐘的交易量會是65億。可以說，電商的輝煌催生了云計算，也為大數據提供的物理基礎。
Python與大數據
Python與VBA不一樣，它是一種解釋型語言，編程涉及更少的代碼行。它能夠以最少的代碼行執行程序。另外一個就是開源，Python作為一種開源語言，能支持多種平臺。而且，它可以在Windows和linux等各種環境中運行。
Python的受歡迎程度如下：
Python具有支持數據處理的內置功能。您可以使用此功能來支持對非結構化和非常規數據的數據處理。這就是大數據公司偏愛選擇Python的原因。
例如在數據分析中，Python有pandas（熊貓）庫。它能夠從多個來源讀取數據，并具有一些內置的可視化效果，可用于將結果繪制成圖表，可將完成的分析結果轉換為Excel電子表格。同時，他提供了：數值計算、數據分析、統計分析、數據可視化的功能。特別在很多的金融數據分析，經常見到他的身影。
Python的強大是建立在一系列強大的開源庫上面的，無論是神經網絡、智能算法、數據分析、圖像處理、科學計算，都有各式各樣的庫在等著你用。而這些是VBA語言是沒有的。
另外，與其他語言相比較，Python能與Hadoop完全兼容的。Hadoop是一個大數據框架系統，非常出名，有人說，Hadoop是大數據的代名詞，這個不過分，因為Hadoop它是開源的，能用于多臺計算機的，解決大量計算和處理大量數據使用的軟件，特別是它能存儲PB級別的文件。所以你會用Hadoop，你就成為大數據市場上最搶手的員工。
由于筆者不是做Hadoop開發的，所以就不多介紹了。
我在這里強調Python與大數據，是因為Python可以成為審計的一個工具，在審計之前，很多會計師事務所都要做風險評估程序，什么是風險評估程序呢？在回答這個之前，先說一下什么叫做“拇指規則”，這樣好理解一點。
“拇指規則”是指的是在農業播種時，為了達到合適的種子深度，拇指經常被用來快速地測量種子掩埋的深淺，而在經濟領域，指的是指經濟決策者對信息的處理方式不是按照理性預期的方式，把所有獲得的信息都引入到決策模型中。他們往往遵循的是：只考慮重要信息，而忽略掉其他信息。否則信息成本無限高。
是不是很熟悉？
風險評估就是審計程序當中的那只拇指，從而判斷風險大小的，其中更多的是主觀判斷。
為什么現在還需要主觀判斷？這是因為時間，無錯，時間不夠用。
注冊會計師職業是在第二次工業革命后期正式成熟的，在產業集團化的背景下，風險評估為導向的審計模式與運用方式，可以更省時間，舉個例，為了證明你批烤鴨是安全的，以食品安全法為原則設計了一系列的問卷調查測試，然后判斷抽查的范圍。如我認為這批烤鴨的安全風險是低的，我這次抽十只烤鴨進行檢查，這樣節省了時間。
但是，如果是風險不單獨存在于食品安全，而是在禽流感的話，這樣的風險就被低估了。
還好，隨著信息化的發展，其實就是以信息為基礎的第三次工業革命，有人提出了用大數據來解決樣本不足引起的風險，即我每一只烤鴨從他從鴨蛋到烤制的過程都有數字記錄的，是的，每一只鴨子，而不是十只，這樣的話，風險就轉移了。這個方向有很多人在探索，筆者也在探索之中，而Python就是其中的一個探索工具。
Python用法舉例：
先說Python，因為相比較VBA，Python的語法更簡單，而且容易理解，之后再去學VBA，就能舉一反三。
如用Python打印“我是中國人”
如果用VBA打印“我是中國人”
