數(shù)據(jù)密集型應(yīng)用系統(tǒng)設(shè)計

原文完整版PDF：https://pan.quark.cn/s/d5a34151fee9

這本書的作者是少有的從工業(yè)界干到學(xué)術(shù)界的牛人，知識面廣得驚人，也善于舉一反三，知識之間互相關(guān)聯(lián)，比如有個地方把讀路徑比作programming language的lazy evaluation而寫路徑比作eager evaluation，令人拍案。這一本數(shù)囊括了幾乎所有數(shù)據(jù)處理相關(guān)工作中可能遇到了的內(nèi)容，而且也有非常棒的實操經(jīng)驗。比如書的一開始，作者反復(fù)強調(diào)監(jiān)控中分位數(shù)的作用，可以揭示一些被平均數(shù)掩蓋的事實，我也正好有一個監(jiān)控從都是監(jiān)控平均值變成主要監(jiān)控若干p99分位數(shù)的經(jīng)歷，看到這里，不由得掩卷嘆息。

我做數(shù)據(jù)處理也就是不到三年，接觸過不少相關(guān)的工具，可以說Hadoop啊，pig啊，Hive啊，Storm啊，你的確不去了解它們背后的原理理念也可以用，但是真正要整合它們，做一個容錯，可擴展，可維護的數(shù)據(jù)產(chǎn)品，則需要相當(dāng)?shù)姆植际胶蛿?shù)據(jù)系統(tǒng)的insight。幫助你建立這樣的insight的書，應(yīng)該是比較缺乏的，你可以去刷分布式系統(tǒng)的課程，看paper，但是閱讀一本one in all的書，ROI可能是最高的。之前也有人嘗試過，比如有國人寫的《大數(shù)據(jù)日知錄》，其實寫得也算不錯，但是不知道是筆力不濟還是什么緣故，最后也是淪為技術(shù)文檔的羅列。

這本書循循善誘的寫作手法應(yīng)該是相當(dāng)高超了，講解得非常深入淺出，一般照著提出問題 -> 解決方案 -> 這個方案的長處短處 -> 發(fā)散到其它方案這個模式講解，看起來可以說是不知不覺，非常輕松，也沒有有些作者的拽文習(xí)慣，幾乎全部是中學(xué)詞匯，句子也不復(fù)雜，保證非英語母語的人可以流暢閱讀，這點可以說是非常良心了。

當(dāng)然，這本書沒有介紹什么新技術(shù)，很多內(nèi)容都是我們所熟悉的。也沒有具體講解某一種技術(shù)的細(xì)節(jié)，不能期望讀完本書后成為某種專家。

本書的意義在于，一方面是百科全書式的廣度科普，涉及大家耳熟能詳?shù)募夹g(shù)名詞：NoSQL, 大數(shù)據(jù)，最終一致性，CAP，MapReduce，流處理等，討論他們背后遵循的不變的原則，知曉這些技術(shù)做的取舍，探索它們的設(shè)計選擇。幫助我們更好地使用這些技術(shù)，不僅知道how，更加知道why。對我們有經(jīng)驗的工程師來說，可以查漏補缺，完善知識圖譜上的拼圖。

另一方面是思想深度上的升華。我們雖然有一定的開發(fā)經(jīng)驗，掌握了一些知識和技巧，但這些知識在我們的頭腦中是比較散亂的，沒有很好的組織起來，點和點之間也沒產(chǎn)生聯(lián)系。這本書就是將各個知識點串聯(lián)起來，我們可以看到，同一種思想在多個章節(jié)中出現(xiàn)，反映出這些各種技術(shù)本質(zhì)上是某種思想在不同問題層面上的投射。讓我們能夠站在一個高度上審視，自己的工作本質(zhì)上是在做什么事，是在何種假設(shè)下解決什么類型的問題，得以從繁多的技術(shù)細(xì)節(jié)中抬起頭來，看一看知識體系的全貌。

這本書還有一個優(yōu)點，把復(fù)雜的東西簡單化，之前總也搞不明白的概念，看了這本書就懂了。

書的最后一章升華了整本書。Martin Kleppmann 不僅是個牛逼的程序員，更是一個極富社會責(zé)任和人文關(guān)懷的牛逼程序員。而這是更難能可貴的。

習(xí)武之人講究“習(xí)武先修德”。Martin Kleppmann 亦是如此。他用前十一章教會我們?nèi)绾翁幚砗Ａ繑?shù)據(jù)，用最后一章告訴我們?nèi)绾握_使用數(shù)據(jù)。要保護用戶隱私、要對自己的算法負(fù)責(zé)、要保障弱勢群體的權(quán)利……他旗幟鮮明地說道：“盲目相信數(shù)據(jù)決策至高無上，這不僅僅是一種妄想，而是有切實危險的?！?/p>

原文很長，完整版PDF已整理好了（在文章開頭），感興趣的小伙伴可以去看看。