從2000年開始接觸數(shù)據(jù)倉庫，大約08年開始進(jìn)入互聯(lián)網(wǎng)行業(yè)。很多從傳統(tǒng)企業(yè)數(shù)據(jù)平臺(tái)轉(zhuǎn)到互聯(lián)網(wǎng)同學(xué)是否有感覺：非互聯(lián)網(wǎng)企業(yè)、互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)平臺(tái)所面向用戶群體是不同的。那么，這兩類的數(shù)據(jù)平臺(tái)的建設(shè)、使用用戶又有變化？數(shù)據(jù)模型設(shè)計(jì)又有什么不同呢？我們先從兩張圖來看用戶群體的區(qū)別。用戶群體之非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶企業(yè)的boss、運(yùn)營的需求主要是依賴于報(bào)表、商業(yè)智能團(tuán)隊(duì)的數(shù)據(jù)分析師去各種分析與挖掘探索；支撐這些人是ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報(bào)表設(shè)計(jì)人員，同時(shí)這些角色又是數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)與使用方。數(shù)據(jù)平臺(tái)的技術(shù)框架與工具實(shí)現(xiàn)主要有技術(shù)架構(gòu)師、JAVA開發(fā)等。用戶面對(duì)是結(jié)構(gòu)化生產(chǎn)系統(tǒng)數(shù)據(jù)源。用戶群體之互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶互聯(lián)網(wǎng)企業(yè)中員工年齡比非互聯(lián)網(wǎng)企業(yè)的要年輕、受教育程度、對(duì)計(jì)算機(jī)的焦慮程度明顯比傳統(tǒng)企業(yè)要低、還偶遇其它各方面的緣故，導(dǎo)致了數(shù)據(jù)平臺(tái)所面對(duì)用戶群體與非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)有所差異化；互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)的使用與建設(shè)方是來自各方面的人，數(shù)據(jù)平臺(tái)又是技術(shù)、數(shù)據(jù)產(chǎn)品推進(jìn)建設(shè)的。分析師參與數(shù)據(jù)平臺(tái)直接建設(shè)比重增加。原有的數(shù)據(jù)倉庫開發(fā)與模型架構(gòu)師的職能也從建設(shè)平臺(tái)轉(zhuǎn)為服務(wù)與咨詢。用戶面對(duì)是數(shù)據(jù)源多樣化。數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來的大量數(shù)據(jù)進(jìn)行分析。邛崍商業(yè)數(shù)據(jù)采集

    逐漸忽略了數(shù)據(jù)質(zhì)量的關(guān)注度，數(shù)據(jù)模型設(shè)計(jì)角色逐漸被弱化）。用戶面對(duì)是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)。原有ETL中部分?jǐn)?shù)據(jù)轉(zhuǎn)換功能逐漸前置化，放到業(yè)務(wù)系統(tǒng)端進(jìn)行（備注：部分原有在ETL階段需要數(shù)據(jù)標(biāo)準(zhǔn)化一些過程前置在業(yè)務(wù)系統(tǒng)數(shù)據(jù)產(chǎn)生階段進(jìn)行，比如Log日志。移動(dòng)互聯(lián)網(wǎng)的日志標(biāo)準(zhǔn)化?；ヂ?lián)網(wǎng)企業(yè)隨著數(shù)據(jù)更加逐漸被重視，分析師、數(shù)據(jù)開發(fā)在面對(duì)大量的數(shù)據(jù)需求、海量的臨時(shí)需求疲憊不堪，變成了資源的瓶頸，在當(dāng)時(shí)的狀態(tài)傳統(tǒng)的各類的Report、Olap工具都無法滿足互聯(lián)網(wǎng)行業(yè)個(gè)性化的數(shù)據(jù)需求。開始考慮把需求固定化變?yōu)橐粋€(gè)面向終用戶自助式、半自助的產(chǎn)品來滿足快速獲取數(shù)據(jù)&分析的結(jié)果，當(dāng)總結(jié)出的指標(biāo)、分析方法（模型）、使用流程與工具有機(jī)的結(jié)合在一起時(shí)數(shù)據(jù)產(chǎn)品就誕生了（備注：當(dāng)時(shí)為了設(shè)計(jì)一個(gè)數(shù)據(jù)產(chǎn)品曾經(jīng)閱讀了某個(gè)部門的2000多個(gè)臨時(shí)需求與相關(guān)SQL）。數(shù)據(jù)產(chǎn)品按照面向的功能與業(yè)務(wù)可以劃分為面向平臺(tái)級(jí)別的工具型產(chǎn)品、面向用戶端的業(yè)務(wù)級(jí)數(shù)據(jù)產(chǎn)品。按照用戶分類可以分為面向內(nèi)部用戶數(shù)據(jù)產(chǎn)品，面向外部用戶個(gè)人數(shù)據(jù)產(chǎn)品、商戶（企業(yè)）數(shù)據(jù)產(chǎn)品。新津區(qū)大數(shù)據(jù)采集近10年來，大數(shù)據(jù)相關(guān)技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn)快速發(fā)展。

    []標(biāo)準(zhǔn)SQL語句雖然關(guān)系型數(shù)據(jù)庫有很多，但是大多數(shù)都遵循SQL（結(jié)構(gòu)化查詢語言，StructuredQueryLanguage）標(biāo)準(zhǔn)。常見的操作有查詢，新增，更新，刪除，求和，排序等。[]查詢語句：SELECTparamFROMtableWHEREcondition該語句可以理解為從table中查詢出滿足condition條件的字段param。[]新增語句：INSERTINTOtable（param，param，param）VALUES（value，value，value）該語句可以理解為向table中的param，param，param字段中分別插入value，value，value。[]更新語句：UPDATEtableSETparam=new_valueWHEREcondition該語句可以理解為將滿足condition條件的字段param更新為new_value值。[]刪除語句：DELETEFROMtableWHEREcondition該語句可以理解為將滿足condition條件的數(shù)據(jù)全部刪除。[]去重查詢：SELECTDISTINCTparamFROMtableWHEREcondition該語句可以理解為從表table中查詢出滿足條件condition的字段param，但是param中重復(fù)的值只能出現(xiàn)一次。[]排序查詢：SELECTparamFROMtableWHEREconditionORDERBYparam該語句可以理解為從表table中查詢出滿足condition條件的param，并且要按照param升序的順序進(jìn)行排序。[]總體來說，數(shù)據(jù)庫的SELECT，INSERT。UPDATE。

    這個(gè)平臺(tái)也是企業(yè)必須要做的平臺(tái)，只不過當(dāng)時(shí)叫數(shù)據(jù)倉庫系統(tǒng)，在大數(shù)據(jù)時(shí)代，我稱作為大數(shù)據(jù)倉庫基礎(chǔ)平臺(tái)。這部分是整個(gè)大數(shù)據(jù)平臺(tái)的。我們接下來會(huì)詳細(xì)討論。大數(shù)據(jù)門戶，是數(shù)據(jù)成果的集成一體化平臺(tái)，包含大數(shù)據(jù)分析平臺(tái)和數(shù)據(jù)應(yīng)用平臺(tái)。大數(shù)據(jù)門戶作為整個(gè)數(shù)據(jù)部門的窗口，所有數(shù)據(jù)研究成果都會(huì)展現(xiàn)在數(shù)據(jù)門戶中，極大的方便了企業(yè)各層級(jí)、各職能人員使用數(shù)據(jù)。我們接下來也將會(huì)詳細(xì)討論下這部分內(nèi)容。用戶服務(wù)，使用我們數(shù)據(jù)的人主要有公司的各層級(jí)的管理人員、數(shù)據(jù)分析人員、運(yùn)營人員、產(chǎn)品經(jīng)理、技術(shù)研發(fā)工程師、企業(yè)的投資相關(guān)方，還可能有部分的公司提供對(duì)外的數(shù)據(jù)服務(wù)。提供服務(wù)的方式有多種多樣，或通過大數(shù)據(jù)門戶、或通過API接口、或是直接在分析報(bào)告中體現(xiàn)。注：詳細(xì)分享每個(gè)平臺(tái)如何構(gòu)建的內(nèi)容，歡迎大家參加小講“企業(yè)大數(shù)據(jù)戰(zhàn)略及價(jià)值變現(xiàn)”，會(huì)有很多的干貨和獨(dú)門絕技分享。第三部分：大數(shù)據(jù)的價(jià)值（注：本文根據(jù)小講“企業(yè)大數(shù)據(jù)戰(zhàn)略及價(jià)值變現(xiàn)”中大數(shù)據(jù)價(jià)值章節(jié)的分享整理而成）大數(shù)據(jù)的價(jià)值，從業(yè)務(wù)角度出發(fā)，主要有如下的3點(diǎn)：a.數(shù)據(jù)輔助決策：為企業(yè)提供基礎(chǔ)的數(shù)據(jù)統(tǒng)計(jì)報(bào)表分析服務(wù)。分析師能夠輕易獲取數(shù)據(jù)產(chǎn)出分析報(bào)告指導(dǎo)產(chǎn)品和運(yùn)營。這些數(shù)據(jù)具有規(guī)模大、形成速度快、類型多樣以及價(jià)值性低，通常將其稱之為“大數(shù)據(jù)”。

    即工作完成質(zhì)量會(huì)隨著節(jié)點(diǎn)的變化而產(chǎn)生波動(dòng)，當(dāng)節(jié)點(diǎn)過多時(shí)，相關(guān)工作結(jié)果就無法那么準(zhǔn)確。這一問題使整個(gè)系統(tǒng)的工作效率受到影響，導(dǎo)致整個(gè)數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)亂碼與出錯(cuò)率提高，甚至?xí)霈F(xiàn)數(shù)據(jù)節(jié)點(diǎn)的內(nèi)容遷移，產(chǎn)生錯(cuò)誤的代碼信息。但盡管如此，NoSQL數(shù)據(jù)庫技術(shù)還是具有非常明顯的應(yīng)用優(yōu)勢(shì)，如數(shù)據(jù)庫結(jié)構(gòu)相對(duì)簡單，在大數(shù)據(jù)量下的讀寫性能好；能滿足隨時(shí)存儲(chǔ)自定義數(shù)據(jù)格式需求，非常適用于大數(shù)據(jù)處理工作。[]NoSQL數(shù)據(jù)庫適合追求速度和可擴(kuò)展性、業(yè)務(wù)多變的應(yīng)用場(chǎng)景。[]對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的處理更合適，如文章、評(píng)論，這些數(shù)據(jù)如全文搜索、機(jī)器學(xué)習(xí)通常只用于模糊處理，并不需要像結(jié)構(gòu)化數(shù)據(jù)一樣，進(jìn)行精確查詢，而且這類數(shù)據(jù)的數(shù)據(jù)規(guī)模往往是海量的，數(shù)據(jù)規(guī)模的增長往往也是不可能預(yù)期的，而NoSQL數(shù)據(jù)庫的擴(kuò)展能力幾乎也是無限的，所以NoSQL數(shù)據(jù)庫可以很好的滿足這一類數(shù)據(jù)的存儲(chǔ)。NoSQL數(shù)據(jù)庫利用key-value可以大量的獲取大量的非結(jié)構(gòu)化數(shù)據(jù)，并且數(shù)據(jù)的獲取效率很高，但用它查詢結(jié)構(gòu)化數(shù)據(jù)效果就比較差。[]目前NoSQL數(shù)據(jù)庫仍然沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，它現(xiàn)在有四種大的分類：（）鍵值對(duì)存儲(chǔ)（key-value）：軟件Redis，它的優(yōu)點(diǎn)能夠進(jìn)行數(shù)據(jù)的快速查詢。而信息是數(shù)據(jù)的內(nèi)涵，信息是加載于數(shù)據(jù)之上，對(duì)數(shù)據(jù)作具有含義的解釋。彭州商業(yè)數(shù)據(jù)調(diào)研分析

數(shù)據(jù)是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或這些物理符號(hào)的組合。邛崍商業(yè)數(shù)據(jù)采集

    所以NoSQL數(shù)據(jù)庫大數(shù)據(jù)管理、檢索、讀寫、分析以及可視化方面具有關(guān)系型數(shù)據(jù)庫不可比擬的優(yōu)勢(shì)。[]數(shù)據(jù)庫授權(quán)方式關(guān)系型數(shù)據(jù)庫常見的有Oracle，SQLServer，DB，Mysql，除了Mysql大多數(shù)的關(guān)系型數(shù)據(jù)庫如果要使用都需要支付一筆價(jià)格高昂的費(fèi)用，即使是的Mysql性能也受到了諸多的限制。而對(duì)于NoSQL數(shù)據(jù)庫，比較主流的有redis，HBase，MongoDb，memcache等產(chǎn)品，通常都采用開源的方式，不需要像關(guān)系型數(shù)據(jù)庫那樣，需要一筆高昂的花費(fèi)。數(shù)據(jù)庫分布式數(shù)據(jù)庫編輯所謂的分布式數(shù)據(jù)庫技術(shù)，就是結(jié)合了數(shù)據(jù)庫技術(shù)與分布式技術(shù)的一種結(jié)合。具體指的是把那些在地理意義上分散開的各個(gè)數(shù)據(jù)庫節(jié)點(diǎn)，但在計(jì)算機(jī)系統(tǒng)邏輯上又是屬于同一個(gè)系統(tǒng)的數(shù)據(jù)結(jié)合起來的一種數(shù)據(jù)庫技術(shù)。既有著數(shù)據(jù)庫間的協(xié)調(diào)性也有著數(shù)據(jù)的分布性。這個(gè)系統(tǒng)并不注重系統(tǒng)的集中控制，而是注重每個(gè)數(shù)據(jù)庫節(jié)點(diǎn)的自治性。此外為了讓程序員能夠在編寫程序時(shí)可以減輕工作量以及系統(tǒng)出錯(cuò)的可能性，一般都是完全不考慮數(shù)據(jù)的分布情況，這樣的結(jié)果就使得系統(tǒng)數(shù)據(jù)的分布情況一直保持著透明性。[]數(shù)據(jù)性概念在分布式數(shù)據(jù)庫管理系統(tǒng)中同樣是十分重要的一環(huán)，但是不僅如此。邛崍商業(yè)數(shù)據(jù)采集

成都達(dá)智咨詢股份有限公司是一家有著雄厚實(shí)力背景、信譽(yù)可靠、勵(lì)精圖治、展望未來、有夢(mèng)想有目標(biāo)，有組織有體系的公司，堅(jiān)持于帶領(lǐng)員工在未來的道路上大放光明，攜手共畫藍(lán)圖，在四川省等地區(qū)的商務(wù)服務(wù)行業(yè)中積累了大批忠誠的客戶粉絲源，也收獲了良好的用戶口碑，為公司的發(fā)展奠定的良好的行業(yè)基礎(chǔ)，也希望未來公司能成為*****，努力為行業(yè)領(lǐng)域的發(fā)展奉獻(xiàn)出自己的一份力量，我們相信精益求精的工作態(tài)度和不斷的完善創(chuàng)新理念以及自強(qiáng)不息，斗志昂揚(yáng)的的企業(yè)精神將**成都達(dá)智咨詢供應(yīng)和您一起攜手步入輝煌，共創(chuàng)佳績，一直以來，公司貫徹執(zhí)行科學(xué)管理、創(chuàng)新發(fā)展、誠實(shí)守信的方針，員工精誠努力，協(xié)同奮取，以品質(zhì)、服務(wù)來贏得市場(chǎng)，我們一直在路上！