采集數(shù)據(jù)主要有兩個方向，一是自己編爬蟲程序去采集，二是使用別人或者企業(yè)公司等公開的數(shù)據(jù)。1.編爬蟲程序去采集數(shù)據(jù)(比較有針對性，比較適合我們的需求就是我想要什么數(shù)據(jù)就采集什么數(shù)據(jù)，可以使用Python爬蟲去采集，不是很難。但有一點就像樓主說的一樣，有點麻煩。)2.使用公開的數(shù)據(jù)，可以使用第三方的數(shù)據(jù)產(chǎn)品工具，新媒體公眾號方向可以考慮新榜有數(shù)的(針對性不強，可能公開的數(shù)據(jù)樣本不符合我們的需求，這樣就不利于工作的開展了，但特點就是方便)數(shù)據(jù)在計算機科學(xué)中，數(shù)據(jù)的定義是指所有能輸入到計算機并被計算機程序處理的符號的介質(zhì)的總稱。新津區(qū)政商數(shù)據(jù)海

    面向平臺級別有數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、調(diào)度、資管配置、數(shù)據(jù)同步分發(fā)等等。約2010-2012年的平臺結(jié)構(gòu)約2012-2013年的平臺結(jié)構(gòu)階段三：用數(shù)據(jù)的一些角色（分析師、運營或產(chǎn)品）會自己參與到從數(shù)據(jù)整理、加工、分析階段。當(dāng)數(shù)據(jù)平臺變?yōu)樽杂扇_放，使用數(shù)據(jù)的人也參與到數(shù)據(jù)的體系建設(shè)時，基本會因為不專業(yè)型，導(dǎo)致數(shù)據(jù)質(zhì)量問題、重復(fù)對分?jǐn)?shù)據(jù)浪費存儲與資源、口徑多樣化等等原因。此時原有建設(shè)數(shù)據(jù)平臺的多個角色可能轉(zhuǎn)為對其它非專業(yè)做數(shù)據(jù)人員的培訓(xùn)、咨詢與落地寫更加適合當(dāng)前企業(yè)數(shù)據(jù)應(yīng)用的一些方案等。給用戶提供的各類豐富的分析、取數(shù)的產(chǎn)品，簡單上手的可以使用。原有ETL、數(shù)據(jù)模型角色轉(zhuǎn)為給用戶提供平臺、產(chǎn)品、數(shù)據(jù)培訓(xùn)與使用咨詢。數(shù)據(jù)分析師直接參與到數(shù)據(jù)平臺過程、數(shù)據(jù)產(chǎn)品的建設(shè)中去。用戶面對是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)。在互聯(lián)網(wǎng)這個大數(shù)據(jù)浪潮下，2016年以后數(shù)據(jù)平臺是如何去建設(shè)？如何服務(wù)業(yè)務(wù)？企業(yè)的不同發(fā)展階段數(shù)據(jù)平臺該如何去建設(shè)的？這個大家是可以思考的。但是我相信互聯(lián)網(wǎng)企業(yè)是非常務(wù)實的，基本不會采用傳統(tǒng)企業(yè)的自上而下的建設(shè)方式，互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)快速變與迭代要求快速分析到數(shù)據(jù)。商業(yè)地產(chǎn)數(shù)據(jù)庫數(shù)據(jù)庫就像是按行列順序排列的很科學(xué)的數(shù)據(jù)整合。

    這類數(shù)據(jù)庫與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在設(shè)計和數(shù)據(jù)結(jié)構(gòu)有了很大的不同，它們更強調(diào)數(shù)據(jù)庫數(shù)據(jù)的高并發(fā)讀寫和存儲大數(shù)據(jù)，這類數(shù)據(jù)庫一般被稱為NoSQL（NotonlySQL）數(shù)據(jù)庫。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在一些傳統(tǒng)領(lǐng)域依然保持了強大的生命力。[]數(shù)據(jù)庫數(shù)據(jù)庫管理系統(tǒng)編輯數(shù)據(jù)庫管理系統(tǒng)是為管理數(shù)據(jù)庫而設(shè)計的電腦軟件系統(tǒng)，一般具有存儲、截取、安全保障、備份等基礎(chǔ)功能。數(shù)據(jù)庫管理系統(tǒng)可以依據(jù)它所支持的數(shù)據(jù)庫模型來作分類，例如關(guān)系式、XML；或依據(jù)所支持的計算機類型來作分類，例如服務(wù)器群集、移動電話；或依據(jù)所用查詢語言來作分類，例如SQL、XQuery；或依據(jù)性能沖量重點來作分類，例如比較大規(guī)模、比較高運行速度；亦或其他的分類方式。不論使用哪種分類方式，一些DBMS能夠跨類別，例如，同時支持多種查詢語言。[]數(shù)據(jù)庫管理系統(tǒng)是數(shù)據(jù)庫系統(tǒng)的組成部分，主要完成對數(shù)據(jù)庫的操縱與管理功能，實現(xiàn)數(shù)據(jù)庫對象的創(chuàng)建、數(shù)據(jù)庫存儲數(shù)據(jù)的查詢、添加、修改與刪除操作和數(shù)據(jù)庫的用戶管理、權(quán)限管理等。它的安全直接關(guān)系到整個數(shù)據(jù)庫系統(tǒng)的安全，其防護(hù)手段主要有：使用正版數(shù)據(jù)庫管理系統(tǒng)并及時安裝相關(guān)補丁。做好用戶賬戶管理。

    而缺點是需要存儲數(shù)據(jù)之間的關(guān)系。[]（）列存儲：軟件Hbase，它的優(yōu)點是對數(shù)據(jù)能快速查詢，數(shù)據(jù)存儲的擴展性強。而缺點是數(shù)據(jù)庫的功能有局限性。[]（）文檔數(shù)據(jù)庫存儲：軟件MongoDB，它的優(yōu)點是對數(shù)據(jù)結(jié)構(gòu)要求不特別的嚴(yán)格。而缺點是查詢性的性能不好，同時缺少一種統(tǒng)一查詢語言。[]（）圖形數(shù)據(jù)庫存儲：軟件InfoGrid，它的優(yōu)點可以方便的利用圖結(jié)構(gòu)相關(guān)算法進(jìn)行計算。而缺點是要想得到結(jié)果必須進(jìn)行整個圖的計算，而且遇到不適合的數(shù)據(jù)模型時，圖形數(shù)據(jù)庫很難使用。[]數(shù)據(jù)庫NoSQL與關(guān)系型數(shù)據(jù)庫的區(qū)別編輯數(shù)據(jù)庫存儲方式傳統(tǒng)的關(guān)系型數(shù)據(jù)庫采用表格的儲存方式，數(shù)據(jù)以行和列的方式進(jìn)行存儲，要讀取和查詢都十分方便。而非關(guān)系型數(shù)據(jù)不適合這樣的表格存儲方式，通常以數(shù)據(jù)集的方式，大量的數(shù)據(jù)集中存儲在一起，類似于鍵值對、圖結(jié)構(gòu)或者文檔。[]數(shù)據(jù)庫存儲結(jié)構(gòu)關(guān)系型數(shù)據(jù)庫按照結(jié)構(gòu)化的方法存儲數(shù)據(jù)，每個數(shù)據(jù)表都必須對各個字段定義好（也就是先定義好表的結(jié)構(gòu)），再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，這樣做的好處就是由于數(shù)據(jù)的形式和內(nèi)容在存入數(shù)據(jù)之前就已經(jīng)定義好了，所以整個數(shù)據(jù)表的可靠性和穩(wěn)定性都比較高，但帶來的問題就是一旦存入數(shù)據(jù)后。數(shù)據(jù)分析成為大數(shù)據(jù)技術(shù)的重點。

    擴展方式是NoSQL數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫差別比較大的地方，由于關(guān)系型數(shù)據(jù)庫將數(shù)據(jù)存儲在數(shù)據(jù)表中，數(shù)據(jù)操作的瓶頸出現(xiàn)在多張數(shù)據(jù)表的操作中，而且數(shù)據(jù)表越多這個問題越嚴(yán)重，如果要緩解這個問題，只能提高處理能力，也就是選擇速度更快性能更高的計算機，這樣的方法雖然可以一定的拓展空間，但這樣的拓展空間一定有非常有限的，也就是關(guān)系型數(shù)據(jù)庫只具備縱向擴展能力。而NoSQL數(shù)據(jù)庫由于使用的是數(shù)據(jù)集的存儲方式，它的存儲方式一定是分布式的，它可以采用橫向的方式來開展數(shù)據(jù)庫，也就是可以添加更多數(shù)據(jù)庫服務(wù)器到資源池，然后由這些增加的服務(wù)器來負(fù)擔(dān)數(shù)據(jù)量增加的開銷。[]數(shù)據(jù)庫查詢方式關(guān)系型數(shù)據(jù)庫采用結(jié)構(gòu)化查詢語言（即SQL）來對數(shù)據(jù)庫進(jìn)行查詢，SQL早已獲得了各個數(shù)據(jù)庫廠商的支持，成為數(shù)據(jù)庫行業(yè)的標(biāo)準(zhǔn)，它能夠支持?jǐn)?shù)據(jù)庫的CRUD（增加，查詢，更新，刪除）操作。具有非常強大的功能，SQL可以采用類似索引的方法來加快查詢操作。NoSQL數(shù)據(jù)庫使用的是非結(jié)構(gòu)化查詢語言（UnQL），它以數(shù)據(jù)集（像文檔）為單位來管理和操作數(shù)據(jù)，由于它沒有一個統(tǒng)一的標(biāo)準(zhǔn)，所以每個數(shù)據(jù)庫廠商提供產(chǎn)品標(biāo)準(zhǔn)是不一樣的，NoSQL中的文檔Id與關(guān)系型表中主鍵的概念類似。計算機存儲和處理的對象比較多，表示這些對象的數(shù)據(jù)也隨之變得越來越復(fù)雜。金堂商業(yè)街?jǐn)?shù)據(jù)分析

數(shù)據(jù)不僅成為企業(yè)的新石油，更是價值的新來源。新津區(qū)政商數(shù)據(jù)海

    我在這里整理一個表格不同時代數(shù)據(jù)源的差異性（備注可能整理的有點不全）：數(shù)據(jù)平臺的用戶：總結(jié)下來互聯(lián)網(wǎng)的數(shù)據(jù)平臺“服務(wù)”方式迭代演進(jìn)大約可以分為三個階段。階段一：約在2008年-2011年初的互聯(lián)網(wǎng)數(shù)據(jù)平臺，那時建設(shè)與使用上與非互聯(lián)網(wǎng)數(shù)據(jù)平臺有這蠻大的相似性，主要相似點在數(shù)據(jù)平臺的建設(shè)角色、與使用到的技術(shù)上。老板們、運營的需求主要是依賴于報表、分析報告、臨時需求、商業(yè)智能團(tuán)隊的數(shù)據(jù)分析師去各種分析、臨時需求、挖掘，這些角色是數(shù)據(jù)平臺的適用方。ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報表設(shè)計人員，同時這些角色又是數(shù)據(jù)平臺數(shù)據(jù)建設(shè)與使用方。數(shù)據(jù)平臺的技術(shù)框架與工具實現(xiàn)主要有技術(shù)架構(gòu)師、JAVA開發(fā)等。用戶面對是結(jié)構(gòu)化的生產(chǎn)數(shù)據(jù)、PC端非結(jié)構(gòu)化log等數(shù)據(jù)。ELT的數(shù)據(jù)處理方式（備注在數(shù)據(jù)處理的方式上，由傳統(tǒng)企業(yè)的ETL基本進(jìn)化為ELT）。現(xiàn)在的淘寶是從2004年開始構(gòu)建自己的數(shù)據(jù)倉庫，2004年是采用DELL的6650單節(jié)點、到2005年更換為IBM的P550再到2008年的12節(jié)點Rac環(huán)境。在這段時間的在IBM、EMC、Oracle身上的投入巨大(備注：對這段歷史有興趣可以去度娘：“【深度】阿里巴巴的技術(shù)發(fā)展路徑“)。新津區(qū)政商數(shù)據(jù)海

成都達(dá)智咨詢股份有限公司在同行業(yè)領(lǐng)域中，一直處在一個不斷銳意進(jìn)取，不斷制造創(chuàng)新的市場高度，多年以來致力于發(fā)展富有創(chuàng)新價值理念的產(chǎn)品標(biāo)準(zhǔn)，在四川省等地區(qū)的商務(wù)服務(wù)中始終保持良好的商業(yè)口碑，成績讓我們喜悅，但不會讓我們止步，殘酷的市場磨煉了我們堅強不屈的意志，和諧溫馨的工作環(huán)境，富有營養(yǎng)的公司土壤滋養(yǎng)著我們不斷開拓創(chuàng)新，勇于進(jìn)取的無限潛力，成都達(dá)智咨詢供應(yīng)攜手大家一起走向共同輝煌的未來，回首過去，我們不會因為取得了一點點成績而沾沾自喜，相反的是面對競爭越來越激烈的市場氛圍，我們更要明確自己的不足，做好迎接新挑戰(zhàn)的準(zhǔn)備，要不畏困難，激流勇進(jìn)，以一個更嶄新的精神面貌迎接大家，共同走向輝煌回來！