轉(zhuǎn)帖|行業(yè)資訊|編輯:龔雪|2017-02-13 14:42:39.000|閱讀 675 次
概述:當(dāng)MySql無(wú)法滿(mǎn)足你的需求時(shí),你的下一步要往哪里走呢?在大數(shù)據(jù)時(shí)代,或許圖形數(shù)據(jù)庫(kù)才是你的最好選擇...
# 界面/圖表報(bào)表/文檔/IDE等千款熱門(mén)軟控件火熱銷(xiāo)售中 >>
最近在抓取一些社交網(wǎng)站的數(shù)據(jù),抓下來(lái)的數(shù)據(jù)用MySql存儲(chǔ)。問(wèn)我為什么用MySql,那自然是入門(mén)簡(jiǎn)單,并且我當(dāng)時(shí)只熟悉MySql。可是,隨著數(shù)據(jù)量越來(lái)越大,有一個(gè)問(wèn)題始終困擾著我,那就是社交關(guān)系的存儲(chǔ)。
就以新浪微博舉例,一個(gè)大V少則十幾萬(wàn),多則幾千萬(wàn)的粉絲,這些關(guān)注關(guān)系要怎么存呢?在MySql中,一條關(guān)注關(guān)系(大V id,大V的一個(gè)粉絲 id)存為一條數(shù)據(jù),那么當(dāng)用戶(hù)數(shù)量上來(lái)的時(shí)候,關(guān)注關(guān)系輕松破億,破十億,甚至上百億,并且為了保證每條數(shù)據(jù)的唯一性,還需要設(shè)置聯(lián)合索引,MySql就有些力不從心了。那么有人要說(shuō)了:分表呀。嗯,沒(méi)錯(cuò),分表的確可以在插入端和讀取端提升一些速度。比如我們可以根據(jù)id哈希到100張表中。查詢(xún)一個(gè)用戶(hù)有哪些粉絲是快了,但是查詢(xún)一個(gè)用戶(hù)關(guān)注了哪些人時(shí)仍然需要遍歷全表。好,這時(shí)候我們還可以以(id,其關(guān)注的一個(gè)用戶(hù)的id)再構(gòu)造100張表,于是兩種查詢(xún)都快了。然而,后面那100張表是冗余數(shù)據(jù),看著就不爽。并且生成一張子圖也不方便(需要多次寫(xiě)SQL查表)。
于是,在搜索更好的方案時(shí)無(wú)意間發(fā)現(xiàn)了圖形數(shù)據(jù)庫(kù),查閱一番資料后感覺(jué)確實(shí)是個(gè)不錯(cuò)的選擇,畢竟業(yè)界的一些大佬,如twitter,Adobe等也在用。
那么,什么是圖形數(shù)據(jù)庫(kù)呢?在這里我貼上較為官方的定義:a database that uses graph structures for semantic queries with nodes, edges and properties to represent and store data – independent of the way the data is stored internally. It’s really the model and the implemented algorithms that matter.注意,這里只是說(shuō)數(shù)據(jù)模型是圖結(jié)構(gòu)的,沒(méi)有說(shuō)數(shù)據(jù)的存儲(chǔ)也一定要是圖結(jié)構(gòu)的。其數(shù)據(jù)模型如下圖
為什么要選擇圖形數(shù)據(jù)庫(kù)
拿比較常用的圖形數(shù)據(jù)庫(kù)Neo4j來(lái)舉例說(shuō)明,首先,先簡(jiǎn)要介紹一下Neo4j。Neo4j是由Java和Scala寫(xiě)成的一個(gè)NoSql數(shù)據(jù)庫(kù),專(zhuān)門(mén)用于網(wǎng)絡(luò)圖的存儲(chǔ)。更詳細(xì)的內(nèi)容可見(jiàn)官網(wǎng)。作為一個(gè)圖形數(shù)據(jù)庫(kù),Neo4j有以下優(yōu)點(diǎn):
1.更快的數(shù)據(jù)庫(kù)操作。當(dāng)然,有一個(gè)前提條件,那就是數(shù)據(jù)量較大,在MySql中存儲(chǔ)的話(huà)需要許多表,并且表之間聯(lián)系較多(即有不少的操作需要join表)。
2.數(shù)據(jù)更直觀,相應(yīng)的SQL語(yǔ)句也更好寫(xiě)(Neo4j使用Cypher語(yǔ)言,與傳統(tǒng)SQL有很大不同)。
3.更靈活。不管有什么新的數(shù)據(jù)需要存儲(chǔ),都是一律的節(jié)點(diǎn)和邊,只需要考慮節(jié)點(diǎn)屬性和邊屬性。而MySql中即意味著新的表,還要考慮和其他表的關(guān)系。
4.數(shù)據(jù)庫(kù)操作的速度并不會(huì)隨著數(shù)據(jù)庫(kù)的增大有明顯的降低。這得益于Neo4j特殊的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和專(zhuān)門(mén)優(yōu)化的圖算法。
接著,試著從更深一些的層次看圖形數(shù)據(jù)庫(kù)。我將從Neo4j的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)讀寫(xiě)兩方面來(lái)說(shuō)明為什么選它。
1.數(shù)據(jù)存儲(chǔ)
Neo4j對(duì)于圖的存儲(chǔ)自然是經(jīng)過(guò)特別優(yōu)化的。不像傳統(tǒng)數(shù)據(jù)庫(kù)的一條記錄一條數(shù)據(jù)的存儲(chǔ)方式,Neo4j的存儲(chǔ)方式是:節(jié)點(diǎn)的類(lèi)別,屬性,邊的類(lèi)別,屬性等都是分開(kāi)存儲(chǔ)的,這將大大有助于提高圖形數(shù)據(jù)庫(kù)的性能。如下圖:
2.數(shù)據(jù)讀寫(xiě)
在Neo4j中,存儲(chǔ)節(jié)點(diǎn)時(shí)使用了"index-free adjacency",即每個(gè)節(jié)點(diǎn)都有指向其鄰居節(jié)點(diǎn)的指針,可以讓我們?cè)贠(1)的時(shí)間內(nèi)找到鄰居節(jié)點(diǎn)。另外,按照官方的說(shuō)法,在Neo4j中邊是最重要的,是"first-class entities",所以單獨(dú)存儲(chǔ),這有利于在圖遍歷的時(shí)候提高速度,也可以很方便地以任何方向進(jìn)行遍歷。
為什么要選Neo4j
如今可供選擇的圖形數(shù)據(jù)庫(kù)也不少,為什么就選擇了Neo4j呢?我簡(jiǎn)要?dú)w結(jié)為以下幾點(diǎn):
1.作為較早的一批圖形數(shù)據(jù)庫(kù)之一,文檔和各種技術(shù)博客較多。
2.最開(kāi)始曾嘗試過(guò)flockdb(據(jù)說(shuō)操作簡(jiǎn)單+輕量級(jí)),但是敗于安裝過(guò)程,依賴(lài)太多。
3.網(wǎng)上經(jīng)常有人將orientdb,arangodb與neo4j做對(duì)比,我當(dāng)然也考慮過(guò)orientdb和arangodb。從易用性來(lái)說(shuō)都差不多。速度上的話(huà)看過(guò)一些評(píng)測(cè),arangodb應(yīng)該是相對(duì)最快的,因?yàn)槠涫褂昧嘶旌纤饕5菑姆€(wěn)定性來(lái)說(shuō),neo4j是最好的。
最后做個(gè)總結(jié)吧。圖形數(shù)據(jù)庫(kù)是這幾年興起的,整體還不是很完善,而且適用面也是比較窄的。只有在明確自己的需求之后,才能確定是否選擇圖形數(shù)據(jù)庫(kù)。如果仍有疑慮,不確定是否有這個(gè)需求,或是在使用neo4j時(shí)遇到了難點(diǎn),慧都學(xué)院推出的會(huì)是一個(gè)不錯(cuò)的選擇。由數(shù)據(jù)庫(kù)領(lǐng)域資深專(zhuān)家傾力打造的系統(tǒng)性講解,不僅有干貨,還有點(diǎn)對(duì)點(diǎn)問(wèn)答互動(dòng),現(xiàn)在關(guān)注慧都學(xué)院官方微信公眾號(hào)即有機(jī)會(huì)獲得免費(fèi)聽(tīng)課券!(作者: | 編輯:學(xué)院君)
更多行業(yè)資訊,更新鮮的技術(shù)動(dòng)態(tài),盡在。
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請(qǐng)務(wù)必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請(qǐng)郵件反饋至chenjj@ke049m.cn