nosql果斷,mysql是nosql嗎

我想學(xué)習(xí)編程，但是不知道該怎么開始。

我建議最好是從基礎(chǔ)入手，而不是一開始就進行可視化編程。雖然如今國內(nèi)絕大多數(shù)pc都是使用的windows，但是畢竟這知識這個世界的冰山一角。扎實的基礎(chǔ)自然會更有用處。編程其實重要的是程序思維，然后是算法和數(shù)據(jù)結(jié)構(gòu)。這些都是超出語言的，就是說不管是學(xué)c學(xué)java學(xué)delphi還是別的什么，這一部分都是一致的。因此培養(yǎng)這部分的知識可以說是一本萬利的事情。初學(xué)肯定是通過語言熟悉思想熟悉算法和數(shù)據(jù)結(jié)構(gòu)，到一定的時候就是純粹的思想和算法數(shù)據(jù)結(jié)構(gòu)的學(xué)習(xí)，便已經(jīng)脫離程序語言了。經(jīng)歷過這些階段，換一種語言不過是重新了解一下描述的方式，就像你了解了中文思維，山東話和四川話的差別就不會太大；了解了拉丁語的思維，整個語系的語言都不過是簡簡單單的記憶工作，應(yīng)用就好。入門的語言，理論上是怎么方便學(xué)哪個，看那個順眼學(xué)哪個。當(dāng)然這里面還是有不同的推薦的。一般來說我比較推薦pascal、c/c++、java。并不是因為這三個東西很通用很有前途，而是它們實在是嚴整而有規(guī)則（c/c++還顯得稍微的寬松了一點），而嚴謹?shù)恼Z法要求和明確的概念區(qū)分是有利于編程思維的形成和算法數(shù)據(jù)結(jié)構(gòu)的學(xué)習(xí)的。同樣的因為這個理由我不推薦vb，而并不是因為它功能不強大（事實上vb在windows環(huán)境中是相當(dāng)牛的語言）另外一個建議是，如果學(xué)c，不要一開始就用vc。ms提供的很多東西很方便，有很多很簡單的實現(xiàn)方法，但是它們不標(biāo)準。vc與ansi

公司主營業(yè)務(wù)：成都網(wǎng)站設(shè)計、成都做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出金水免費做網(wǎng)站回饋大家。

c標(biāo)準是有很大的差距的。首先一個不遵循標(biāo)準的c/c++程序是不通用的，換個編譯器說不定就不被承認了。所以我非常推崇gcc，理由之一是它完全符合

ansi

c標(biāo)準，無論它的c還是c++編譯器都很嚴整，功能上一點也不缺乏（有人說gcc不能做圖形界面的程序，這一點完全錯誤，到處都有的qt庫和gtk庫都能做出很好的界面），另外一個理由便是它免費，畢竟稍微大一點的軟件企業(yè)就不會屈從與微軟的編譯器和平臺，而一個免費的c編譯器無疑可以創(chuàng)造更多的利益；就算要轉(zhuǎn)vc，標(biāo)準的c程序也是幾乎不要作任何改動的。當(dāng)然，這一切的前提是，你真的很想很好的學(xué)編程，做一個這方面的精英。如果只不過是興趣，或者只是想拿一個ms的工程師認證然后在國內(nèi)企業(yè)找份諸如設(shè)計vf、vb程序之類的工作，那完全可以忽略我上面的話，去找個認證培訓(xùn)班，認認真真聽聽課，好好完成練習(xí)，從vb或者vc入手，考好認證是很不會太難的。畢竟現(xiàn)在很多很好的大學(xué)里都從來不缺乏計算機的課程，不會缺少算法或者編譯原理的課程，不會沒有計算機科學(xué)的研究院，而那里面出來的人一般都具備了很好的基礎(chǔ)知識，會更加容易成為前面所說的精英。

leveldb高性能nosql數(shù)據(jù)庫在node.js環(huán)境下如何使用及實例介紹

看了CNode社區(qū)的一篇文章，非常好，果斷轉(zhuǎn)，a href=""想看點我/a

高級架構(gòu)師多久

系統(tǒng)架構(gòu)師是一個既需要掌控整體又需要洞悉局部瓶頸并依據(jù)具體的業(yè)務(wù)場景給出解決方案的人。

首先必須具有豐富的軟件設(shè)計與開發(fā)經(jīng)驗，這有助于理解并解釋所進行的設(shè)計是如何映射到實現(xiàn)中去。

其次要具有領(lǐng)導(dǎo)能力與團隊協(xié)作技能，軟件架構(gòu)師必須是一個得到承認的技術(shù)領(lǐng)導(dǎo)，能在關(guān)鍵時候?qū)夹g(shù)的選擇作出及時、有效的決定。

第三是具有很強的溝通能力，其實這一點好像什么角色都最好具備，軟件架構(gòu)師需要與各路人馬經(jīng)常打交道，客戶、市場人員、開發(fā)人員、測試人員、項目經(jīng)理、網(wǎng)絡(luò)管理員、數(shù)據(jù)庫工程師等等，而且在很多角色之間還要起溝通者的作用。在技術(shù)能力方面，軟件架構(gòu)師最重要也是最需要掌握的知識是構(gòu)件通信機制方面的知識，比如遠程過程調(diào)用（RPC，Remote Procedure Call）、JAVA RMI、CORBA、COM/DCOM、各種標(biāo)準的通信協(xié)議、網(wǎng)絡(luò)服務(wù)、面對對象數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫或者NoSQL數(shù)據(jù)庫等等，另外，架構(gòu)師應(yīng)時刻注意新軟件設(shè)計和開發(fā)方面的發(fā)展情況，并不斷探索更有效的新方法。開發(fā)語言、設(shè)計模式和開發(fā)平臺不斷很快地升級，軟件架構(gòu)師需要吸收這些新技術(shù)新知識，并將它們用于軟件系統(tǒng)開發(fā)工作中。當(dāng)然，行業(yè)的業(yè)務(wù)知識對軟件架構(gòu)師也是很重要的，有助于設(shè)計出一個滿足客戶需求的體系結(jié)構(gòu)，優(yōu)秀的軟件架構(gòu)師常常因為要盡快獲得對行業(yè)業(yè)務(wù)的理解而必須快速學(xué)習(xí)并且進行敏銳的觀察。

但作為一個架構(gòu)師，在整個軟件系統(tǒng)的開發(fā)過程中是樂趣無窮的，因為這個角色很具有挑戰(zhàn)性，有時需要左右逢源、八面玲瓏，有時又需要果斷堅定、不留情面。在國內(nèi)，較少軟件企業(yè)擁有獨立的架構(gòu)師，通常一個軟件高手身兼數(shù)職，既是項目經(jīng)理，又是軟件架構(gòu)師，還是軟件開發(fā)者，有時還要客串一個測試人員，這對軟件的開發(fā)周期和產(chǎn)品質(zhì)量是不利的，有時一個人的觀點立場是很片面的，而且繁重的工作、沉重的壓力會影響一個人的情緒，情緒會影響決策，決策影響結(jié)果，所以值得我們?nèi)级笮小?/p>

現(xiàn)在大數(shù)據(jù)這么火，具體應(yīng)用怎么樣？

首先我們要了解Java語言和Linux操作系統(tǒng)，這兩個是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序不分前后。

大數(shù)據(jù)

Java ：只要了解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的Java 技術(shù)，學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)基礎(chǔ)。

Linux：因為大數(shù)據(jù)相關(guān)軟件都是在Linux上運行的，所以Linux要學(xué)習(xí)的扎實一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。

Hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個是必學(xué)的。Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數(shù)據(jù)進行處理計算的，它有個特點就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完，但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學(xué)會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯了給你發(fā)報警并能幫你重試程序，最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數(shù)據(jù)多了同樣也需要排隊處理，這樣與你協(xié)作的其它同學(xué)不會叫起來，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數(shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當(dāng)然我們也可以利用這個工具來做線上實時數(shù)據(jù)的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。

Spark：它是用來彌補基于MapReduce處理數(shù)據(jù)速度上的缺點，它的特點是把數(shù)據(jù)裝載到內(nèi)存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

誰能說說mangodb 和 hbase的區(qū)別

1.Mongodb bson文檔型數(shù)據(jù)庫，整個數(shù)據(jù)都存在磁盤中，hbase是列式數(shù)據(jù)庫，集群部署時每個familycolumn保存在單獨的hdfs文件中。

2.Mongodb 主鍵是“_id”,主鍵上面可以不建索引,記錄插入的順序和存放的順序一樣，hbase的主鍵就是row key，可以是任意字符串(最大長度是 64KB，實際應(yīng)用中長度一般為 10-100bytes)，在hbase內(nèi)部，row key保存為字節(jié)數(shù)組。存儲時，數(shù)據(jù)按照Row key的字典序(byte order)排序存儲。設(shè)計key時，要充分排序存儲這個特性，將經(jīng)常一起讀取的行存儲放到一起。

字典序?qū)nt排序的結(jié)果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行鍵必須用0作左填充。

3.Mongodb支持二級索引，而hbase本身不支持二級索引

4.Mongodb支持集合查找，正則查找，范圍查找，支持skip和limit等等，是最像mysql的nosql數(shù)據(jù)庫，而hbase只支持三種查找：通過單個row key訪問，通過row key的range，全表掃描

5.mongodb的update是update-in-place，也就是原地更新，除非原地容納不下更新后的數(shù)據(jù)記錄。而hbase的修改和添加都是同一個命令：put，如果put傳入的row key已經(jīng)存在就更新原記錄,實際上hbase內(nèi)部也不是更新，它只是將這一份數(shù)據(jù)已不同的版本保存下來而已，hbase默認的保存版本的歷史數(shù)量是3。

6.mongodb的delete會將該行的數(shù)據(jù)標(biāo)示為已刪除，因為mongodb在刪除記錄時并不是真把記錄從內(nèi)存或文件中remove，而是將該刪除記錄數(shù)據(jù)置空（寫0或特殊數(shù)字加以標(biāo)識）同時將該記錄所在地址放到一個list列表“釋放列表”中，這樣做的好就是就是如果有用戶要執(zhí)行插入記錄操作時，mongodb會首先從該“釋放列表”中獲取size合適的“已刪除記錄”地址返回，這種方法會提升性能（避免了malloc內(nèi)存操作），同時mongodb也使用了bucket size數(shù)組來定義多個大小size不同的列表，用于將要刪除的記錄根據(jù)其size大小放到合適的“釋放列表”中。Hbase的delete是先新建一個tombstonemarkers，然后讀的時候會和tombstonemarkers做merge，在發(fā)生major compaction時delete的數(shù)據(jù)記錄才會真真刪除。

7.mongodb和hbase都支持mapreduce，不過mongodb的mapreduce支持不夠強大，如果沒有使用mongodb分片，mapreduce實際上不是并行執(zhí)行的

8.mongodb支持shard分片，hbase根據(jù)row key自動負載均衡，這里shard key和row key的選取盡量用非遞增的字段，盡量用分布均衡的字段，因為分片都是根據(jù)范圍來選擇對應(yīng)的存取server的，如果用遞增字段很容易熱點server的產(chǎn)生，由于是根據(jù)key的范圍來自動分片的，如果key分布不均衡就會導(dǎo)致有些key根本就沒法切分，從而產(chǎn)生負載不均衡。

9.mongodb的讀效率比寫高，hbase默認適合寫多讀少的情況，可以通過hfile.block.cache.size配置，該配置storefile的讀緩存占用Heap的大小百分比，0.2表示20%。該值直接影響數(shù)據(jù)讀的性能。如果寫比讀少很多，開到0.4-0.5也沒問題。如果讀寫較均衡，0.3左右。如果寫比讀多，果斷默認0.2吧。設(shè)置這個值的時候，你同時要參考hbase.regionserver.global.memstore.upperLimit，該值是memstore占heap的最大百分比，兩個參數(shù)一個影響讀，一個影響寫。如果兩值加起來超過80-90%，會有OOM的風(fēng)險，謹慎設(shè)置。

10.hbase采用的LSM思想(Log-Structured Merge-Tree)，就是將對數(shù)據(jù)的更改hold在內(nèi)存中，達到指定的threadhold后將該批更改merge后批量寫入到磁盤，這樣將單個寫變成了批量寫，大大提高了寫入速度，不過這樣的話讀的時候就費勁了，需要merge disk上的數(shù)據(jù)和memory中的修改數(shù)據(jù)，這顯然降低了讀的性能。mongodb采用的是mapfile+Journal思想，如果記錄不在內(nèi)存，先加載到內(nèi)存，然后在內(nèi)存中更改后記錄日志，然后隔一段時間批量的寫入data文件，這樣對內(nèi)存的要求較高，至少需要容納下熱點數(shù)據(jù)和索引。

怎樣用python爬新浪微博大V所有數(shù)據(jù)

我是個微博重度用戶，工作學(xué)習(xí)之余喜歡刷刷timeline看看有什么新鮮事發(fā)生，也因此認識了不少高質(zhì)量的原創(chuàng)大V，有分享技術(shù)資料的，比如好東西傳送門；有時不時給你一點人生經(jīng)驗的，比如石康；有高產(chǎn)的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥?木木蘿希木?初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內(nèi)容，但后來發(fā)現(xiàn)新浪微博的API限制實在太多，大家感受一下：

只能獲取當(dāng)前授權(quán)的用戶（就是自己），而且只能返回最新的5條，WTF！

所以果斷放棄掉這條路，改為『生爬』，因為PC端的微博是Ajax的動態(tài)加載，爬取起來有些困難，我果斷知難而退，改為對移動端的微博進行爬取，因為移動端的微博可以通過分頁爬取的方式來一次性爬取所有微博內(nèi)容，這樣工作就簡化了不少。

最后實現(xiàn)的功能：

輸入要爬取的微博用戶的user_id，獲得該用戶的所有微博

文字內(nèi)容保存到以%user_id命名文本文件中，所有高清原圖保存在weibo_image文件夾中

具體操作：

首先我們要獲得自己的cookie，這里只說chrome的獲取方法。

用chrome打開新浪微博移動端

option+command+i調(diào)出開發(fā)者工具

點開Network，將Preserve log選項選中

輸入賬號密碼，登錄新浪微博

找到m.weibo.cn-Headers-Cookie，把cookie復(fù)制到代碼中的#your cookie處

然后再獲取你想爬取的用戶的user_id，這個我不用多說啥了吧，點開用戶主頁，地址欄里面那個號碼就是user_id

將python代碼保存到weibo_spider.py文件中

定位到當(dāng)前目錄下后，命令行執(zhí)行python weibo_spider.py user_id

當(dāng)然如果你忘記在后面加user_id，執(zhí)行的時候命令行也會提示你輸入

最后執(zhí)行結(jié)束

iTerm

小問題：在我的測試中，有的時候會出現(xiàn)圖片下載失敗的問題，具體原因還不是很清楚，可能是網(wǎng)速問題，因為我宿舍的網(wǎng)速實在太不穩(wěn)定了，當(dāng)然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，里面存儲了爬取的所有圖片的下載鏈接，如果出現(xiàn)大片的圖片下載失敗，可以將該鏈接群一股腦導(dǎo)進迅雷等下載工具進行下載。

另外，我的系統(tǒng)是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這里就不展開講了。

下面我就給出實現(xiàn)代碼（嚴肅臉）

Python

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding('utf-8')

if(len(sys.argv) =2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u"請輸入user_id: "))

cookie = {"Cookie": "#your cookie"}

url = 'd?filter=1page=1'%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""

urllist_set = set()

word_count = 1

image_count = 1

print u'爬蟲準備就緒...'

for page in range(1,pageNum+1):

#獲取lxml頁面

url = 'hu/%d?filter=1page=%d'%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath('//span[@class="ctt"]')

for each in content:

text = each.xpath('string(.)')

if word_count = 4:

text = "%d :"%(word_count-3) +text+"\n\n"

else :

text = text+"\n\n"

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, "lxml")

urllist = soup.find_all('a',href=re.compile(r'^mblog/oripic',re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)

image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")

fo.write(result)

word_path=os.getcwd()+'/%d'%user_id

print u'文字微博爬取完畢'

link = ""

fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")

for eachlink in urllist_set:

link = link + eachlink +"\n"

fo2.write(link)

print u'圖片鏈接爬取完畢'

if not urllist_set:

print u'該頁面中不存在圖片'

else:

#下載圖片,保存在當(dāng)前目錄的pythonimg文件夾下

image_path=os.getcwd()+'/weibo_image'

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + '/%s.jpg' % x

print u'正在下載第%s張圖片' % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u"該圖片下載失敗:%s"%imgurl

x+=1

print u'原創(chuàng)微博爬取完畢，共%d條，保存路徑%s'%(word_count-4,word_path)

print u'微博圖片爬取完畢，共%d張，保存路徑%s'%(image_count-1,image_path)

網(wǎng)站題目：nosql果斷,mysql是nosql嗎
分享地址：http://chinadenli.net/article4/dsgpoie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、網(wǎng)站收錄、做網(wǎng)站、品牌網(wǎng)站設(shè)計、企業(yè)網(wǎng)站制作、標(biāo)簽優(yōu)化

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容