創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商,新人活動買多久送多久,劃算不套路!

這篇文章主要介紹Python處理大數(shù)據(jù)時有哪些缺點(diǎn) ,文中介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們一定要看完!
我很喜歡用python,用python處理數(shù)據(jù)是家常便飯,從事的工作涉及nlp,算法,推薦,數(shù)據(jù)挖掘,數(shù)據(jù)清洗,數(shù)據(jù)量級從幾十k到幾T
不等,我來說說吧
百萬級別數(shù)據(jù)是小數(shù)據(jù),python處理起來不成問題,python處理數(shù)據(jù)還是有些問題的。
Python處理大數(shù)據(jù)的劣勢:
1.python線程有g(shù)il,通俗說就是多線程的時候只能在一個核上跑,浪費(fèi)了多核服務(wù)器。在一種常見的場景下是要命的:并發(fā)單元之間有巨
大的數(shù)據(jù)共享或者共用(例如大dict),多進(jìn)程會導(dǎo)致內(nèi)存吃緊,多線程則解決不了數(shù)據(jù)共享的問題,單獨(dú)的寫一個進(jìn)程之間負(fù)責(zé)維護(hù)讀
寫這個數(shù)據(jù)不僅效率不高而且麻煩
2.python執(zhí)行效率不高,在處理大數(shù)據(jù)的時候,效率不高,這是真的,pypy(一個jit的python解釋器,可以理解成腳本語言加速執(zhí)行的
東西)能夠提高很大的速度,但是pypy不支持很多python經(jīng)典的包,例如numpy(順便給pypy做做廣告,土豪可以捐贈一下PyPy -
Call for donations)
3.絕大部分的大公司,用java處理大數(shù)據(jù)不管是環(huán)境也好,積累也好,都會好很多。
Python處理數(shù)據(jù)的優(yōu)勢(不是處理大數(shù)據(jù)):
1. 異常快捷的開發(fā)速度,代碼量巨少 2. 豐富的數(shù)據(jù)處理包,不管正則也好,html解析啦,xml解析啦,用起來非常方便 3. 內(nèi)部類型使用成本巨低,不需要額外怎么操作(java,c++用個map都很費(fèi)勁) 4. 公司中,很大量的數(shù)據(jù)處理工作工作是不需要面對非常大的數(shù)據(jù)的 5. 巨大的數(shù)據(jù)不是語言所能解決的,需要處理數(shù)據(jù)的框架(hadoop, mpi。。。。)雖然小眾,但是python還是有處理大數(shù)據(jù)的框 架的,或者一些框架也支持python 6. 編碼問題處理起來太太太方便了
綜上所述:
1. python可以處理大數(shù)據(jù)
2. python處理大數(shù)據(jù)不一定是最優(yōu)的選擇
3. python和其他語言(公司主推的方式)并行使用是非常不錯的選擇
4. 因為開發(fā)速度,你如果經(jīng)常處理數(shù)據(jù),而且喜歡linux終端,而且經(jīng)常處理不大的數(shù)據(jù)(100m一下),最好還是學(xué)一下python。
以上是Python處理大數(shù)據(jù)時有哪些缺點(diǎn) 的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道!
當(dāng)前文章:Python處理大數(shù)據(jù)時有哪些缺點(diǎn)-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址:http://chinadenli.net/article42/ccgoec.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、自適應(yīng)網(wǎng)站、動態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、定制開發(fā)、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容