分片上傳的原理就是通過切割上傳文件,然后在瀏覽器的頭部通過etag來進(jìn)行劃分文件傳輸,服務(wù)器端接收到文件片段和分割起始符之后,進(jìn)行拼接文件,最后合成一個(gè)大文件。

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),沁源企業(yè)網(wǎng)站建設(shè),沁源品牌網(wǎng)站建設(shè),網(wǎng)站定制,沁源網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,沁源網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿,時(shí)刻以成就客戶成長(zhǎng)自我,堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
你可以自己通過php來獲取瀏覽器頭部傳輸標(biāo)志來進(jìn)行文件的拼接組裝,也可以通過現(xiàn)有的大文件傳輸類來上傳文件。
關(guān)鍵點(diǎn)
記住分割文件點(diǎn),也就是分割文件的順序,拼接文件需要通過etag按照順序拼接,分片可以并發(fā)傳輸,這其實(shí)也是并發(fā)下載的原理。
當(dāng)前做分布式的廠商有幾家,我知道比較出名的有“華為云分布式數(shù)據(jù)庫(kù)DDM”和“阿里云分布式數(shù)據(jù)庫(kù)”,感興趣可以自行搜素了解下。
分布式數(shù)據(jù)庫(kù)的幾點(diǎn)概念可以了解一下。
數(shù)據(jù)分庫(kù):
以表為單位,把原有數(shù)據(jù)庫(kù)切分成多個(gè)數(shù)據(jù)庫(kù)。切分后不同的表存儲(chǔ)在不同的數(shù)據(jù)庫(kù)上。
以表中的數(shù)據(jù)行記錄為單位,把原有邏輯數(shù)據(jù)庫(kù)切分成多個(gè)物理數(shù)據(jù)庫(kù)分片,表數(shù)據(jù)記錄分布存儲(chǔ)在各個(gè)分片上。
路由分發(fā):
在分布式數(shù)據(jù)庫(kù)中,路由的作用即將SQL語(yǔ)句進(jìn)行解析,并轉(zhuǎn)發(fā)到正確的分片上,保證SQL執(zhí)行后得到正確的結(jié)果,并且節(jié)約QPS資源。
讀寫分離:
數(shù)據(jù)庫(kù)中對(duì)計(jì)算和緩存資源消耗較多的往往是密集或復(fù)雜的SQL查詢。當(dāng)系統(tǒng)資源被查詢語(yǔ)句消耗,反過來會(huì)影響數(shù)據(jù)寫入操作,進(jìn)而導(dǎo)致數(shù)據(jù)庫(kù)整體性能下降,響應(yīng)緩慢。因此,當(dāng)數(shù)據(jù)庫(kù)CPU和內(nèi)存資源占用居高不下,且讀寫比例較高時(shí),可以為數(shù)據(jù)庫(kù)添加只讀數(shù)據(jù)庫(kù)。
大文件上傳主要需要解決2個(gè)難點(diǎn)問題。
一個(gè)是文件的分片,一個(gè)是文件的合成。
也就是客戶端分片上傳,服務(wù)器端量分片的文件進(jìn)行合成。
文件分片,前端瀏覽器提供了分片的js函數(shù),我們只需要調(diào)用即可。
文件上傳需要解決斷點(diǎn)續(xù)傳的問題,就是服務(wù)器端需要保留和記錄每次上傳的分片,這樣可以通過順序進(jìn)行文件合并。
斷點(diǎn)續(xù)傳是通過記錄上傳的信息,已上傳的切片不需要重復(fù)上傳,當(dāng)全部切片上傳成功,服務(wù)器端進(jìn)行切片合并。
當(dāng)分片索引不是純整型的字符串時(shí),只接受整型的內(nèi)置 hash 算法是無法使用的。為此,stringhash 按照用戶定義的起點(diǎn)和終點(diǎn)去截取分片索引字段中的部分字符,根據(jù)當(dāng)中每個(gè)字符的二進(jìn)制 unicode 值換算出一個(gè)長(zhǎng)整型數(shù)值,然后就直接調(diào)用內(nèi)置 hash 算法求解分片路由:先求模得到邏輯分片號(hào),再根據(jù)邏輯分片號(hào)直接映射到物理分片。
用戶需要在 rule.xml 中定義 partitionLength[] 和 partitionCount[] 兩個(gè)數(shù)組和 hashSlice 二元組。
在 DBLE 的啟動(dòng)階段,點(diǎn)乘兩個(gè)數(shù)組得到模數(shù),也是邏輯分片的數(shù)量
并且根據(jù)兩個(gè)數(shù)組的叉乘,得到各個(gè)邏輯分片到物理分片的映射表(物理分片數(shù)量由 partitionCount[] 數(shù)組的元素值之和)
此外根據(jù) hashSlice 二元組,約定把分片索引值中的第 4 字符到第 5 字符(字符串以 0 開始編號(hào),編號(hào) 3 到編號(hào) 4 等于第 4 字符到第 5 字符)字符串用于 “字符串-整型”的轉(zhuǎn)換
在 DBLE 的運(yùn)行過程中,用戶訪問使用這個(gè)算法的表時(shí),WHERE 子句中的分片索引值會(huì)被提取出來,取當(dāng)中的第 4 個(gè)字符到第 5 字符,送入下一步
設(shè)置一個(gè)初始值為 0 的累計(jì)值,逐個(gè)取字符,把累計(jì)值乘以 31,再把這個(gè)字符的 unicode 值當(dāng)成長(zhǎng)整型加入到累計(jì)值中,如此類推直至處理完截取出來的所有字符,此時(shí)的累計(jì)值就能夠代表用戶的分片索引值,完成了 “字符串-整型” 的轉(zhuǎn)換
對(duì)上一步的累計(jì)值進(jìn)行求模,得到邏輯分片號(hào)
再根據(jù)邏輯分片號(hào),查映射表,直接得到物理分片號(hào)
與MyCat的類似分片算法對(duì)比
請(qǐng)點(diǎn)擊輸入圖片描述
兩種算法在string轉(zhuǎn)化為int之后,和 hash 分區(qū)算法相同,區(qū)別也繼承了 hash 算法的區(qū)別。
開發(fā)注意點(diǎn)
【分片索引】1. 必須是字符串
【分片索引】2. 最大物理分片配置方法是,讓 partitionCount[] 數(shù)組和等于 2880
例如:
property name="partitionLength"1/propertyproperty name="partitionCount"2880/property
或
property name="partitionLength"1,1/propertyproperty name="partitionCount"1440,1440/property
【分片索引】3. 最小物理分片配置方法是,讓 partitionCount[] 數(shù)組和等于 1
例如
property name="partitionLength"2880/propertyproperty name="partitionCount"1/property
【分片索引】4. partitionLength 和 partitionCount 被當(dāng)做兩個(gè)逗號(hào)分隔的一維數(shù)組,它們之間的點(diǎn)乘必須在 [1, 2880] 范圍內(nèi)
【分片索引】5. partitionLength 和 partitionCount 的配置對(duì)順序敏感
property name="partitionLength"512,256/propertyproperty name="partitionCount"1,2/property
和
property name="partitionLength"256,512/propertyproperty name="partitionCount"2,1/property
是不同的分片結(jié)果
【分片索引】6. 分片索引字段長(zhǎng)度小于用戶指定的截取長(zhǎng)度時(shí),截取長(zhǎng)度會(huì)安全減少到符合分片索引字段長(zhǎng)度
【數(shù)據(jù)分布】1. 分片索引字段截取越長(zhǎng)則越有利于數(shù)據(jù)均勻分布
【數(shù)據(jù)分布】2. 分片索引字段的內(nèi)容重復(fù)率越低則越有利于數(shù)據(jù)均勻分布
運(yùn)維注意點(diǎn)
【擴(kuò)容】1. 預(yù)先過量分片,并且不改變 partitionCount 和 partitionLength 點(diǎn)乘結(jié)果,也不改變截取設(shè)置 hashSlice 時(shí),可以避免數(shù)據(jù)再平衡,只需進(jìn)行涉及數(shù)據(jù)的遷移
【擴(kuò)容】2. 若需要改變 partitionCount 和 partitionLength 點(diǎn)乘結(jié)果或改變截取設(shè)置 hashSlice 時(shí),需要數(shù)據(jù)再平衡
【縮容】1. 預(yù)先過量分片,并且不改變 partitionCount 和 partitionLength 點(diǎn)乘結(jié)果,也不改變截取設(shè)置 hashSlice 時(shí),可以避免數(shù)據(jù)再平衡,只需進(jìn)行涉及數(shù)據(jù)的遷移
【縮容】2. 若需要改變 partitionCount 和 partitionLength 點(diǎn)乘結(jié)果或改變截取設(shè)置 hashSlice 時(shí),需要數(shù)據(jù)再平衡
配置注意點(diǎn)
【配置項(xiàng)】1. 在 rule.xml 中,可配置項(xiàng)為?property name="partitionLength"? 、property name="partitionCount" 和 property name="hashSlice"
【配置項(xiàng)】2.在 rule.xml 中配置 property name="partitionLength"?標(biāo)簽
內(nèi)容形式為:物理分片持有的虛擬分片數(shù)[,物理分片持有的虛擬分片數(shù),...物理分片持有的虛擬分片數(shù)]
物理分片持有的虛擬分片數(shù)必須是整型,物理分片持有的虛擬分片數(shù)從左到右與同順序的物理分片數(shù)對(duì)應(yīng),partitionLength 和partitionCount 的點(diǎn)乘結(jié)果必須在 [1, 2880] 范圍內(nèi)
【配置項(xiàng)】3. 在 rule.xml 中配置 property name="partitionCount"?標(biāo)簽
內(nèi)容形式為:物理分片數(shù)[,物理分片數(shù),...物理分片數(shù)]
其中物理分片數(shù)必須是整型,物理分片數(shù)按從左到右的順序與同順序的物理分片持有的虛擬分片數(shù)對(duì)應(yīng),物理分片的編號(hào)從左到右連續(xù)遞進(jìn),partitionLength 和 partitionCount 的點(diǎn)乘結(jié)果必須在 [1, 2880] 范圍內(nèi)
【配置項(xiàng)】4. partitionLength 和 partitionCount 的語(yǔ)義是:持有partitionLength[i] 個(gè)虛擬分片的物理分片有 partitionCount[i] 個(gè)
例如
property name="partitionLength"512,256/propertyproperty name="partitionCount"1,2/property
語(yǔ)義是持有 512 個(gè)邏輯分片的物理分片有 1 個(gè),緊隨其后,持有 256 個(gè)邏輯分片的物理分片有 2 個(gè)
【配置項(xiàng)】5.partitionLength 和 partitionCount 都對(duì)書寫順序敏感,
例如
property name="partitionLength"512,256/propertyproperty name="partitionCount"1,2/property
分片結(jié)果是第一個(gè)物理分片持有頭512個(gè)邏輯分片,第二個(gè)物理分片持有緊接著的256個(gè)邏輯分片,第三個(gè)物理分片持有最后256個(gè)邏輯分片,相對(duì)的
property name="partitionLength"256,512/propertyproperty name="partitionCount"2,1/property
分片結(jié)果則是第一個(gè)物理分片持有頭 256 個(gè)邏輯分片,第二個(gè)物理分片持有緊接著的 256 個(gè)邏輯分片,第三個(gè)物理分片持有最后 512 個(gè)邏輯分片
【配置項(xiàng)】6.partitionLength[] 的元素全部為 1 時(shí),這時(shí)候partitionCount 數(shù)組和等于 partitionLength 和 partitionCount 的點(diǎn)乘,物理分片和邏輯分片就會(huì)一一對(duì)應(yīng),該分片算法等效于直接取余
【配置項(xiàng)】7.在 rule.xml 中配置標(biāo)簽,從分片索引字段的第幾個(gè)字符開始截取到第幾個(gè)字符:
若希望從首字符開始截取 k 個(gè)字符( k 為正整數(shù)),配置的內(nèi)容形式可以為“ 0 : k ”、“ k ”或“ : k ”;
若希望從末字符開始截取 k 個(gè)字符( k 為正整數(shù)),則配置的內(nèi)容形式可以為“ -k : 0 ”、“ -k ”或“ -k : ”;
若希望從頭第 m 個(gè)字符起算截取 n 個(gè)字符( m 和 n 都是正整數(shù)),則先計(jì)算出 i = m - 1 和 j = i + n - 1,配置的內(nèi)容形式為“ i : j ”;
若希望從尾第 m 個(gè)字符起算截取從尾算起的 n 個(gè)字符( m 和 n 都是正整數(shù)),則先計(jì)算出 i = -m + n - 1,配置的內(nèi)容形式可以為“ -m : i ”;
若希望不截取,則配置的內(nèi)容形式可以為“ 0 : 0 ”、“ 0 : ”、“ : 0 ”或 “ : ”
新聞標(biāo)題:php數(shù)據(jù)庫(kù)分片,php對(duì)數(shù)據(jù)進(jìn)行分組
網(wǎng)頁(yè)地址:http://chinadenli.net/article21/dsgscjd.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計(jì)、用戶體驗(yàn)、網(wǎng)站改版、網(wǎng)站導(dǎo)航、定制網(wǎng)站、企業(yè)網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)