iOS 視頻播放流程及原理

筆者iOS開發(fā)工程師，現(xiàn)在很多應(yīng)用場(chǎng)景下都會(huì)用到視頻播放技術(shù)，當(dāng)然iOS APP也不例外，這是寫這篇文章的背景。

作為一家“創(chuàng)意+整合+營銷”的成都網(wǎng)站建設(shè)機(jī)構(gòu)，我們?cè)跇I(yè)內(nèi)良好的客戶口碑。成都創(chuàng)新互聯(lián)提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)、創(chuàng)意表現(xiàn)、網(wǎng)頁制作、系統(tǒng)開發(fā)以及后續(xù)網(wǎng)站營銷運(yùn)營等一系列服務(wù)，幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營模式與有效的網(wǎng)絡(luò)營銷方法,創(chuàng)造更大的價(jià)值。

最近我一個(gè)同樣做iOS工程師的同學(xué)說他最近面試了一個(gè)人，簡(jiǎn)歷里寫著做過視頻播放，就問他基本的視頻播放原理是什么，結(jié)果此人一臉懵逼狀什么也沒答上來，只是說會(huì)用iOS SDK下調(diào)用視頻播放的幾個(gè)API。我同學(xué)跟我說他就是想問問此人計(jì)算機(jī)基礎(chǔ)怎么樣，其實(shí)只要應(yīng)聘者能說出“解碼”兩個(gè)字都會(huì)讓他滿意的，可惜他卻什么也沒說出來。這又讓筆者想起幾年前臨近大學(xué)畢業(yè)時(shí)同寢室友校招面試時(shí)也遇到了同樣的問題，他也做過視頻播放，人家就問他其中有兩個(gè)問題，一是如果現(xiàn)在有一種非常奇怪的格式的視頻讓你播放你該怎么辦，他也是懵逼了。二是如果現(xiàn)在有一個(gè)1G的超大視頻讓你播放，你又該怎么辦，他直接就傻了，面試自然折戟沉沙了。

事實(shí)上僅就iOS APP來講，要想做出視頻播放的功能來，的確是調(diào)用 AVFoundation 框架下幾個(gè)常用的API就可以了，iOS 9 之前常用的是 MPMoviePlayerController ,ios 9 之后推薦使用流播放技術(shù)的 AVPlayer ，可是就像常說的API普通的程序員都會(huì)調(diào)，可是真正有專業(yè)基礎(chǔ)和想進(jìn)階就要知其然還要知其所以然，有專業(yè)基礎(chǔ)的和半路出家的程序員的最大區(qū)別也正在于此，這也就成了本片文章寫作的契機(jī)，下面這些內(nèi)容也是筆者整合了一些自己的一些積累，主要來源于我們有合作關(guān)系的一家叫保利威視的視頻解決方案提供商，希望對(duì)大家有幫助，水平有限，有不足之處還請(qǐng)大家不吝賜教。

視音頻技術(shù)主要包含以下幾點(diǎn)：** 封裝技術(shù)，視頻壓縮編碼技術(shù)以及音頻壓縮編碼技術(shù)。如果考慮到網(wǎng)絡(luò)傳輸?shù)脑挘€包括流媒體協(xié)議技術(shù)。**

視頻播放器播放網(wǎng)上的視頻文件，需要經(jīng)過以下幾個(gè)步驟：** 解協(xié)議，解封裝，解碼視音頻，視音頻同步**。如果播放本地文件則不需要解協(xié)議，為以下幾個(gè)步驟：解封裝，解碼視音頻，視音頻同步。過程如圖所示。

解協(xié)議的作用，就是將流媒體協(xié)議的數(shù)據(jù)，解析為標(biāo)準(zhǔn)的相應(yīng)的封裝格式數(shù)據(jù)。視音頻在網(wǎng)絡(luò)上傳播的時(shí)候，常常采用各種流媒體協(xié)議，例如HTTP，RTMP，或是MMS等等。這些協(xié)議在傳輸視音頻數(shù)據(jù)的同時(shí)，也會(huì)傳輸一些信令數(shù)據(jù)。這些信令數(shù)據(jù)包括對(duì)播放的控制（播放，暫停，停止），或者對(duì)網(wǎng)絡(luò)狀態(tài)的描述等。解協(xié)議的過程中會(huì)去除掉信令數(shù)據(jù)而只保留視音頻數(shù)據(jù)。例如，采用RTMP協(xié)議傳輸?shù)臄?shù)據(jù)，經(jīng)過解協(xié)議操作后，輸出FLV格式的數(shù)據(jù)。

解封裝的作用，就是將輸入的封裝格式的數(shù)據(jù)，分離成為音頻流壓縮編碼數(shù)據(jù)和視頻流壓縮編碼數(shù)據(jù)。封裝格式種類很多，例如MP4，MKV，RMVB，TS，F(xiàn)LV，AVI等等，它的作用就是將已經(jīng)壓縮編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)按照一定的格式放到一起。例如，F(xiàn)LV格式的數(shù)據(jù)，經(jīng)過解封裝操作后，輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。

解碼的作用，就是將視頻/音頻壓縮編碼數(shù)據(jù)，解碼成為非壓縮的視頻/音頻原始數(shù)據(jù)。音頻的壓縮編碼標(biāo)準(zhǔn)包含AAC，MP3，AC-3等等，視頻的壓縮編碼標(biāo)準(zhǔn)則包含H.264，MPEG2，VC-1等等。解碼是整個(gè)系統(tǒng)中最重要也是最復(fù)雜的一個(gè)環(huán)節(jié)。通過解碼，壓縮編碼的視頻數(shù)據(jù)輸出成為非壓縮的顏色數(shù)據(jù)，例如YUV420P，RGB等等；壓縮編碼的音頻 數(shù)據(jù)輸出成為非壓縮的音頻抽樣數(shù)據(jù)，例如PCM數(shù)據(jù)。

視音頻同步的作用，就是根據(jù)解封裝模塊處理過程中獲取到的參數(shù)信息，同步解碼出來的視頻和音頻數(shù)據(jù)，并將視頻音頻數(shù)據(jù)送至系統(tǒng)的顯卡和聲卡播放出來。

請(qǐng)問我該怎么學(xué)習(xí)ios視頻開發(fā)呢？

1、Java學(xué)來是否有用？

答：我看斯坦福公開課的時(shí)候，沒有看先修課程，直接從iOS開發(fā)開始看的。如果你看過第一集，應(yīng)該會(huì)發(fā)現(xiàn)，該課程的學(xué)習(xí)要求有基礎(chǔ)的編程知識(shí)，還要了解面向?qū)ο笏枷搿＠蠋煏?huì)在最開始對(duì)學(xué)生說，我默認(rèn)你們都修過C++或者另外一門面向?qū)ο笳n程（我沒有查課程代碼，可能就是Java吧）。沒修過怎么辦呢，如果那些思想你都了解，就無所謂了，否則要自己惡補(bǔ)一下。最起碼得知道什么是父類，子類，繼承，多態(tài)吧。

2、cs193p好像是很多年前的。。。現(xiàn)在ios7甚至ios8是否用得上？

答：這門公開課斯坦福每年都會(huì)開，你想了解最新的，那么就看最新的視頻就可以了，它的教學(xué)內(nèi)容是會(huì)隨著新版本的發(fā)布有所修改的。需要注意的是最新的視頻沒有中文字幕，甚至連英文字幕都沒有。至于在哪兒能看到，官方一點(diǎn)，iTunes上搜Stanford iOS這倆關(guān)鍵字就能找到標(biāo)清、高清的視頻。網(wǎng)速慢怎么辦？已有勤勞的搬運(yùn)工放在國內(nèi)的服務(wù)器了，隨便搜搜就能搜得到。

3、另外就是如果各位有什么自學(xué)的方法也請(qǐng)推薦下。。。

答：我下面寫的那一大段就是，來自于個(gè)人學(xué)習(xí)經(jīng)驗(yàn)。如滿意，請(qǐng)隨手采納，謝謝！

iOS音視頻編碼

iOS音視頻開發(fā)涉及的方面比較廣泛，一般分為采集、音視頻的封裝、編碼、推流、拉流、解封裝、解碼、播放等階段。其中音視頻的編碼和解碼階段是非常重要的步驟。其中編碼分為硬編碼和軟編碼，對(duì)應(yīng)解碼分為硬解碼和軟解碼。

硬編碼是指使用非CPU進(jìn)行編碼，如顯卡GPU、專用的DSP、FPGA、ASIC芯片等。

硬編碼一般性能高，對(duì)CPU沒有壓力，但是對(duì)其他硬件要求較高（如GPU等）。

軟編碼是指使用CPU進(jìn)行編碼，軟編碼通常使用：ffmpeg+x264。

軟編碼實(shí)現(xiàn)直接、簡(jiǎn)單，參數(shù)調(diào)整方便，升級(jí)易，但CPU負(fù)載重，性能較硬編碼低。

常見的直播服務(wù)普遍采用了RTMP作為流媒體協(xié)議，F(xiàn)LV作為封裝格式，H.264作為視頻編碼格式，AAC作為音頻編碼格式。

iOS中編碼方式：

在iOS8之前，蘋果并沒有開放硬編碼的接口，所以只能采用ffmpeg+x624進(jìn)行軟編碼

在iOS8之后，蘋果開放了接口，并且封裝了VideoToolBoxAudioToolbox兩個(gè)框架，分別用于對(duì)視頻音頻進(jìn)行硬編碼

文章名稱：視頻開發(fā)框架ios,視頻框架軟件
當(dāng)前地址：http://chinadenli.net/article3/dsgcdis.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、用戶體驗(yàn)、標(biāo)簽優(yōu)化、、網(wǎng)站策劃、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)