桌面端開(kāi)發(fā)都用什么語(yǔ)言，簡(jiǎn)單分析下這些語(yǔ)言的優(yōu)劣勢(shì)對(duì)比？

目前，最優(yōu)的選擇有四個(gè)：

成都創(chuàng)新互聯(lián)公司專注于呼中網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供呼中營(yíng)銷型網(wǎng)站建設(shè)，呼中網(wǎng)站制作、呼中網(wǎng)頁(yè)設(shè)計(jì)、呼中網(wǎng)站官網(wǎng)定制、微信小程序開(kāi)發(fā)服務(wù)，打造呼中網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供呼中網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

1.如果只在win下使用，.net form是不二選擇，可謂是又快又好，企業(yè)應(yīng)用或定制開(kāi)發(fā)都是相當(dāng)好的，初學(xué)者也可以入手。

2.electron，跨平臺(tái)。需要會(huì)前端，必須熟悉js、css和html。屬于前端人員大殺器，如果是初學(xué)者，需要一下子學(xué)三樣?xùn)|西，再加上electron的進(jìn)程間通信，可能會(huì)被搞懵。

3. qt5，可以使用qml（js語(yǔ)法）進(jìn)行UI編程，但是需要懂c艸，但是寫軟件相當(dāng)快，還可以寫安卓、ios、Linux、嵌入式中的應(yīng)用。

4.flutter，剛剛正式支持win平臺(tái)的軟件開(kāi)發(fā)。谷歌出的這個(gè)東西，適合沒(méi)有基礎(chǔ)的初學(xué)者，因?yàn)槭且粋€(gè)全新的體系，全新的語(yǔ)言，寫ios、安卓非常高效，之后還會(huì)兼容h5。如果是初學(xué)者可以跟著走，值得嘗試。但是新東西總有一些坑。

正式項(xiàng)目跨平臺(tái)建議electron或qt，只用win平臺(tái)強(qiáng)烈建議微軟自己的net。個(gè)人技術(shù)嘗試建議flutter。

桌面端開(kāi)發(fā)跨平臺(tái)的，如果你是輕量級(jí)的項(xiàng)目，那么我推薦你用electron, 目前使用Electron來(lái)開(kāi)發(fā)的桌面應(yīng)用非常多，我們最熟悉的比如Atom,VScode等等。

而且在github上也能找到許多應(yīng)用使用了electron。

electron是Node，Chromium,html,css,js的結(jié)合框架，這就需要你有一定的前端基礎(chǔ)。其實(shí)只需要了解一下electron的API就行了，其他的就像你在做web是一樣的。

這種方式最大的缺點(diǎn)就是性能，還有透明窗口也有問(wèn)題。所以在做需要性能方面占有很大成分的項(xiàng)目時(shí)，并不推薦使用這個(gè)方式。

那么其他的，就是最近幾年使用比較多的windows directui框架，但它不是跨平臺(tái)的。

那么就引出了qt，作為c++跨平臺(tái)的界面框架，這個(gè)上手的話，我覺(jué)得對(duì)一般人是有難度的，因?yàn)槭紫刃枰鷮?shí)的c++功底，其次你要熟悉控件的制作原理，因?yàn)橛袝r(shí)候你需要定制自己的UI控件。它現(xiàn)在在嵌入式，軍工領(lǐng)域非常受歡迎。但是整個(gè)庫(kù)非常臃腫龐大，而且開(kāi)發(fā)界面的效率也非常低。如果來(lái)做互聯(lián)網(wǎng)項(xiàng)目，迭代更新的速度根本就跟不上。

目前都只有大公司會(huì)采用，像maya這種生產(chǎn)力型的應(yīng)用很多是qt做的。

還有一種是直接使用Cef加js，比如網(wǎng)易云音樂(lè)，就是這么搞的，但是很多和系統(tǒng)平臺(tái)的交互接口你需要重寫，等于是需要自己造輪子。工作量大，目前沒(méi)有適合的框架給你套用，也需要扎實(shí)的c++功底。

其實(shí)pc端的應(yīng)用基本也就windows會(huì)火一些，再加一個(gè)macos，那么選擇qt應(yīng)該會(huì)很好一點(diǎn)，畢竟你自己造一個(gè)跨平臺(tái)的框架，太費(fèi)時(shí)。總之，做跨平臺(tái)就意味著，不可能做到既有效率又完美的實(shí)現(xiàn)各種功能，許多都要自己摸索。

win桌面端直接上visual studio啊！然后你熟悉什么語(yǔ)言？vb.net，c#，c++都有相應(yīng)的win桌面工具。直接用就好了，非常好用

編程語(yǔ)言這種東西無(wú)所謂，只要能用啥都可以。 主要看你老板需要和你會(huì)用什么語(yǔ)言。

比如 我用AS編安卓程序，當(dāng)然用JAVA。不過(guò)我后臺(tái)最開(kāi)始用ASP和ASP.NET來(lái)做，現(xiàn)在換PHP了。桌面端用QT或者VB做。 涉及單片機(jī)部分控制也用C。

現(xiàn)在做跨平臺(tái)的了 開(kāi)始以QT為主了。

只要能達(dá)到目的啥都可以。

學(xué)會(huì)1-2種 換其他的也不是很難。

對(duì)初學(xué)者來(lái)建議學(xué)C起步吧。

精通一門，重新學(xué)個(gè)語(yǔ)言入門也就1個(gè)月的事。

PC桌面程序，如果簡(jiǎn)單一點(diǎn)的，用pyqt5+python的開(kāi)發(fā)難度和周期都比較現(xiàn)實(shí)一點(diǎn)

會(huì)C++ 用Qt5 非常不錯(cuò) 寫代碼效率很高

會(huì)js 用atom使用的那個(gè)框架

會(huì)Python用PyQt 寫代碼很快

會(huì)java用JavaFX

看語(yǔ)言咯

還可以用delphi，其firemonkey框架發(fā)布8年時(shí)間，支持跨平臺(tái)：win，安卓，ios，macos，linux，后續(xù)支持webassembly，界面是控件拖拽布局所見(jiàn)即所得，開(kāi)發(fā)效率較高。編譯生成的是機(jī)器碼，編譯速度快，調(diào)試方便，其生成機(jī)器碼運(yùn)行效率較高，支持x86，arm的32位64位處理器。支持跨平臺(tái)3D界面，藍(lán)牙通訊，定位，重力，攝像等，支持多種SQL,NoSQL數(shù)據(jù)庫(kù)。單個(gè)開(kāi)發(fā)工具實(shí)現(xiàn)前后端開(kāi)發(fā)，跨平臺(tái)開(kāi)發(fā)。適合個(gè)人和小公司用一套工具實(shí)現(xiàn)大部分開(kāi)發(fā)需求。

主要有以下幾種技術(shù)

### Duilib

#### 簡(jiǎn)述

Duilib是在Windows平臺(tái)上使用最廣泛的類庫(kù)，使用C++和XML混合編程，國(guó)內(nèi)很多計(jì)算機(jī)企業(yè)都喜歡使用這個(gè)類庫(kù)，可能是由于他的技術(shù)許可比較寬泛的原因。

適合于界面比較簡(jiǎn)單的軟件，視覺(jué)特效豐富，局限于Windows的平臺(tái)。例子：360電腦管家。

#### 優(yōu)勢(shì)

#### 劣勢(shì)

### Gtk、Qt或WxWidget：

#### 簡(jiǎn)述

三種基本可以做到跨平臺(tái)的技術(shù)，使用C/C++開(kāi)發(fā)，使用者廣泛。其中WxWidget使用了API嫁接方式，Qt和Gtk（包括各種綁定技術(shù)）使用自繪技術(shù)。

結(jié)構(gòu)嚴(yán)謹(jǐn)，軟件可以做的很大很復(fù)雜。例子：WPS和Maya。

#### 優(yōu)勢(shì)

#### 劣勢(shì)

### Electron：

#### 簡(jiǎn)介

使用Web技術(shù)開(kāi)發(fā)桌面軟件，基于Chromium（Chrome）引擎，使用JS編程語(yǔ)言，絕大多數(shù)使用者都是原來(lái)的網(wǎng)頁(yè)開(kāi)發(fā)者。

絕大多數(shù)都是愛(ài)好者使用，處于“勉強(qiáng)可用”的地步。

適合大面積靜態(tài)展示型軟件使用。例子：網(wǎng)易云音樂(lè)。

#### 優(yōu)勢(shì)

#### 劣勢(shì)

### QtQuick（QML）

#### 簡(jiǎn)述

Qt公司開(kāi)發(fā)的一款基于OpenGL的圖形類庫(kù)，有顯卡加速，類似于Duilib。采用了C++與QML混合編程。QML類似于JavaScript語(yǔ)言。

QtQuick下一個(gè)版本在Qt 6上更加強(qiáng)大，業(yè)界期待已久。

#### 優(yōu)勢(shì)

#### 劣勢(shì)

### Atk、Swing或JavaFX

使用Java語(yǔ)言開(kāi)發(fā)軟件，有JDK加持業(yè)界積累的眾多Java類庫(kù)支持。有不輸于VS的IDEA加持，本應(yīng)該更棒，只是現(xiàn)在已經(jīng)式微了。

絕大多數(shù)使用者都是企業(yè)開(kāi)發(fā)（不追求界面美觀）、愛(ài)好者（開(kāi)發(fā)順手）。

### WinForm、WPF或Xamarin：

使用C#開(kāi)發(fā)，WinForm和WPF局限于Windows平臺(tái)。有VisualStudio加持使用很爽。

### Flutter:

使用Dart語(yǔ)言，新類庫(kù)，bug可能會(huì)很多。

### SwiftUI或Cocoa：

蘋果平臺(tái)原生界面技術(shù)，macOS平臺(tái)內(nèi)建支持，不是macOS專用軟件不推薦。

### Win32：

經(jīng)典Windows 平臺(tái)API，絕大多數(shù)只有一些老軟件還在使用，不是維護(hù)老軟件不推薦。

winform,不二選擇

webview2，作為一個(gè)瀏覽器控件嵌入在桌面應(yīng)用中，支持.net core和.net framework

命令行執(zhí)行flutter doctor無(wú)響應(yīng)原因追蹤及解決

??最近在學(xué)習(xí)Flutter開(kāi)發(fā)，在一次配置環(huán)境的過(guò)程中遇到了一個(gè)比較尷尬的坑，不過(guò)最終還是把這個(gè)坑給填掉了，再此進(jìn)行一些分享，希望后來(lái)者遇到同樣的問(wèn)題時(shí)可以輕松的解決。

??從下圖中可以看出，前面幾條 flutter doctor 命令執(zhí)行的時(shí)候總是未響應(yīng)，通過(guò)各種方式執(zhí)行都是一樣的結(jié)果，但是dart命令是能夠正常執(zhí)行。起初還以為是環(huán)境變量配置的有問(wèn)題，但是后來(lái)把環(huán)境變量改了又改，并且把flutter包換了又換，但是現(xiàn)象一直未得到解決。

??遇到這種難題第一時(shí)間想到的便是百度，但是各種關(guān)鍵詞搜索了一番之后，竟然沒(méi)有找到一篇關(guān)于這種現(xiàn)象的解決方案，大部分都是flutter命令使用教程，如用 flutter doctor 去查看環(huán)境是否配置完成，或者通過(guò) flutter doctor --android-licenses 命令去接受Android SDK的一些協(xié)議許可。

??后來(lái)，又嘗試了必應(yīng)和Google搜索，也無(wú)果之后，放棄了通過(guò)網(wǎng)絡(luò)尋求幫助解決的方法。

??由于只有flutter的命令執(zhí)行的時(shí)候無(wú)響應(yīng)，所以起初認(rèn)為是程序包有問(wèn)題。于是通過(guò)再次解壓程序壓縮包和配置環(huán)境變量之后，問(wèn)題仍然存在。

??隨后，判斷了不是程序包的問(wèn)題之后開(kāi)始去監(jiān)控應(yīng)用進(jìn)程的變化。

??到這里，可以猜到很可能是由于git導(dǎo)致的問(wèn)題，但是先前安裝過(guò)flutter都沒(méi)有問(wèn)題，這一次重裝系統(tǒng)之后就突然有問(wèn)題了。所以就嘗試著把git軟件給刪除并重新安裝，然后奇跡的發(fā)現(xiàn)了 flutter doctor 命令可以正常執(zhí)行了。

??于是又倒退回去復(fù)現(xiàn)了一下問(wèn)題，發(fā)現(xiàn)是安裝git的時(shí)候選項(xiàng)選的有問(wèn)題導(dǎo)致了和flutter沖突。

??如下圖，選擇了 Use Window's default console window 的選項(xiàng)來(lái)安裝git軟件之后，git bash是直接用的window的命令窗口來(lái)執(zhí)行命令。正是因?yàn)檫x中了這個(gè)選項(xiàng)所以導(dǎo)致flutter命令無(wú)響應(yīng)的問(wèn)題。

??所以如果你出現(xiàn)了和我一樣的問(wèn)題可以嘗試重新安裝git軟件，并在這一步選擇 Use MinTTY 的選項(xiàng)來(lái)安裝。

??經(jīng)過(guò)不斷的試錯(cuò)，終于將這個(gè)問(wèn)題解決了，flutter命令也可以正常執(zhí)行了。如圖，通過(guò)VSCode開(kāi)發(fā)工具可以正常的執(zhí)行 flutter create hello_flutter 創(chuàng)建新的flutter項(xiàng)目。

??遇到問(wèn)題要大膽試錯(cuò)，只要不斷的嘗試就會(huì)離問(wèn)題的起因更近，最后找到解決問(wèn)題的辦法。如果你的flutter遇到了相同的問(wèn)題而又不是由于git導(dǎo)致的話，也可以通過(guò)類似的方式不斷試錯(cuò)并找到最終的解決方案。也歡迎各位同行可以在評(píng)論里分享自己解決問(wèn)題的方法。

??樂(lè)于分享，共同進(jìn)步。

做混合的話Uniapp和Flutter我應(yīng)該學(xué)哪個(gè)啊？

Uniapp目前比較成熟，而且用的是Vue語(yǔ)法，學(xué)習(xí)成本比較低，而且行業(yè)里面用的也比較廣泛，而Flutter的話，學(xué)習(xí)成本略高，因?yàn)橐獙W(xué)習(xí)新的語(yǔ)言，還有就是目前生態(tài)不是特別完備，等他再發(fā)展發(fā)展吧。黑馬程序員官網(wǎng)有成套免費(fèi)視頻哦，有什么不懂的可以直接過(guò)去學(xué)習(xí)。您的采納是對(duì)我成長(zhǎng)的鞭策

Flutter浪潮下的音視頻研發(fā)探索

文/陳爐軍

整理/LiveVideoStack

大家好，我是阿里巴巴閑魚(yú)事業(yè)部的陳爐軍，本次分享的主題是Flutter浪潮下的音視頻研發(fā)探索，主要內(nèi)容是針對(duì)閑魚(yú)APP在當(dāng)下流行的跨平臺(tái)框架Flutter的大規(guī)模實(shí)踐，介紹其在音視頻領(lǐng)域碰到的一些困難以及解決方案。

分享內(nèi)容主要分為四個(gè)方面，首先會(huì)對(duì)Flutter有一個(gè)簡(jiǎn)單介紹以及選擇Flutter作為跨平臺(tái)框架的原因，其次會(huì)介紹Flutter中與音視頻關(guān)系非常大的外接紋理概念，以及對(duì)它做出的一些優(yōu)化。之后會(huì)對(duì)閑魚(yú)在音視頻實(shí)踐過(guò)程中碰到的一些Flutter問(wèn)題提出了一些解決方案——TPM音視頻框架。最后是閑魚(yú)Flutter多媒體開(kāi)源組件的介紹。

Flutter

Flutter是一個(gè)跨平臺(tái)框架，以往的做法是將音頻、視頻和網(wǎng)絡(luò)這些模塊都下沉到C++層或者ARM層，在其上封裝成一個(gè)音視頻的SDK，供UI層的PC、iOS和Android調(diào)用。

而Flutter做為一個(gè)UI層的跨平臺(tái)框架，顧名思義就是在UI層也實(shí)現(xiàn)了一個(gè)跨平臺(tái)開(kāi)發(fā)。可以預(yù)想的是未Flutter發(fā)展的好的話，會(huì)逐漸變?yōu)橐粋€(gè)從底層到UI層的一個(gè)全鏈路的跨平臺(tái)開(kāi)發(fā)，技術(shù)人員分別負(fù)責(zé)SDK和UI層的開(kāi)發(fā)。

在Flutter之前已經(jīng)有很多跨平臺(tái)UI解決方案，那為什么選擇Flutter呢？

我們主要考慮性能和跨平臺(tái)的能力。

以往的跨平臺(tái)方案比如Weex，ReactNative，Cordova等等因?yàn)榧軜?gòu)的原因無(wú)法滿足性能要求，尤其是在音視頻這種性能要求幾乎苛刻的場(chǎng)景。

而諸如Xamarin等，雖然性能可以和原生App一致，但是大部分邏輯還是需要分平臺(tái)實(shí)現(xiàn)。

我們可以看一下，為什么Flutter可以實(shí)現(xiàn)高性能：

原生的native組件渲染以IOS為例，蘋果的UIKit通過(guò)調(diào)用平臺(tái)自己的繪制框架QuaztCore來(lái)實(shí)現(xiàn)UI的繪制，圖形繪制也是調(diào)用底層的API,比如OpenGL、Metal等。

而Flutter也是和原生API邏輯一致，也是通過(guò)調(diào)用底層的繪制框架層SKIA實(shí)現(xiàn)UI層。這樣相當(dāng)于Flutter他自己實(shí)現(xiàn)了一套UI框架，提供了一種性能超越原生API的跨平臺(tái)可能性。

但是我們說(shuō)一個(gè)框架最終性能怎樣，其實(shí)取決于設(shè)計(jì)者和開(kāi)發(fā)者。至于現(xiàn)在到底是一個(gè)什么狀況：

在閑魚(yú)的實(shí)踐中，我們發(fā)現(xiàn)在正常的開(kāi)發(fā)沒(méi)有特意的去優(yōu)化UI代碼的情況下，在一些低端機(jī)上，F(xiàn)lutter界面的流暢性是比Native界面要好的。

雖然現(xiàn)在閑魚(yú)某些場(chǎng)景下會(huì)有卡頓閃退等情況，但是這是一個(gè)新事物發(fā)展過(guò)程中的必然問(wèn)題，我們相信未來(lái)性能肯定不會(huì)成為限制Flutter發(fā)展的瓶頸的。

在閑魚(yú)實(shí)踐Flutter的過(guò)程中，混合棧和音視頻是其中比較難解決的兩個(gè)問(wèn)題，混合棧是指一個(gè)APP在Flutter過(guò)程中不可能一口氣將所有業(yè)務(wù)全部重寫為Flutter，所以這是一個(gè)逐步迭代的過(guò)程，這期間原生native界面與Flutter界面共存的狀態(tài)就稱之為混合棧。閑魚(yú)在混合棧上也有一些比較好的輸出，例如FlutterBoost。

外接紋理

在講音視頻之前需要簡(jiǎn)要介紹一下外接紋理的概念，我們將它稱之為是Flutter和Frame之間的橋梁。

Flutter渲染一幀屏幕數(shù)據(jù)首先要做的是，GPU發(fā)出的VC信號(hào)在Flutter的UI線程，通過(guò)AOT編譯的機(jī)器碼結(jié)合當(dāng)前Dart Runtime，生成Layer Tree UI樹(shù)，Layer Tree上每一個(gè)葉子節(jié)點(diǎn)都代表了當(dāng)前屏幕上所需要渲染的每一個(gè)元素，包含了這些元素渲染所需要的內(nèi)容。將Layer Tree拋給GPU線程，在GPU線程內(nèi)調(diào)用Skia去完成整個(gè)UI的渲染過(guò)程。Layer Tree中有PictureLayer和TextureLayer兩個(gè)比較重要的節(jié)點(diǎn)。PictureLayer主要負(fù)責(zé)屏幕圖片的渲染，F(xiàn)lutter內(nèi)部實(shí)現(xiàn)了一套圖片解碼邏輯，在IO線程將圖片讀取或者從網(wǎng)絡(luò)上拉取之后，通過(guò)解碼能夠在IO線程上加載出紋理，交給GPU線程將圖片渲染到屏幕上。但是由于音視頻場(chǎng)景下系統(tǒng)API太過(guò)繁多，業(yè)務(wù)場(chǎng)景過(guò)于復(fù)雜。Flutter沒(méi)有一套邏輯去實(shí)現(xiàn)跨平臺(tái)的音視頻組件，所以說(shuō)Flutter提出了一種讓第三方開(kāi)發(fā)者來(lái)實(shí)現(xiàn)音視頻組件的方式，而這些音視頻組件的視頻渲染出口，就是TextureLayer。

在整個(gè)Layer Tree渲染的過(guò)程中，TextureLayer的數(shù)據(jù)紋理需要由外部第三方開(kāi)發(fā)者來(lái)指定，可以把視頻數(shù)據(jù)和播放器數(shù)據(jù)送到TextureLayer里，由Flutter將這些數(shù)據(jù)渲染出來(lái)。

TextureLayer渲染過(guò)程：首先判斷Layer是否已經(jīng)初始化，如果沒(méi)有就創(chuàng)建一個(gè)Texture，然后將Texture Attach到一個(gè)SufaceTexture上。

這個(gè)SufaceTexture是音視頻的native代碼可以獲取到的對(duì)象，通過(guò)這個(gè)對(duì)象創(chuàng)建的Suface，我們可以將視頻數(shù)據(jù)、攝像頭數(shù)據(jù)解碼放到Suface中，然后Flutter端通過(guò)監(jiān)聽(tīng)SufaceTexture的數(shù)據(jù)更新就可以順利把剛才創(chuàng)建的數(shù)據(jù)更新到它的紋理中，然后再將紋理交給SKIA渲染到屏幕上。

然而我們?nèi)绻枰肍lutter實(shí)現(xiàn)美顏，濾鏡，人臉貼圖等等功能，就需要將視頻數(shù)據(jù)讀取出來(lái)，更新到紋理中，再將GPU紋理經(jīng)過(guò)美顏濾鏡處理后生成一個(gè)處理后的紋理。按Flutter提供的現(xiàn)有能力，必須先將紋理中的數(shù)據(jù)從GPU讀出到CPU中，生成Bitmap后再寫入Surface中，這樣在Flutter中才能順利的更新到視頻數(shù)據(jù)，這樣做對(duì)系統(tǒng)性能的消耗很大。

通過(guò)對(duì)Flutter渲染過(guò)程分析，我們知道Flutter底層需要渲染的數(shù)據(jù)就是GPU紋理，而我們經(jīng)過(guò)美顏濾鏡處理完成以后的結(jié)果也是GPU紋理，如果可以將它直接交給Flutter渲染，那就可以避免GPU-CPU-GPU這樣的無(wú)用循環(huán)。這樣的方法是可行的，但是需要一個(gè)條件，就是OpenGL上下文共享。

OpenGL

在說(shuō)上下文之前，得提到一個(gè)和上線文息息相關(guān)的概念：線程。

Flutter引擎啟動(dòng)后會(huì)啟動(dòng)四個(gè)線程：

第一個(gè)線程是UI線程，這是Flutter自己定義的UI線程，主要負(fù)責(zé)GPU發(fā)出的VSync信號(hào)時(shí)候用當(dāng)前Dart編譯的機(jī)器碼和當(dāng)前運(yùn)行環(huán)境創(chuàng)建出Layer Tree。

還有就是IO線程和GPU線程。和大部分OpenGL處理解決方案中一樣，F(xiàn)lutter也采取一個(gè)線程責(zé)資源加載，一部分負(fù)責(zé)資源渲染這種思路。

兩個(gè)線程之間紋理共享有兩種方式。一種是EGLImage(IOS是 CVOpenGLESTextureCache)。一種是OpenGL Share Context。Flutter通過(guò)Share Context來(lái)實(shí)現(xiàn)紋理共享，將IO線程的Context和GPU線程的Context進(jìn)行Share，放到同一個(gè)Share Group下面，這樣兩個(gè)線程下資源是互相可見(jiàn)可以共享的。

Platform線程是主線程，F(xiàn)lutter中有一個(gè)很奇怪的設(shè)定，GPU線程和主線程共用一個(gè)Context。并且在主線程也有很多OpenGL 操作。

這樣的設(shè)計(jì)會(huì)給音視頻開(kāi)發(fā)帶來(lái)很多問(wèn)題，后面會(huì)詳細(xì)說(shuō)。

音視頻端美顏處理完成的OpenGL紋理能夠讓Flutter直接使用的條件就是Flutter的上下文需要和平臺(tái)音視頻相關(guān)的OpenGL上下文處在一個(gè)Share Group下面。

由于Flutter主線程的Context就是GPU的Context，所以在音視頻端主線程中有一些OpenGL操作的話，很有可能使Flutter整個(gè)OpenGL被破壞掉。所以需要將所有的OpenGL操作都限制在子線程中。

通過(guò)上述這兩個(gè)條件的處理，我們就可以在沒(méi)有增加GPU消耗的前提下實(shí)現(xiàn)美顏和濾鏡等等功能。

TPM

在經(jīng)過(guò)demo驗(yàn)證之后，我們將這個(gè)方案應(yīng)用到閑魚(yú)音視頻組件中，但改造過(guò)程中發(fā)現(xiàn)了一些問(wèn)題。

上圖是攝像頭采集數(shù)據(jù)轉(zhuǎn)換為紋理的一段代碼，其中有兩個(gè)操作：首先是切進(jìn)程，將后面的OpenGL操作都切到cameraQueue中。然后是設(shè)置一次上下文。然后這種限制條件或者說(shuō)是潛規(guī)則往往在開(kāi)發(fā)過(guò)程中容易被忽略的。而這個(gè)條件一旦忽略后果就是出現(xiàn)一些莫名其妙的詭異問(wèn)題極難排查。因此我們就希望能抽象出一套框架，由框架本身實(shí)現(xiàn)線程的切換、上下文和模塊生命周期等的管理，開(kāi)發(fā)者接入框架以后只需要安心實(shí)現(xiàn)自己的算法，而不需要關(guān)心這些潛規(guī)則還有其他一些重復(fù)的邏輯操作。

在引入Flutter之前閑魚(yú)的音視頻架構(gòu)與大部分音視頻邏輯一樣采用分層架構(gòu)：

1：底層是一些獨(dú)立模塊

2：SDK層是對(duì)底層模塊的封裝

3：最上層是UI層。

引入Flutter之后，通過(guò)分析各個(gè)模塊的使用場(chǎng)景，我們可以得出一個(gè)假設(shè)或者說(shuō)是抽象：音視頻應(yīng)用在終端上可以歸納為視頻幀解碼之后視頻數(shù)據(jù)幀在各個(gè)模塊之間流動(dòng)的過(guò)程，基于這種假設(shè)去做Flutter音視頻框架的抽象。

咸魚(yú)Flutter多媒體開(kāi)源組件

整個(gè)Flutter音視頻框架抽象分為管線和數(shù)據(jù)的抽象、模塊的抽象、線程統(tǒng)一管理和上下文同一管理四部分。

管線，其實(shí)就是視頻幀流動(dòng)的管道。數(shù)據(jù)，音視頻中涉及到的數(shù)據(jù)包括紋理、Bit Map以及時(shí)間戳等。結(jié)合現(xiàn)有的應(yīng)用場(chǎng)景我們定義了管線流通數(shù)據(jù)以Texture為主數(shù)據(jù)，同時(shí)可以選擇性的添加Bit Map等作為輔助數(shù)據(jù)。這樣的數(shù)據(jù)定義方式，避免重復(fù)的創(chuàng)建和銷毀紋理帶來(lái)的性能開(kāi)銷以及多線程訪問(wèn)紋理帶來(lái)的一些問(wèn)題。也滿足一些特殊模塊對(duì)特殊數(shù)據(jù)的需求。同時(shí)也設(shè)計(jì)了紋理池來(lái)管理管線中的紋理數(shù)據(jù)。

模塊：如果把管線和數(shù)據(jù)比喻成血管和血液，那框架音視頻的場(chǎng)景就可以比喻成器官，我們根據(jù)模塊所在管線的位置抽象出采集、處理和輸出三個(gè)基類。這三個(gè)基類里實(shí)現(xiàn)了剛才說(shuō)的線程切換，上下文切換，格式轉(zhuǎn)換等等共同邏輯，各個(gè)功能模塊通過(guò)集成自這些基類，可以避免很多重復(fù)勞動(dòng)。

線程：每一個(gè)模塊初始化的時(shí)候，初始化函數(shù)就會(huì)去線程管理的模塊去獲取自己的線程，線程管理模塊可以決定給初始化函數(shù)分配新的線程或者已經(jīng)分配過(guò)其他模塊的線程。

這樣有三個(gè)好處：

一是可以根據(jù)需要去決定一個(gè)線程可以掛載多少模塊，做到線程間的負(fù)載均衡。第二，多線程并發(fā)式能夠保證模塊內(nèi)的OpenGL操作是在當(dāng)前線程內(nèi)而不會(huì)跑到主線程去，徹底避免Flutter的OpenGL 環(huán)境被破壞。第三，多線程并行可以充分利用CPU多核架構(gòu)，提升處理速度。

從Flutter端修改Flutter引擎將Context取出后，根據(jù)Context創(chuàng)建上下文的統(tǒng)一管理模塊，每一個(gè)模塊在初始化的時(shí)候會(huì)獲取它的線程，獲取之后會(huì)調(diào)用上下文管理模塊獲取自己的上下文。這樣可以保證每一個(gè)模塊的上下文都是與Flutter的上下文進(jìn)行Share的，每個(gè)模塊之間資源都是共享可見(jiàn)的，F(xiàn)lutter和音視頻native之間也是互相共享可見(jiàn)的。

基于上述框架如果要實(shí)現(xiàn)一個(gè)簡(jiǎn)單的場(chǎng)景，比如畫(huà)面實(shí)時(shí)預(yù)覽和濾鏡處理功能，

1：需要選擇功能模塊，功能模塊包括攝像頭模塊、濾鏡處理模塊和Flutter畫(huà)面渲染模塊，

2：需要配置模塊參數(shù)，比如采集分辨率、濾鏡參數(shù)和前后攝像頭設(shè)置等，

3：在創(chuàng)建視頻管線后使用已配置的參數(shù)創(chuàng)建模塊

4：最后管線搭載模塊，開(kāi)啟管線就可以實(shí)現(xiàn)這樣簡(jiǎn)單的功能。

上圖為整個(gè)功能實(shí)現(xiàn)的代碼和結(jié)構(gòu)圖。

結(jié)合上述音視頻框架，閑魚(yú)實(shí)現(xiàn)了Flutter多媒體開(kāi)源組件。

組要包含四個(gè)基本組件分別是：

1：視頻圖像拍攝組件

2：播放器組件

3：視頻圖像編輯組件

4：相冊(cè)選擇組件

現(xiàn)在這些組件正在走內(nèi)部開(kāi)源流程。預(yù)計(jì)9月份，相冊(cè)和播放器會(huì)實(shí)現(xiàn)開(kāi)源。

后續(xù)展望和規(guī)劃

1：實(shí)現(xiàn)開(kāi)頭所說(shuō)的從底層SDK到UI的全鏈路的跨端開(kāi)發(fā)。目前底層框架層和模塊層都是各個(gè)平臺(tái)各自實(shí)現(xiàn)，反而是Flutter的UI端進(jìn)行了跨平臺(tái)的統(tǒng)一，所以后續(xù)會(huì)將底層也按照音視頻常用做法把邏輯下沉到C++層，盡可能的實(shí)現(xiàn)全鏈路跨平臺(tái)。

2：第二部分內(nèi)容為開(kāi)源共建，閑魚(yú)開(kāi)源的內(nèi)容不僅包括拍攝、編輯組件，還包括了很多底層模塊，希望有開(kāi)發(fā)者在基于Flutter開(kāi)發(fā)音視頻應(yīng)用時(shí)可以充分利用閑魚(yú)開(kāi)源出的音視頻模塊能力，搭建APP框架，開(kāi)發(fā)者只要去負(fù)責(zé)實(shí)現(xiàn)特殊需求模塊就可以，盡可能的減少重復(fù)勞動(dòng)。

網(wǎng)頁(yè)標(biāo)題：flutter進(jìn)程,flutter進(jìn)程守護(hù)
文章分享：http://chinadenli.net/article26/dseicjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、App設(shè)計(jì)、軟件開(kāi)發(fā)、云服務(wù)器、定制網(wǎng)站、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)