NeRF實(shí)在太重要了代表著計(jì)算機(jī)視覺、圖像學(xué)結(jié)合的未來重要方向；NeRF對于計(jì)算機(jī)視覺背景的同學(xué)有一定的理解門檻，本次試圖以最小背景知識補(bǔ)充、最少理解成本為前提介紹NeRF。

成都創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站制作、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),愛輝網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:愛輝等地區(qū)。愛輝做網(wǎng)站價(jià)格咨詢:13518219792

NeRF，即Neural Radiance Fields（神經(jīng)輻射場）的縮寫。研究員來自UCB、Google和UCSD。

Title：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Paper：https://arxiv.org/pdf/2003.08934.pdf

Code：https://github.com/bmild/nerf

寫這篇文章的動機(jī)是，一方面NeRF實(shí)在太重要了代表著計(jì)算機(jī)視覺、圖像學(xué)結(jié)合的未來重要方向；另一方面NeRF對于計(jì)算機(jī)視覺背景的同學(xué)有一定的理解門檻，這篇文章試圖以最小背景知識補(bǔ)充、最少理解成本為前提介紹NeRF。

NeRF的研究目的是合成同一場景不同視角下的圖像。方法很簡單，根據(jù)給定一個(gè)場景的若干張圖片，重構(gòu)出這個(gè)場景的3D表示，然后推理的時(shí)候輸入不同視角就可以合成（渲染）這個(gè)視角下的圖像了。

「3D表示」有很多種形式，NeRF使用的是輻射場，然后用「體渲染」（Volume Rendering）技術(shù)，給定一個(gè)相機(jī)視角，把輻射場渲染成一張圖像。選用輻射場+體渲染的原因很簡單，全程可微分。這個(gè)過程很有意思，可以理解為把一個(gè)空間朝一個(gè)方向上拍扁，空間中的顏色加權(quán)求和得到平面上的顏色。

輻射場

體渲染

所謂體渲染，直觀地說，我們知道相機(jī)的焦點(diǎn)，焦點(diǎn)和像素的連線可以連出來一條射線，我們可以對這條射線上所有的點(diǎn)的顏色做某種求和就可以得到這個(gè)像素的顏色值。

理論上，我們可以對這條射線經(jīng)過空間上的每個(gè)點(diǎn)的密度（只和空間坐標(biāo)相關(guān)）和顏色（同時(shí)依賴空間坐標(biāo)和入射角）進(jìn)行某種積分就可以得到每個(gè)像素的顏色。當(dāng)每個(gè)像素的顏色都計(jì)算出來，那么這個(gè)視角下的圖像就被渲染出來了。如下圖所示：

從相機(jī)焦點(diǎn)出發(fā)，往一個(gè)像素連出一條射線，獲取射穿過空間中每個(gè)點(diǎn)的屬性，進(jìn)行積分得到這個(gè)像素的顏色

用神經(jīng)網(wǎng)絡(luò)來代替查表的方式表示輻射場

整體過程

因?yàn)樯窠?jīng)網(wǎng)絡(luò)是可微分的，選取的體渲染方法是可微分；體渲染得到的圖片和原圖計(jì)算MSE Loss。整個(gè)過程可端到端地用梯度回傳來優(yōu)化非常漂亮。整個(gè)訓(xùn)練Pipeline如下圖所示：

看到這，讀者就已經(jīng)大致理解NeRF的原理了，后面章節(jié)是NeRF的具體細(xì)節(jié)。

用輻射場做體渲染

前面我們已經(jīng)大致理解體渲染的過程是怎么做了?？墒窃趺囱刂渚€對空間中的顏色進(jìn)行積分呢？如果我們把射線看作是光線，可以直觀得到這個(gè)積分要滿足的兩個(gè)條件：

1. 一個(gè)點(diǎn)的密度越高，射線通過它之后變得越弱，密度和透光度呈反比

2. 一個(gè)點(diǎn)的密度越高，這點(diǎn)在這個(gè)射線下的顏色反應(yīng)在像素上的權(quán)重越大

而實(shí)際渲染過程，我們只能把射線平均分成N個(gè)小區(qū)間，每個(gè)區(qū)間隨機(jī)采樣一個(gè)點(diǎn)，對采樣得到的點(diǎn)的顏色進(jìn)行某種加權(quán)求和：

神經(jīng)輻射場的兩項(xiàng)優(yōu)化點(diǎn)

Positional encoding

類似Transformer的做法，把坐標(biāo)和視角用更高維度的表示作為網(wǎng)絡(luò)輸入，來解決渲染圖像比較糊的問題：

Hierachical volume sampling

Architecture

whaosoft aiot?http://143ai.com???????

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

分享題目：NeRF~-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://chinadenli.net/article24/dhpoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、小程序開發(fā)、商城網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)