使用Tensorflow怎么實(shí)現(xiàn)梯度異步更新？相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

創(chuàng)新互聯(lián)長(zhǎng)期為1000多家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為成縣企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站制作，成縣網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

先計(jì)算梯度：

# 模型部分
Optimizer = tf.train.GradientDescentOptimizer(1)
gradient = Optimizer.compute_gradients(loss)  # 每次計(jì)算所有變量的梯度
grads_holder = [(tf.placeholder(tf.float32, shape=g.get_shape()), v) for (g, v) in gradient]# 將每次計(jì)算的梯度保存
optm = Optimizer.apply_gradients(grads_holder) # 進(jìn)行梯度更新

# 初始化部分
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)

# 實(shí)際訓(xùn)練部分
grads = []         # 定義一個(gè)空的列表用于存儲(chǔ)每次計(jì)算的梯度
for i in range(batchsize): # batchsize設(shè)置在這里
  x_i = ...       # 輸入
  y_real = ...      # 標(biāo)簽
  grad_i = sess.run(gradient, feed_dict={inputs: x_i, outputs: y_real}) #梯度計(jì)算
  grads.append(grad_i)  # 梯度存儲(chǔ)
# 定義一個(gè)空的字典用于存儲(chǔ)，batchsize中所有梯度的和
grads_sum = {}     
# 將網(wǎng)絡(luò)中每個(gè)需要更新梯度的變量都遍歷一遍  
for i in range(len(grads_holder)): 
  k = grads_holder[i][0] # 得到該變量名
  # 將該變量名下的所有梯度求和，這里也可以求平均，求平均只需要除以batchsize
  grads_sum[k] = sum([g[i][0] for g in grads]) 
# 完成梯度更新
sess.run(optm,feed_dict=grads_sum)

看完上述內(nèi)容，你們掌握使用Tensorflow怎么實(shí)現(xiàn)梯度異步更新的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

名稱欄目：使用Tensorflow怎么實(shí)現(xiàn)梯度異步更新-創(chuàng)新互聯(lián)
URL標(biāo)題：http://chinadenli.net/article0/ceodio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、響應(yīng)式網(wǎng)站、網(wǎng)站設(shè)計(jì)、面包屑導(dǎo)航、網(wǎng)站營(yíng)銷、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)