欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

如何在Python中使用RNN實(shí)現(xiàn)一個(gè)二進(jìn)制加法-創(chuàng)新互聯(lián)

本篇文章給大家分享的是有關(guān)如何在Python中使用RNN實(shí)現(xiàn)一個(gè)二進(jìn)制加法，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

創(chuàng)新互聯(lián)于2013年開始，公司以成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、成都外貿(mào)網(wǎng)站建設(shè)、系統(tǒng)開發(fā)、網(wǎng)絡(luò)推廣、文化傳媒、企業(yè)宣傳、平面廣告設(shè)計(jì)等為主要業(yè)務(wù)，適用行業(yè)近百種。服務(wù)企業(yè)客戶上1000+，涉及國(guó)內(nèi)多個(gè)省份客戶。擁有多年網(wǎng)站建設(shè)開發(fā)經(jīng)驗(yàn)。為企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、創(chuàng)意設(shè)計(jì)、宣傳推廣等服務(wù)。 通過(guò)專業(yè)的設(shè)計(jì)、獨(dú)特的風(fēng)格，為不同客戶提供各種風(fēng)格的特色服務(wù)。

python是什么意思

Python是一種跨平臺(tái)的、具有解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮哪_本語(yǔ)言，其最初的設(shè)計(jì)是用于編寫自動(dòng)化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨(dú)立的項(xiàng)目和大型項(xiàng)目。

具體代碼


# 前向傳播
def sigmoid(in_x):
  output = 1 / (1 + np.exp(-in_x))
  return output
# 反向傳播
def sigmoid_output_to_derivative(output):
  return output * (1 - output)

定義一個(gè)字典，因?yàn)榇龝?huì)兒要進(jìn)行十進(jìn)制和二進(jìn)制之間的轉(zhuǎn)換，我們用字典進(jìn)行存儲(chǔ)他們之間的對(duì)應(yīng)關(guān)系。

（在這里我們只選用八位二進(jìn)制）

int2binary = {}
binary_dim = 8

largest_number = pow(2, binary_dim)
binary = np.unpackbits(
  np.array([range(largest_number)], dtype=np.uint8).T, axis=1)
for i in range(largest_number):
  int2binary[i] = binary[i]

再接著就是對(duì)我們的RNN進(jìn)行初始化操作。

alpha = 0.1
input_dim = 2
hidden_dim = 16
output_dim = 1

接著是生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值以及反向傳播時(shí)對(duì)權(quán)值矩陣進(jìn)行更新的存儲(chǔ)。

# 生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值（在0，1之間）
synapse_0 = 2 * np.random.random((input_dim, hidden_dim)) - 1
synapse_1 = 2 * np.random.random((hidden_dim, output_dim)) - 1
synapse_h = 2 * np.random.random((hidden_dim, hidden_dim)) - 1
# 反向傳播對(duì)權(quán)重值的矩陣進(jìn)行更新
synapse_0_update = np.zeros_like(synapse_0)
synapse_1_update = np.zeros_like(synapse_1)
synapse_h_update = np.zeros_like(synapse_h)

RNN

我們進(jìn)行10萬(wàn)次的迭代訓(xùn)練。

我們進(jìn)行的是加法，所以需要將值找到。較大取八位，所以a, b, c都不能超過(guò)，因?yàn)閍+b=c，所以a, b不能超過(guò)較大的一半。其中l(wèi)argest_number表示8位二進(jìn)制數(shù)對(duì)應(yīng)的較大的十進(jìn)制數(shù)值。

# 較大取八位，所以a, b, c都不能超過(guò)，因?yàn)閍+b=c，所以a, b不能超過(guò)較大的一半
a_int = np.random.randint(largest_number / 2)
a = int2binary[a_int]

b_int = np.random.randint(largest_number / 2) 
b = int2binary[b_int] 

c_int = a_int + b_int
c = int2binary[c_int]

我們定義一個(gè)d來(lái)存儲(chǔ)我們的預(yù)測(cè)值與實(shí)際值c進(jìn)行比較，判斷網(wǎng)絡(luò)的能力。并且定義一個(gè)overallError來(lái)存儲(chǔ)error值，并將初值設(shè)為0。

 d = np.zeros_like(c)

 overallError = 0

最后我們?cè)谶M(jìn)行反向傳播的時(shí)候，會(huì)計(jì)算一個(gè)loss值，在訓(xùn)練網(wǎng)絡(luò)的過(guò)程中，我們需要計(jì)算w1,w2分別對(duì)這個(gè)loss值的影響。

layer_2_deltas = list()
layer_1_values = list()
# 因?yàn)榈谝淮蔚鷷?huì)用到l1的值，所以我們需要將列表用0來(lái)填充
layer_1_values.append(np.zeros(hidden_dim))
future_layer_1_delta = np.zeros(hidden_dim)

我們需要先進(jìn)行前向傳播，再進(jìn)行反向傳播。

在進(jìn)行前向傳播的過(guò)程中，我們需要將兩個(gè)二進(jìn)制傳入，從最后一位開始，一層一層地通過(guò)sigmoid函數(shù)，得到預(yù)測(cè)值。然后通過(guò)預(yù)測(cè)值與準(zhǔn)確值之間的差值設(shè)為l2層的loss值。有了這個(gè)loss值，我們就可以算出剛剛定義的layer_2_deltas（l2 層的權(quán)重參數(shù)）

for position in range(binary_dim):
  X = np.array([[a[binary_dim - position - 1], b[binary_dim - position - 1]]])
  y = np.array([[c[binary_dim - position - 1]]]).T

  layer_1 = sigmoid(np.dot(X, synapse_0) + np.dot(layer_1_values[-1], synapse_h))

  layer_2 = sigmoid(np.dot(layer_1, synapse_1))

  layer_2_error = y - layer_2
  layer_2_deltas.append((layer_2_error) * sigmoid_output_to_derivative(layer_2))
  overallError += np.abs(layer_2_error[0])

  d[binary_dim - position - 1] = np.round(layer_2[0][0])

  layer_1_values.append(copy.deepcopy(layer_1))

然后進(jìn)行反向傳播，也就是從高位往后走。（具體的解釋放在代碼的注釋中了）

for position in range(binary_dim):
  X = np.array([[a[position], b[position]]])
  # 從參數(shù)列表中反向依次取值
  layer_1 = layer_1_values[-position - 1]
  # 因?yàn)橐M(jìn)行反向傳播，所以還需要取到l1層的前一位的value
  prev_layer_1 = layer_1_values[-position - 2]

 # l2也是如此，delta列表中反向依次取值
  layer_2_delta = layer_2_deltas[-position - 1]
  # 通過(guò)公式進(jìn)行計(jì)算l1的delta值
  layer_1_delta = (future_layer_1_delta.dot(synapse_h.T) + layer_2_delta.dot(synapse_1.T)) * sigmoid_output_to_derivative(layer_1)

 # 然后分別對(duì)w0, w1和wh進(jìn)行更新
  synapse_1_update += np.atleast_2d(layer_1).T.dot(layer_2_delta)
  synapse_h_update += np.atleast_2d(prev_layer_1).T.dot(layer_1_delta)
  synapse_0_update += X.T.dot(layer_1_delta)

  future_layer_1_delta = layer_1_delta

然后再前向傳播和反向傳播結(jié)束之后，引入α \alphaα值進(jìn)行參數(shù)的更新，并將updata重新置為0，以方便下一次循環(huán)使用。

synapse_0 += synapse_0_update * alpha
synapse_1 += synapse_1_update * alpha
synapse_h += synapse_h_update * alpha

synapse_0_update *= 0
synapse_1_update *= 0
synapse_h_update *= 0

最后就是打印訓(xùn)練結(jié)果了，因?yàn)橛?xùn)練次數(shù)過(guò)多，所以這邊設(shè)計(jì)每訓(xùn)練1萬(wàn)次打印一次結(jié)果。

  if j % 10000 == 0:
    print(str(j) + "/100000 :The error is:" + str(overallError))

運(yùn)行結(jié)果
0/100000 :The error is:[3.45638663]
10000/100000 :The error is:[0.3231264]
20000/100000 :The error is:[0.27153112]
30000/100000 :The error is:[0.1603061]
40000/100000 :The error is:[0.10004929]
50000/100000 :The error is:[0.11245508]
60000/100000 :The error is:[0.11951541]
70000/100000 :The error is:[0.07859761]
80000/100000 :The error is:[0.06742156]
90000/100000 :The error is:[0.08218885]
The end error is:[0.05344101]


最終代碼


import copy
import numpy as np

np.random.seed(0)

def sigmoid(in_x):
  output = 1 / (1 + np.exp(-in_x))
  return output

def sigmoid_output_to_derivative(output):
  return output * (1 - output)

int2binary = {}
binary_dim = 8

largest_number = pow(2, binary_dim)
binary = np.unpackbits(
  np.array([range(largest_number)], dtype=np.uint8).T, axis=1)
for i in range(largest_number):
  int2binary[i] = binary[i]

alpha = 0.1
input_dim = 2
hidden_dim = 16
output_dim = 1

# 生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值（在0，1之間）
synapse_0 = 2 * np.random.random((input_dim, hidden_dim)) - 1
synapse_1 = 2 * np.random.random((hidden_dim, output_dim)) - 1
synapse_h = 2 * np.random.random((hidden_dim, hidden_dim)) - 1
# 反向傳播對(duì)權(quán)重值的矩陣進(jìn)行更新
synapse_0_update = np.zeros_like(synapse_0)
synapse_1_update = np.zeros_like(synapse_1)
synapse_h_update = np.zeros_like(synapse_h)

for j in range(100000):
  # 較大取八位，所以a, b, c都不能超過(guò)，因?yàn)閍+b=c，所以a, b不能超過(guò)較大的一半
  a_int = np.random.randint(largest_number / 2) 
  a = int2binary[a_int] 

  b_int = np.random.randint(largest_number / 2) 
  b = int2binary[b_int] 

  c_int = a_int + b_int
  c = int2binary[c_int]

  d = np.zeros_like(c)

  overallError = 0

  layer_2_deltas = list()
  layer_1_values = list()
 # 因?yàn)榈谝淮蔚鷷?huì)用到l1的值，所以我們需要將列表用0來(lái)填充
  layer_1_values.append(np.zeros(hidden_dim))
  future_layer_1_delta = np.zeros(hidden_dim)

  for position in range(binary_dim):
    X = np.array([[a[binary_dim - position - 1], b[binary_dim - position - 1]]])
    y = np.array([[c[binary_dim - position - 1]]]).T

    layer_1 = sigmoid(np.dot(X, synapse_0) + np.dot(layer_1_values[-1], synapse_h))

    layer_2 = sigmoid(np.dot(layer_1, synapse_1))

    layer_2_error = y - layer_2
    layer_2_deltas.append((layer_2_error) * sigmoid_output_to_derivative(layer_2))
    overallError += np.abs(layer_2_error[0])

    d[binary_dim - position - 1] = np.round(layer_2[0][0])

 layer_1_values.append(copy.deepcopy(layer_1))

  for position in range(binary_dim):
    X = np.array([[a[position], b[position]]])
    layer_1 = layer_1_values[-position - 1]
    prev_layer_1 = layer_1_values[-position - 2]

    layer_2_delta = layer_2_deltas[-position - 1]
    
    layer_1_delta = (future_layer_1_delta.dot(synapse_h.T) + layer_2_delta.dot(
      synapse_1.T)) * sigmoid_output_to_derivative(layer_1)

    synapse_1_update += np.atleast_2d(layer_1).T.dot(layer_2_delta)
    synapse_h_update += np.atleast_2d(prev_layer_1).T.dot(layer_1_delta)
    synapse_0_update += X.T.dot(layer_1_delta)

    future_layer_1_delta = layer_1_delta

  synapse_0 += synapse_0_update * alpha
  synapse_1 += synapse_1_update * alpha
  synapse_h += synapse_h_update * alpha

  synapse_0_update *= 0
  synapse_1_update *= 0
  synapse_h_update *= 0

  if j % 10000 == 0:
    print(str(j) + "/100000 :The error is:" + str(overallError))

print("The end error is:" + str(overallError))

以上就是如何在Python中使用RNN實(shí)現(xiàn)一個(gè)二進(jìn)制加法，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前文章：如何在Python中使用RNN實(shí)現(xiàn)一個(gè)二進(jìn)制加法-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址：http://chinadenli.net/article38/gcjsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、移動(dòng)網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、商城網(wǎng)站、云服務(wù)器、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

營(yíng)銷型網(wǎng)站建設(shè)