這篇文章主要介紹“怎么使用Kaggle實現(xiàn)對抗驗證”，在日常操作中，相信很多人在怎么使用Kaggle實現(xiàn)對抗驗證問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么使用Kaggle實現(xiàn)對抗驗證”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)公司成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計制作、成都做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元濱海新區(qū)做網(wǎng)站,已為上家服務(wù),為濱海新區(qū)各地企業(yè)和個人服務(wù),聯(lián)系電話:18980820575

學(xué)習(xí)對抗驗證模型

首先，導(dǎo)入一些庫：

數(shù)據(jù)準(zhǔn)備

對于本教程，我們將使用Kaggle的IEEE-CIS信用卡欺詐檢測數(shù)據(jù)集。首先，假設(shè)您已將訓(xùn)練和測試數(shù)據(jù)加載到pandas DataFrames中，并將它們分別命名為df_train和df_test。然后，我們將通過替換缺失值進行一些基本的清理。

對于對抗性驗證，我們想學(xué)習(xí)一個模型，該模型可以預(yù)測訓(xùn)練數(shù)據(jù)集中哪些行以及測試集中哪些行。因此，我們創(chuàng)建一個新的目標(biāo)列，其中測試樣本用1標(biāo)記，訓(xùn)練樣本用0標(biāo)記，如下所示：

這是我們訓(xùn)練模型進行預(yù)測的目標(biāo)。目前，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集是分開的，每個數(shù)據(jù)集只有一個目標(biāo)值標(biāo)簽。如果我們在此訓(xùn)練集上訓(xùn)練了一個模型，那么它只會知道一切都為0。我們想改組訓(xùn)練和測試數(shù)據(jù)集，然后創(chuàng)建新的數(shù)據(jù)集以擬合和評估對抗性驗證模型。我定義了一個用于合并，改組和重新拆分的函數(shù)：

新的數(shù)據(jù)集adversarial_train和adversarial_test包括原始訓(xùn)練集和測試集的混合，而目標(biāo)則指示原始數(shù)據(jù)集。注意：我已將TransactionDT添加到特征列表中。

對于建模，我將使用Catboost。我通過將DataFrames放入Catboost Pool對象中來完成數(shù)據(jù)準(zhǔn)備。

建模

這部分很簡單：我們只需實例化Catboost分類器并將其擬合到我們的數(shù)據(jù)中：

讓我們繼續(xù)前進，在保留數(shù)據(jù)集上繪制ROC曲線：

這是一個完美的模型，這意味著有一種明確的方法可以告訴您任何給定的記錄是否在訓(xùn)練或測試集中。這違反了我們的訓(xùn)練和測試集分布相同的假設(shè)。

診斷問題并進行迭代

為了了解模型如何做到這一點，讓我們看一下最重要的特征：

到目前為止，TransactionDT是最重要的特征。鑒于原始的訓(xùn)練和測試數(shù)據(jù)集來自不同的時期（測試集出現(xiàn)在訓(xùn)練集的未來），這完全合情合理。該模型剛剛了解到，如果TransactionDT大于最后一個訓(xùn)練樣本，則它在測試集中。

我之所以包含TransactionDT只是為了說明這一點–通常不建議將原始日期作為模型特征。但是好消息是這項技術(shù)以如此戲劇性的方式被發(fā)現(xiàn)。這種分析顯然可以幫助您識別這種錯誤。

讓我們消除TransactionDT，然后再次運行此分析。

現(xiàn)在，ROC曲線如下所示：

它仍然是一個相當(dāng)強大的模型，AUC> 0.91，但是比以前弱得多。讓我們看一下此模型的特征重要性：

現(xiàn)在，id_31是最重要的功能。讓我們看一些值以了解它是什么。

此列包含軟件版本號。顯然，這在概念上與包含原始日期類似，因為特定軟件版本的首次出現(xiàn)將與其發(fā)布日期相對應(yīng)。

讓我們通過刪除列中所有不是字母的字符來解決此問題：

現(xiàn)在，我們的列的值如下所示：

讓我們使用此清除列來訓(xùn)練新的對抗驗證模型：

現(xiàn)在，ROC圖如下所示：

性能已從0.917的AUC下降到0.906。這意味著我們已經(jīng)很難讓模型區(qū)分我們的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，但是它仍然很強大。

到此，關(guān)于“怎么使用Kaggle實現(xiàn)對抗驗證”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

網(wǎng)頁題目：怎么使用Kaggle實現(xiàn)對抗驗證
文章分享：http://chinadenli.net/article46/ppcoeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、微信小程序、營銷型網(wǎng)站建設(shè)、小程序開發(fā)、全網(wǎng)營銷推廣、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)