這篇文章主要介紹“怎么使用Kaggle實現(xiàn)對抗驗證”，在日常操作中，相信很多人在怎么使用Kaggle實現(xiàn)對抗驗證問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么使用Kaggle實現(xiàn)對抗驗證”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創(chuàng)新互聯(lián)公司成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目網(wǎng)站設計制作、成都做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元濱海新區(qū)做網(wǎng)站,已為上家服務,為濱海新區(qū)各地企業(yè)和個人服務,聯(lián)系電話:18980820575

學習對抗驗證模型

首先，導入一些庫：

數(shù)據(jù)準備

對于本教程，我們將使用Kaggle的IEEE-CIS信用卡欺詐檢測數(shù)據(jù)集。首先，假設您已將訓練和測試數(shù)據(jù)加載到pandas DataFrames中，并將它們分別命名為df_train和df_test。然后，我們將通過替換缺失值進行一些基本的清理。

對于對抗性驗證，我們想學習一個模型，該模型可以預測訓練數(shù)據(jù)集中哪些行以及測試集中哪些行。因此，我們創(chuàng)建一個新的目標列，其中測試樣本用1標記，訓練樣本用0標記，如下所示：

這是我們訓練模型進行預測的目標。目前，訓練數(shù)據(jù)集和測試數(shù)據(jù)集是分開的，每個數(shù)據(jù)集只有一個目標值標簽。如果我們在此訓練集上訓練了一個模型，那么它只會知道一切都為0。我們想改組訓練和測試數(shù)據(jù)集，然后創(chuàng)建新的數(shù)據(jù)集以擬合和評估對抗性驗證模型。我定義了一個用于合并，改組和重新拆分的函數(shù)：

新的數(shù)據(jù)集adversarial_train和adversarial_test包括原始訓練集和測試集的混合，而目標則指示原始數(shù)據(jù)集。注意：我已將TransactionDT添加到特征列表中。

對于建模，我將使用Catboost。我通過將DataFrames放入Catboost Pool對象中來完成數(shù)據(jù)準備。

建模

這部分很簡單：我們只需實例化Catboost分類器并將其擬合到我們的數(shù)據(jù)中：

讓我們繼續(xù)前進，在保留數(shù)據(jù)集上繪制ROC曲線：

這是一個完美的模型，這意味著有一種明確的方法可以告訴您任何給定的記錄是否在訓練或測試集中。這違反了我們的訓練和測試集分布相同的假設。

診斷問題并進行迭代

為了了解模型如何做到這一點，讓我們看一下最重要的特征：

到目前為止，TransactionDT是最重要的特征。鑒于原始的訓練和測試數(shù)據(jù)集來自不同的時期（測試集出現(xiàn)在訓練集的未來），這完全合情合理。該模型剛剛了解到，如果TransactionDT大于最后一個訓練樣本，則它在測試集中。

我之所以包含TransactionDT只是為了說明這一點–通常不建議將原始日期作為模型特征。但是好消息是這項技術以如此戲劇性的方式被發(fā)現(xiàn)。這種分析顯然可以幫助您識別這種錯誤。

讓我們消除TransactionDT，然后再次運行此分析。

現(xiàn)在，ROC曲線如下所示：

它仍然是一個相當強大的模型，AUC> 0.91，但是比以前弱得多。讓我們看一下此模型的特征重要性：

現(xiàn)在，id_31是最重要的功能。讓我們看一些值以了解它是什么。

此列包含軟件版本號。顯然，這在概念上與包含原始日期類似，因為特定軟件版本的首次出現(xiàn)將與其發(fā)布日期相對應。

讓我們通過刪除列中所有不是字母的字符來解決此問題：

現(xiàn)在，我們的列的值如下所示：

讓我們使用此清除列來訓練新的對抗驗證模型：

現(xiàn)在，ROC圖如下所示：

性能已從0.917的AUC下降到0.906。這意味著我們已經(jīng)很難讓模型區(qū)分我們的訓練數(shù)據(jù)集和測試數(shù)據(jù)集，但是它仍然很強大。

到此，關于“怎么使用Kaggle實現(xiàn)對抗驗證”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

網(wǎng)頁題目：怎么使用Kaggle實現(xiàn)對抗驗證
文章分享：http://chinadenli.net/article46/ppcoeg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內鏈、微信小程序、營銷型網(wǎng)站建設、小程序開發(fā)、全網(wǎng)營銷推廣、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)