這篇文章主要介紹了java爬蟲實戰(zhàn)之模擬登陸的示例分析,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

網站建設哪家好,找創(chuàng)新互聯建站!專注于網頁設計、網站建設、微信開發(fā)、重慶小程序開發(fā)、集團企業(yè)網站建設等服務項目。為回饋新老客戶創(chuàng)新互聯還提供了文峰免費建站歡迎大家使用!
Java是一門面向對象編程語言,可以編寫桌面應用程序、Web應用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應用程序。
使用jsoup工具可以解析某個URL地址、HTML文本內容,是java爬蟲很好的優(yōu)勢,也是我們在網絡爬蟲不可缺少的工具。本文小編帶領大家使用jsoup 實現java爬蟲模擬登陸,通過省力的API,很好的實現java爬蟲模擬登陸。
一、使用工具:Jsoup
jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數據。
二、實現java爬蟲模擬登陸
1、確定想要爬取的url
import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.util.Map.Entry;
import java.util.Set;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class SplitTable {
public static void main(String[] args) throws IOException {
//想要爬取的url
String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?
Ves632DSdyV=NEW_XSD_PYGL";
String username = "";
String password = "";
String sessionId = getSessionInfo(username,password);
spiderWebSite(sessionId,url);
}2、獲取sessionId
private static String getSessionInfo(String username,String password)
throws IOException{3、登錄網站,返回sessionId信息
Connection.Response res = Jsoup.connect("http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk")4、獲得sessionId
String sessionId = res.cookie("JSESSIONID");
System.out.println(sessionId);
return sessionId;
}5、爬取內容
private static void spiderWebSite(String sessionId,String url) throws IOException{
//爬取
Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();
Element table = doc.getElementById("kbtable");
//System.out.println(table);
BufferedWriter bw = new BufferedWriter
(new OutputStreamWriter(new FileOutputStream("F:/table.html")));
bw.write(new String(table.toString().getBytes()));
bw.flush();
bw.close();
}
}感謝你能夠認真閱讀完這篇文章,希望小編分享的“java爬蟲實戰(zhàn)之模擬登陸的示例分析”這篇文章對大家有幫助,同時也希望大家多多支持創(chuàng)新互聯,關注創(chuàng)新互聯行業(yè)資訊頻道,更多相關知識等著你來學習!
網站題目:java爬蟲實戰(zhàn)之模擬登陸的示例分析
網址分享:http://chinadenli.net/article8/gsjpop.html
成都網站建設公司_創(chuàng)新互聯,為您提供網站導航、外貿建站、App開發(fā)、網站改版、品牌網站建設、網站設計
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯