Gecco是Java爬蟲框架,它支持將爬取到的數(shù)據(jù)轉(zhuǎn)換為JSON格式,這對(duì)于前端開發(fā)來說是非常方便的。
使用Gecco生成JSON的代碼如下:
GeccoEngine.create() .classpath("com.example") .start("https://example.com") .thread(1) .interval(2000) .loop(false) .mobile(false) .crawl(Crawler.class) .listField("list", "div.newslist >ul >li") .stringField("title").csspath("a").text().done() .stringField("url").csspath("a").attr("href").done() .done() .run();
通過這個(gè)配置,可以將爬取到的數(shù)據(jù)轉(zhuǎn)換為以下JSON格式:
[{ "list": [{ "title": "文章標(biāo)題", "url": "文章鏈接" }] }]
然后我們可以將這個(gè)JSON格式的數(shù)據(jù)傳輸給前端,讓前端開發(fā)人員直接使用。