Python是一種廣泛使用的編程語(yǔ)言,可以非常方便地進(jìn)行網(wǎng)頁(yè)爬蟲(chóng)。在本文中,我們將使用Python與BeautifulSoup庫(kù)來(lái)爬取智聯(lián)招聘網(wǎng)站上的招聘信息。
# 導(dǎo)入必要的庫(kù) import requests from bs4 import BeautifulSoup # 定義一個(gè)爬取函數(shù) def crawl_zhilian(url): # 發(fā)送請(qǐng)求 res = requests.get(url) res.encoding = 'utf-8' # 使用BeautifulSoup庫(kù)解析HTML soup = BeautifulSoup(res.text, 'html.parser') # 找到所有的職位列表項(xiàng) job_list = soup.find_all('div', class_='job-list') # 循環(huán)打印出每個(gè)職位的名稱(chēng)和公司名稱(chēng) for job in job_list: job_name = job.find('a', class_='zw-name').string.strip() company_name = job.find('a', class_='company-name').string.strip() print(job_name, '-', company_name) # 測(cè)試函數(shù) crawl_zhilian('https://www.zhaopin.com/citymap')
上述代碼中,我們使用requests庫(kù)發(fā)送請(qǐng)求,并設(shè)置編碼方式。然后使用BeautifulSoup庫(kù)解析HTML,并找到所有的職位列表項(xiàng)。最后循環(huán)打印出每個(gè)職位的名稱(chēng)和公司名稱(chēng)。
我們可以將參數(shù)url改為一個(gè)具體的職位搜索頁(yè)面,例如:
crawl_zhilian('https://sou.zhaopin.com/?kw=Python&pageSize=60&jl=全國(guó)&sm=0&source=1')
這將爬取智聯(lián)招聘網(wǎng)站上所有職位名稱(chēng)中包含“Python”的招聘信息,并打印出每個(gè)職位的名稱(chēng)和公司名稱(chēng)。