用python爬蟲做畢業(yè)設(shè)計？

誠邀！很榮幸能夠回答你的問題，我認為除了思考目標網(wǎng)站，還有幾點也同樣重要，下面來說說我的看法。

爬蟲玩的好,監(jiān)獄進的早。

最近很流行這句話，結(jié)合當前的環(huán)境來看，很多大數(shù)據(jù)公司的爬蟲業(yè)務(wù)都暫停，說明這是一個問題所在，所以對于你使用Python爬蟲來做畢業(yè)設(shè)計，選擇題材、目標網(wǎng)站、數(shù)據(jù)隱私方面都要做更多的考量。

盡管思考過程會比較頭疼，但是會幫助你，理清思路，為之后做出優(yōu)秀的畢業(yè)設(shè)計是非常有必要的。

你的畢業(yè)設(shè)計的目的？

首先你要明確自己的目的，如果只是完成爬取一個網(wǎng)站的過程，是完全不能做為畢業(yè)設(shè)計的，所以需要你能想的更多一點，比如通過爬取公共數(shù)據(jù)，用來作數(shù)據(jù)分析，而得到符合你觀點的報告，爬取過程只是其中的一部份，這樣才能是一套完整的畢業(yè)設(shè)計。

創(chuàng)造一份屬于你的獨一無二的畢業(yè)設(shè)計，才應(yīng)該是你對劃上一個句號，最完美的詮釋。

哪些網(wǎng)站能爬？

確定了畢業(yè)設(shè)計目的后，你就需要找尋對應(yīng)的目標網(wǎng)站，也就是數(shù)據(jù)來源。這里建議你多找一些目標網(wǎng)站，例如你想做電商市場的有關(guān)題材，你就需要對淘寶、京東、拼多多等目標網(wǎng)站做分析，看是否能滿足你的題材。

其實很多網(wǎng)站并不是什么都不讓爬取，這時就需要你去分析每家網(wǎng)站的

robots.txt

，里面會說明你被允許爬取的范圍，是否還需要增加新的目標網(wǎng)站，做為更多數(shù)據(jù)的補充。

數(shù)據(jù)的隱私性

這里指的是你獲取到的數(shù)據(jù)是否會涉及到他人的隱私性，如果該數(shù)據(jù)涉及到隱私，記得將其刪掉。做爬蟲的第一要素就是不要動他人的隱私，這也是對自己的一種保護，以及職業(yè)素養(yǎng)的鍛煉。

大多數(shù)情況下，我們并不需要用隱私數(shù)據(jù)，同樣也能做出符合預(yù)期的分析，比如我們做年齡、地區(qū)分析的時候，人名、聯(lián)系方式、詳細地址，這些隱私信息，是完全可以不使用的。

對目標網(wǎng)站好一點

很多人使用爬蟲都是很暴力的，不管有用沒用的，狠不能一秒鐘就把所有數(shù)據(jù)都爬下來，這是非常不道德的，同時也會對目標網(wǎng)站造成了特別不好的影響，所以提前做好數(shù)據(jù)規(guī)劃、設(shè)置合理的爬取速度，都是非常必要的。

最后也希望你能做出優(yōu)秀的畢業(yè)設(shè)計，獲得導(dǎo)師們的認可。

以上就是我個人的一點經(jīng)驗，我希望我分享的這個問題的解答能夠幫助到大家。在這里同時也希望大家喜歡我的分享，大家如果有更好的關(guān)于這個問題的解答，還望分享評論，加關(guān)注一起討論。謝謝。