有什么申請博士的經驗值得分享?
Tim Dettmers 曾經花了很長時間研究如何申請讀博,好在努力收到了回報:他收到了斯坦福大學、華盛頓大學、倫敦大學學院、卡內基梅隆大學以及紐約大學的錄取通知,他目前已經在華盛頓大學讀博。他這篇博客總結了如何一步一步進行博士申請,告訴你哪些重要、哪些不重要。文中討論了目的陳述(SoP)等申請材料以及如何讓這些申請材料發揮應有的作用。
本文主要討論深度學習及自然語言處理、計算機視覺、強化學習及其他深度學習子領域的博士申請。作者默認你已經具備較強的學術背景,即可能已有一篇或多篇論文發表,與多位研究人員合作過等。本博文旨在幫助你提升申請名校博士項目的機會。
本博文將首先指出 PhD 申請中重要的東西,然后介紹申請材料以及如何看待這些材料,然后簡要談談申請過程。主體的最后一部分圍繞擇校展開——哪些學校對于我來說太好或太不好?結尾處選摘 Twitter 的問答。這份 Twitter 問答將定期更新,讀者可前去提問。
Twitter 問答地址:https://twitter.com/Tim_Dettmers/status/1064258559918002176
PhD Comics,圖源:http://phdcomics.com/comics/archive.php?comicid=368
一份優秀的 PhD 申請包括哪些內容?研究型大學錄取學生最看重科研潛力:你有多大幾率成為一名優秀的研究人員?
這方面的主要直接因素按重要順序排列如下:
推薦信:德高望重的教授對你評價很高。人脈非常重要。
研究經歷:之前做過成功的研究。這方面的指標包括發表的論文、是否為一作、發表論文的會議知名度。
其他間接因素如果非常突出也會有所幫助,但通常情況下,只有前兩個因素——推薦信和研究經歷可以幫到你。其他因素按重要程度排序如下:
本科學校:有些學校非常看重這個,其他學校不是很 care。
工作經歷:有些學生之前可能在金融行業工作或受雇于谷歌、Facebook 等公司。
聰明才智:完美的 GPA、GRE 等或多或少與智力掛鉤(或者至少可以說明你學習、理解速度快)。
毅力:你在遭受連續挫折、拒絕時也能振作起來。如果你曾經面臨或克服過困難,可以將你的故事寫進目的陳述中。
成就:在數學或 CS 比賽中拿過獎。
認可:拿過有分量的獎學金/擔任有聲望的組織的會員。
擅長數學或工程:開發或貢獻過開源項目。寫過研究代碼。
家族傳承:父母是教授。
關于申請材料推薦信
推薦信可以分為四個類別:強(Strong)、好(Good)、弱(Weak)和壞(Bad)。請注意,錄取委員會在推薦信中尋找的主要內容是研究潛力的指標。本部分的主要目的是讓你了解什么是好或強的推薦信,根據這些信息,或許能更容易選擇推薦信作者。
壞推薦信的特征
推薦者了解你,并寫下關于你的壞事。
推薦者不了解你(你學過 Ta 的課程,但 Ta 對你沒印象)。
推薦信太短,僅僅說了你在課堂上表現良好。
弱推薦信的特征
推薦者僅通過課堂了解你。
推薦者較合適,但僅能寫關于你課程成績方面的事情:在課堂上做了很好的項目工作;在課堂上討論活躍。
推薦者并沒有對你的研究作出評論。
推薦者不為錄取委員會所知,也不為潛在導師所知。
好推薦信的特征
錄取委員會中有人知道推薦信作者。
目的陳述中提到的導師中至少有一位知道推薦者的名字和工作。
推薦者和你共同合作過研究項目。
推薦者在具體事例中贊揚你杰出的研究能力,展示你的創造力、責任心、意志力和研究技能。
推薦者寫了你如何發表研究的過程。
推薦者對你不在其實驗室做的研究做了評論。
強推薦信的特征
美式推薦信:成就滲透在論文中。
推薦者的英語水平很好。
目的陳述中提到的導師中至少有一位知道推薦者。
推薦者曾經做過很好的推薦(以前推薦過很優秀的學生)。
推薦者在軼事中贊揚你的杰出研究能力,展示你的創造力、責任心、意志力和研究技能。
推薦者提及你間接幫助研究的能力(工程技能、陳述技能、人際能力)并寫在軼事中。
推薦者對你不在其實驗室做的研究做了評論。
請注意以下幾點:
軼事很重要,因為這表明推薦者真的很了解你。它們的可讀性也更強,故事比清單更有趣。
推薦信不需要包含這里列出的所有項,推薦信是很復雜的。
選擇推薦信的時候,選擇強調不同優點的推薦信是有意義的。一篇關于研究技巧的強推薦信,關于工程技能的好推薦信(實習),以及關于課堂/項目工作表現的好推薦信是很棒的組合。這樣的組合優于一封關于研究的強推薦信、一封關于研究的好推薦信,以及一篇關于研究的弱推薦信。
請參閱以下有關請求推薦信的過程,了解更多詳細信息。
關于論文發表
論文作者的位置
發表的論文是研究經驗和研究技能的直接證據。如果你以一作發表論文,人們將知道你做了大部分工作。如果你以二作發表論文,人們將知道你做了較多的工作(25%-50%)。如果你的名字是第三個或之后,你的貢獻將大打折扣,但你可能經歷了整個研究過程,并獲得了大量的研究經驗。如果你發表了多篇一作論文、一篇三作論文也很不錯:這意味著你具備團隊合作能力。
論文發表平臺的知名度
如果你在知名的學術會議上發表了論文,人們將知道:(1)你的研究質量高;(2)你的研究是可信的;(3)你目前的研究技能足夠在重要學術會議上發表論文;(4)你是有競爭力的,你可以在發表頂會論文的壓力下保持生產力。
從潛在導師的角度考慮會有幫助:如果你有兩個學生,一個已經發表了 NeurIPS 論文(A 類),一個發表了 B 類會議的論文。你將知道第一個學生可能已經在準備明年發表到 NeurIPS 的研究項目。第二個學生可能需要更多的準備,例如在發表 NeurIPS 論文前,先在一個 workshop 或至少是有競爭力的 A 類會議上發表論文。他/她有可能需要超過一年的時間來獲取在 A 類會議發表論文的必要研究技能。
將學生推向 NeurIPS 可能會給導師帶來很大壓力,并且與已具備必要研究技能的人合作更容易。如果導師和學生之間的壓力較小,那么就更容易建立強大的專業關系,這使得彼此間的合作變得更容易、更有趣。因此,潛在導師有充分的理由根據你發布論文的會議知名度進行選擇。
創造力、論文被引用次數等
其它指標對申請影響不大。你的工作可能異常富有創意,但如果沒有成就記錄可以證明你是一名富有創造力的研究人員,那么別人可能會覺得你只是很幸運。
發表論文的重要性通常要幾年后才會顯現。如果你在博士申請之前不久發表論文,這意味著你的論文被引用次數不會太高。如果你的論文在短時間內被引用多次,這可能有所幫助,但這也許是運氣使然,又或者是你擅長標記(marking)。通常,過去 1-3 年的論文被引用次數不能作為衡量你研究潛力的可靠指標,因此不予考慮。如果你有過去 5 年論文被引用次數的記錄,這可能很不一樣,但這并不適用于大部分申請人。
關于目的陳述(SoP)
對于大多數學校和機構而言,目的陳述主要用于刷掉那些不花時間打磨它的人。寫作可以展示你的思考方式、你如何推薦自己的工作、如何解釋事物,但它也可以顯示出你懶惰、不注重細節。它還能說明你不會通過搜索范例來編寫正式的文檔。對于某些機構來說,SoP 很重要(例如 CMU),但 SoP 的內容對這些機構來說并沒有多重要。
除了正式性之外,SoP 也是唯一可以陳述你在某些情況下表現不佳的理由的文件。例如,你可以解釋讀研究生過程中遇到的任何艱難困苦,或者解釋為什么你在大學的某個學期/季度做得不太好。SoP 的結構應如下:
用引人注目的一段話介紹研究興趣,使讀者想要繼續閱讀。這是最重要的一點:如果你無法在這一段勾起讀者興趣,他們不太可能繼續讀下去。
你在研究生學習期間的研究經歷(大約一頁)。
確定將來要做什么研究。
確定你想合作的人以及原因。
(可選)在適當的情況下解釋情有可原的情況。
在某些情況下,SoP 非常重要。比如你表現出「自己有良好的學術潛力(不強不弱剛剛好),但必須克服巨大的困難才能做研究」。如果你認為自己的學術潛力很強并且寫下了你的困難,讀你申請的人可能不會選你(privileged prick);如果你的學術潛力很弱,讀你申請的人也可能不會選你(愛抱怨的 loser)。如果你表述中認為自己的學術潛力適度,那就比較合適了(一個能夠克服困難的聰明人)。例如,你的某項條件非常特殊,與入學條件不符,這時 SoP 對于解釋你在這些情況下遇到的困難非常重要。
然而,披露苦難和弱點(如學習障礙和精神疾病)也可能是一把雙刃劍:讀你申請的人可能不會選你,也可能因為這些克服困難的經歷而對你抱以同情和欽佩。如果你披露此類事實,則你的 SoP 需要非常精細化。如果你沒有專業作者的反饋,請不要嘗試這樣做。對于一些社會上可以接受的故事,就不需要專業的反饋:從極度貧困到上大學,現在你想通過博士學位來發揮自己的潛力,這樣就很容易寫出一個令人信服的故事;講述在患精神分裂癥或躁郁癥時遇到的困難就很難令人信服。
然而,如果你沒有遇到任何困境,不要編造無關痛癢或做作的故事:「作為一名上流社會的白人男性美國公民,我從很小的時候就被我的特權所困擾,并且在這個過程中我的學業表現受到了影響。」你應該集中表述你的研究經驗。
關于 GRE、TOEFL、GPA
GRE、托福考試和 GPA 通常作為篩選標準。很高的 GPA 是「智力」的良好證明,可以在推薦信和發表論文與別人相似的情況下錦上添花。但是如果 GPA 4.0,但沒有發表過論文且沒有好的推薦信,那么績點再高也幫不了你,因為別人會覺得你只顧著上無用的課而不專注于科研。GRE 和托福成績就只是篩選條件:分數可以就不會被篩掉。如果你 GRE 成績特別好,那么它也會有點幫助,但作用遠遠小于漂亮的 GPA 成績。GRE 成績很好并沒有太大影響:我被美國 top 5 計算機科學專業中的三個錄取,我的 GRE 成績 verbal 159(81%)、quantitative 163(86%)、寫作 5.0(93%),托福 120/120 和 GPA 8.1/10。GPA 高于 3.5 很好,但高出多少沒多大影響。不過 GPA 4.0 可能會有所幫助。
關于 CV
CV 應該列舉你做過的事情,通常沒有什么驚喜。履歷的內容很重要,不過這取決于你之前做過什么,是無法改變的。不要試圖用潤色詞藻或表達方式來修改 CV,這是浪費時間。只需列出你做過什么即可。
申請流程
如何讓教授給你寫推薦信?
你需要寫兩封郵件:(1)詢問對方是否可以給你寫一封不錯的推薦信。有經驗的人可能會拒絕你的請求,如果他們覺得自己無法提供好的推薦信。如果被拒了,那么問一下別人。(2)如果對方同意了,Ta 會問你推薦信要包含哪些信息。你需要向對方提供一份清單,列出你所做過的事情,寫的時候盡量按照容易包裝成事例的方式去寫。
建議寫:「在一次會議上您告訴我,再做一些工作我們就可以向 NeurIPS 投稿。接下來兩周,我改進了深度網絡架構,并開始寫研究成果。然后 Jane 擴展了我的代碼去執行了額外的任務。然后我們就有了足夠的實驗結果可以把研究成果提交給 NeurIPS 大會。」
不要寫:「我和 Jane 在 NeurIPS 會議上發表了我們的研究。」
事例也可以來自與博士和博士后的互動:
「我和 Tom 一起開發了這個研究庫,作為我們在 NeurIPS 會議上發表研究的主要框架。這個庫我做了一個星期,之后 Tom 告訴我,庫設計得不錯,執行效果也很好。」
之后你的導師會向那個學生了解更多信息,然后按下面的方式寫這件事:
「我的博士生 Tom 是一個工程能力很強的學生,他曾和 Jane 合作一個研究項目,在開始研究之前我們需要先開發一個語言建模代碼庫。Tom 把這個任務交給了 Jane,預計三周內完成,但是 Jane 一周就完成了。Tom 告訴我,他檢查了代碼后發現 Jane 的工程能力與他齊平甚至超過他,代碼質量非常高,且執行速度快。Jane 的工程技能幫助該研究快速進行,因此該研究項目的進展非常順利。Jane 將研究成果發表在了 NeurIPS 2020 大會上……」
如果你有三封推薦信都在「好」這一級甚至之上,你應該考慮讓這些推薦信更多樣化。拿我自己舉例,我用了一篇學界推薦信、一篇工業實驗室推薦信,還有一篇推薦信來自了解我的研究的老師。
目的陳述
早點開始,咨詢有經驗的人。如果你按照上述方法行事你應該是安全的。如果你想展示研究生時期的困難,你需要在 SoP 上花很多時間,可能 SoP 會是所有申請材料里需要花費時間最多的。
嘗試在給不同大學的 SoP 中使用類似的內容。如果給每一所申請學校都「定制」SoP,會花費很多時間。我給不同學校的 SoP 中只有一章有變化,就是關于我想跟的導師那部分。
在線申請
盡早開始填寫在線申請表。有的申請表非常恐怖,填寫需要很多時間。盡早完成這些,你就可以集中精力對付推薦信、擇校和 SoP 了。準備好錢。整個流程需要花多達 1000 美元。如果沒有這么多錢,可以向親戚朋友尋求幫助。
如何選擇合適的學校?
怎么才能進名校?
許多讀者可能都夢想能進斯坦福、MIT、伯克利、CMU 等名校,但這條路很難走。一些項目的競爭非常激烈。以下是我被錄取的一所名校的錄取統計數據,以及符合特定要求的申請者比例:
本科學校排名 Top 2:38%
Top 4:52%
Top 20: 73%
各個國家的頂級學府:84%
來自 top 3 學校的碩士:89%
至少 4 篇頂會論文:93%
至少 3 篇頂會論文+最佳教師/年輕科學家獎:98%
數據解讀:每一個要求后面的百分數指符合該要求的申請者的比例。如 84% 的申請者本科階段就讀于某個國家的頂級學府/排名前 20/排名前 4/排名前 2 的學校。注意,本科就讀于名校的申請者通常都會有論文發表,也有很有分量的推薦信。因此,如果你的本科學校不在前 20,即不是你們國家最好的學校,而你的頂會論文又少于 3 篇,那么你被這所學校錄取的概率只有 2% 左右。
如何被名校錄取?
這些統計數據并不代表你就不會被這些學校錄取,而是說如果你的資歷不夠,就需要再花一年來鞏固自己的實力。以我個人為例,我在碩士階段延期一年去當研究實習生。如果沒有這一年,我不可能被這些學校錄取。如果你的夢想是被這些學校錄取,那么這么做是最好的選擇。即使你不想進入名校,做研究實習生的經歷也是很有幫助的,比如:
科研能力提高,開始讀博時會輕松一些。
檢驗某個 PhD 項目或研究方向(NLP vs 計算機視覺 vs 系統)是否適合你。
一份良好甚至突出的推薦信(實習時間越長越好)。
可能會發表論文。
擇校
你應該申請大約 10-15 所學校。再多的話,你可能沒有足夠的時間打磨申請書。過少的話,可能出現沒有被任何一所申請學校接收的風險。
你應該有一兩所保底學校(被接收的概率大于 75%)。通常你就讀過的學校可以作為不錯的保底學校,因為給你寫推薦信的人在這所學校應該是比較出名的。申請你被接收的概率大于 10% 的所有頂級學校。其他的學校選擇那些錄取率較好的學校(25-33%),你應該至少申請 3 所此類學校。這類學校通常是給你寫推薦信的人與你想學習的導師有個人關系的學校。
注意,最好的導師通常不在頂級學校。在 top 20 以外的學校也能得到很好的 PhD 訓練。但是,如果你考慮在學界工作,那么學校排名非常重要,你應該盡量找頂級學校的導師。
擇校主要依據潛在導師。確保每所大學都有不止一個你想一起工作的導師。不要申請那些只有一個好導師的學校。如果你的導師列表很短,那么擴展自己的興趣。例如,如果你想做深度學習和 NLP,但沒有太多合適的導師,可以考慮計算機視覺或其他領域的導師。
常見 Q&A4 年的英國 PhD VS 6 年的美國 PhD
美國的 PhD 頭兩年要上很多課,因為美國的 PhD 主要是為本科畢業生開設的;相反,英國的 PhD 是為已經讀了一年碩士的人開設的,所以讀博以后課不多。因此如果在英國念 PhD,你可以立即做研究。這算是一個不錯的優勢。
<美國 PhD>
為本科生開設;
需要上 1-2 年的課,課程會分散研究注意力;
獲得入學資助是有保證的,即,通常能獲得研究助理或助教的職位。
<英國 PhD>
為碩士生開設;
上 3-6 個月的課,從始至終都可以把注意力放在研究上;
資助可能是一個問題,通常要取決于導師。因此申請博士之前就聯系潛在導師非常重要;
(多數情況下)聲望較低,因此畢業后獲得學術職位更難。由于明顯的偏見,更難獲得 oral 論文展示的機會或最佳論文獎項;
與美國的研究可能會有點脫節。美國人可能會忽略你的研究,即使你做的不錯。
擁有碩士學位是不是申請博士學位的前提?
在歐洲,讀本科通常需要花三年時間,你需要獲得碩士學位才能開始攻讀博士。而在美國和英國,讀本科通常需要花四年,你可以在讀完本科后馬上讀博。
工作經驗重要嗎?
如果你曾在某些知名機構(如谷歌、Facebook、麥肯錫、高盛等)工作,工作經驗會比較有幫助。其他與軟件工程相關的工作經驗也有用,但研究經驗(研究實習)更加重要。如果只有不錯的工作經驗而沒有研究經驗,那工作經驗對你的申請并沒有什么幫助。
如何選擇導師?
查看最近的論文,尋找研究領域與自己的興趣重合的人。不要選那些近期沒有發表論文的人當導師。你不需要重復當前的研究,但你應該對導師正在做的研究感興趣。
查一查潛在導師手下的畢業學生清單,看看這些人現在在哪。如果找不到其帶出來的畢業生,那這是一個危險的信號(也可能這是一個新老師)。這是一個不錯的指標,可以用來衡量你將來可能獲得的指導與訓練究竟有沒有含金量。
導師名下是否有創業公司?帶了多少學生?綜合這些指標可以估計導師能在你身上花多少時間。然后根據你的研究經驗判斷自己需要的是一個時間較多還是較少的導師。
同一個系里是否有后備選項?有時候你和導師關系不太好的話,需要第二個導師作為備選來保護自己。
到底該不該讀博?
如果以后想在學界工作,你就需要讀博。
而在業界,一切由供求來調節。AI 研究員的供應將在未來幾年急劇增加。如果 AI 炒作降溫,需求將會減少。這種情況可能與數據科學家 2018 年面對的境況非常相似:公司只接收合格的申請者,因為供遠遠大于求。在這種情況下,如果你想換工作或者升職,有沒有 PhD 學位差別會很大。現在可能沒有 PhD 也會被雇傭,但如果你想轉到另一個研究實驗室可能就困難重重了,因為技能嫻熟的博士很多,需求卻很少。
如果 AI 炒作沒有降溫(不太可能),那你就算沒有 PhD 也可以輕易地找工作、換工作。但需要注意的是,升職可能對你來說還是會更困難一點;而且,相比研究,你可能需要做更多的「研究工程工作」。如果你對研究工程師的職位很滿意,那 PhD 對你來說可能沒用。
不要僅僅為了上述理由去讀博。如果你不想做研究,就不要讀博。
是否要在申請之前聯系導師?
對于美國的教授,不要這么做。如果申請歐洲的學校,有時候要在申請之前聯系潛在導師。如果需要,最好由一個與你導師有私交的人引薦,比如你的本科或碩士論文導師。如果你不認識這種中間人,可以給導師寫郵件,內容包括:
現任導師
一句話概括你過去的工作(比如,在哪里發表過研究)
你和導師可以一起做的潛在研究的四個要點,最好以「要點:一句話解釋要點」的形式。
如果沒有私人聯系,你的潛在導師不太可能會查看或者回復你的郵件。如果沒有私人聯系且申請的是歐洲的大學,那你可以考慮換地方了。
如何為你的研究計劃選擇一個主題?
其實,研究的主題無關緊要。沒有人會一板一眼地要求你去做研究計劃中描述的工作。你可以根據研究主題的難易程度在不同的申請中重復使用研究主題。如果不需要在不同的申請中重寫這部分內容,你就可以節省大量時間。注意:你對一個方向越熟悉,越容易想出好的研究主題。