ChatGPT強大的In-Context學習能力。在GPT3中提到,上下文長度為2048,也就是說,Prompt也可以這么長。而且GPT3本來就是生成模型,生成的內容和前面給出的提示是直接關聯的。ChatGPT在訓練時用了Prompt,也就是說相比其他模型,它本身就在Prompt上下了不少功夫。他用的這個Prompt其實是Instruct,用來引導和激發模型的In-Context能力。
因此,從設計的角度來看,要想發揮ChatGPT的最大能力,不僅僅要靠它的In-Context能力,Prompt也應該仔細設計,或者說盡量貼近訓練時的樣子。換句話說,它是遇強則強,遇弱則弱,遇idiot則?idiot。