決策樹算法是一種逼近離散函數(shù)值的方法。它是一種典型的分類方法，首先對(duì)數(shù)據(jù)進(jìn)行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對(duì)新數(shù)據(jù)進(jìn)行分析。

本質(zhì)上決策樹是通過一系列規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的過程。

決策樹方法最早產(chǎn)生于上世紀(jì)60年代，到70年代末。由JRossQuinlan提出了ID3算法，此算法的目的在于減少樹的深度。但是忽略了葉子數(shù)目的研究。

C4.5算法在ID3算法的基礎(chǔ)上進(jìn)行了改進(jìn)，對(duì)于預(yù)測變量的缺值處理、剪枝技術(shù)、派生規(guī)則等方面作了較大改進(jìn)，既適合于分類問題，又適合于回歸問題。