net如何解決小數(shù)精度計算?
僅僅是普通表達式的話,定義數(shù)據(jù)類型,比如從單精度改為雙精度,如果想保留小數(shù)點位數(shù),用formatnumber來處理。
如果是某個算法的精度,就要復雜一些,要定義一個誤差,在算法迭代過程中,用while語句判斷計算結(jié)果的殘差是否小于定義的誤差值,至于殘差如何計算,與你的算法有關
net如何解決小數(shù)精度計算?
僅僅是普通表達式的話,定義數(shù)據(jù)類型,比如從單精度改為雙精度,如果想保留小數(shù)點位數(shù),用formatnumber來處理。
如果是某個算法的精度,就要復雜一些,要定義一個誤差,在算法迭代過程中,用while語句判斷計算結(jié)果的殘差是否小于定義的誤差值,至于殘差如何計算,與你的算法有關