固定小数の精度とか

プログラム

　固定小数を使う時は精度が気になるとかいうことがあるようだけど、

実際どの位の精度なのかは以外と示されていないような気がしたので、調べてみる。



　……要するに、「2の-n乗」の表を書くだけなんですが…(汗)





// 割り当てるbit数 : 表せる精度
 1 : 0.5

 2 : 0.25

 3 : 0.125

 4 : 0.0625

 5 : 0.03125

 6 : 0.015625

 7 : 0.0078125

 8 : 0.00390625
 9 : 0.001853125

10 : 0.0009265625

11 : 0.00046328125

12 : 0.000231640625

13 : 0.0001158203125

14 : 0.00005791015625

15 : 0.000028955078125

16 : 0.0000144775390625
…とりあえず2byte分だけ。

結構いい精度でいけそうですなんですけどね。



　一応参考までに、

3.1415926535 / 128

(= PI/128 = 0.02454369260546875)

は

0000 0110 0100 1100(= 0.02453779296875)

になります。



…1/1000くらいの精度だったら十分採用出来そう…？





　…でも、確かどう頑張ってもキレイに「0.1」等の単純な数が表せないことがあるはずだから、

そっちの方がイタイのかなぁ…。





　=== 修正　(2008/01/23 1:09)

・「bit数」→「割り当てるbit数」に変更。(るーと雨さん、御指摘ありがとうございます)