precision

43зной

14ответ

Почему я вижу двойную переменную, инициализированную некоторым значением, например 21.4, как 21.399999618530273?

double r = 11.631; double theta = 21.4; В отладчике они показаны как 11.631000000000000 и 21.399999618530273. Как я могу избежать этого?

2зной

7ответ

дважды в .net

Если я следующий код (это было написано в .NET) double i = 0.1 + 0.1 + 0.1; Почему не i равна 0.3? Любые идеи?

18зной

5ответ

Что такое стандартная (или самая лучшая) библиотека большого числа (произвольная точность) для Lua?

Я работаю с большими числами, которые я не могу округлить. Используя стандартную математическую библиотеку Lua, похоже, нет удобного способа сохранить точность за пределами некоторого внутреннего пред

5зной

5ответ

Как написать прототип для Number.toFixed в JavaScript?

мне нужно округлить десятичных чисел в шести местах с помощью JavaScript, но мне нужно рассмотреть устаревшие версии браузеров, поэтому я can't rely on Number.toFixed Большой улов с toExponential, toF

4зной

5ответ

В каких единицах измерения вы будете хранить технические данные?

В нашем приложении мы в настоящее время живем с наследием решения хранить все инженерные данные в нашей базе данных в SI. Я опасаюсь, что мы можем рискнуть не иметь достаточной точности и точности в н