precision

5зной

1ответ

Изменения плавающего округления в Ruby 2.4

Ruby 2.4 использует гауссово округление для округления чисел с плавающей запятой. Согласно Википедии: Галстук отключающая правило, менее предвзято (даже тогда, когда исходные числа положительные или о

ruby floating-point precision gaussian 2017-02-16

---

0зной

2ответ

Поплавок округления ошибки

#include<iostream> long myround(float f) { if (f >= UINT_MAX) return f; return f + 0.5f; } int main() { f = 8388609.0f; std:cout.precision(16); std::cout << myround(f)

c++ floating-point precision 2017-02-16

---

3зной

2ответ

обнаружения переполнения при вычитании 2 лонги

Я шел через Apache, общие математические LIBS Link В приведенном ниже фрагменте кода линий A, B, C не имеет смысла для меня. Может кто-то пролить свет на это? public static long subAndCheck(long a, lo

java precision integer-overflow 2017-02-20

---

0зной

2ответ

Intval() странное поведение - потеря точности

Я наткнулся на странную проблему с intval() - мне нужно показать 2 числа после десятичной точки без округления результата. Поэтому я использую intval() таким образом: $result = ($data['a']/$data['b'])

php precision 2017-02-21

---

0зной

1ответ

C++ double more precision/precision

Есть ли тип с плавающей запятой, который хранит больше цифр после десятичной точки, чем double в C++ (или любая альтернатива, которая делает double сохранена больше цифр)? Я читал, что long double мож

c++ double precision digit mandelbrot 2017-02-22

---

1зной

1ответ

Есть ли идея решить проблему с плавающей точкой в ​​будущем?

Мы не можем хранить десятичное число в бесконечной точности, но может быть какой-то способ представить их так же, как мы представляем бесконечные списки в haskell. Первая идея пришла ко мне, чтобы пре

haskell functional-programming precision theory codata 2017-02-22

---

2зной

1ответ

Как найти точность поплавка, если n бит повреждены или потеряны

В настоящее время я решаю разреженную линейную систему с разреженным решателем из scipy, Python. Я сравниваю аналитическое решение с результатом моделирования. Однако в каком-то режиме у меня есть нек

python numpy floating-point precision 2017-02-23

---