rounding-error

2зной

2ответ

Самая большая ошибка округления при вычислении чисел с плавающей запятой

Я разрабатываю критический по времени алгоритм в Java и поэтому не использую BigDecimal. Чтобы обрабатывать ошибки округления, я вместо этого устанавливаю верхнюю границу ошибки, ниже которой разные ч

1зной

3ответ

Расчеты округляются SQL Server 2012

Я пытаюсь вычислить некоторые показатели производительности как [RATE] в SQL, но независимо от того, что я делаю, я получаю только целые значения взамен. В моем наборе данных у меня есть числитель и з

0зной

1ответ

Точность десятичного типа номера по сравнению с двойной типа в .Net

Рассмотрим следующий код: Dim doubleResult = (21/88) * 11 Dim decimalResult = Decimal.Divide(21, 88) * 11 doubleResult является 2,625, как это должно быть. decimalResult is 2.6249999999999996,

7зной

2ответ

SSE округляет, когда он должен округлять

Я работаю над приложением, которое преобразует образцы Float в диапазоне от -1.0 до 1.0 на 16 бит, чтобы гарантировать, что выходные данные оптимизированных (SSE) подпрограмм точны. Я написал набор те

1зной

1ответ

Как избежать округления больших поплавков или двойных значений?

Я работаю над некоторой проблемой C++, которая должна выводить 22258199.5000000 это число, я сохранил результат в двойном типе данных, и когда я попытался напечатать эту переменную, используя std :: c