rounding-error

3зной

1ответ

Может кто-нибудь объяснить, почему rounding 0.5 до FE_TONEAREST дает 0? Разве это не должно давать «1»? Есть ли способ «исправить» это? #include <fenv.h> #include <iostream> #include <cmath> int m

0зной

1ответ

Как исправить ошибки с плавающей запятой из импортированных данных в R

Я работаю в R, где я импортирую данные из базы данных. База данных содержит номера с ошибками округления с плавающей запятой. Например, 2 значения, с которыми я работаю, - Limit1 < - 0.028000000864267

-6зной

2ответ

Проблема округления SQL Server

У меня проблема с точностью данных при хранении данных в переменных/столбцах. Рассмотрим следующий пример DECLARE @w NUMERIC(38, 15) = 0.458441, @a NUMERIC(38, 15) = 10.000000, @p NUMERIC(

-1зной

4ответ

Как мне объединиться в sql, когда я хочу округлить до определенного размера лота, считая из таблицы

Как объединиться в sql, когда я хочу округлить до определенного размера партии, просматривая таблицу. Так что если нужно 51, но моя партия - 50, я хочу, чтобы она вернулась с 100.

0зной

1ответ

Арифметика Java Coding - Поиск символов Диапазоны

Я пытаюсь воссоздать реализацию Java арифметического кодирования, как описано в этой ссылке, в разделе «Арифметика Coding: как это работает»: link Я в точке, где отдельным символам необходимо назначит

1зной

4ответ

Разрешение с плавающей точкой кажется более ограниченным, чем должно быть

Я вижу некоторую ошибку, просто присваивая значение с плавающей запятой, которое содержит только 4 значимых цифры. Я написал короткую программу для отладки, и я не понимаю, в чем проблема. После прове

0зной

2ответ

ошибка округления из массива -> строка -> преобразование массива

Я пытаюсь создать массив по горизонтали конкатенации данных в 4-х колонок, например, так: col1=numpy.arange(191.25,196.275,.001)[:, numpy.newaxis] nrows=col1.shape[0] col2=numpy.zeros((nrows,1),dty