floating-accuracy

1зной

1ответ

Я слышал, что арифметика с плавающей запятой, такая как 0.1 + 0.2, может давать ошибку округления, например 0.30000000000000004, из-за того, что внутренняя двоичная с плавающей запятой используется. Н

2зной

3ответ

с ++ FMOD возвращает 0.2 для FMOD (0.6,0.2)

, когда я использую FMOD (0.6,0.2) в C++ возвращает 0,2 Я знаю, что это связано с точностью с плавающей точкой, но мне кажется, что я должен получить остаток два двойных этот момент большого спасибо з

0зной

1ответ

SQL Server: почему Поплавок более точным, чем Decimal

This post имеет следующий код: DECLARE @A DECIMAL(3, 0), @B DECIMAL(18, 0), @F FLOAT SET @A = 3 SET @B = 3 SET @F = 3 SELECT 1/@A * 3.0, 1/@B * 3.0, 1/@F * 3.0 SELECT 1/@A * 3 , 1/@B * 3 , 1/@F

8зной

1ответ

Результаты литья поплавкового умножения приводят к разным результатам, если первый поплавок сохраняется в переменной?

код здесь прямо вперед, но я не понимаю, результаты: float percent = 0.69f; int firstInt = (int)(percent*100f); float tempFloat = percent*100f; int secondInt = (int)tempFloat; Debug.Log(firstInt

0зной

1ответ

Предотвращение php от округления небольших чисел

Может ли php обрабатывать чрезвычайно маленькие номера без округления их? Например, при вычислении exp(-99) + 1/2, php вычислит это значение 0.5. Это проблематично, если позже я хочу умножить данный р

2зной

1ответ

Преобразование десятичных чисел с плавающей запятой в двоичную и обратно

Вопрос, короче говоря, почему ошибка округления в поплавках появляется только после вычислений, а не для хранения литералов? Что я имею в виду - Я знаю о проблемах, возникающих из-за ошибки округления

0зной

1ответ

Повышенная точность polyeig в Matlab

Я использую команду polyeig в Matlab для решения задачи о полиномном значении знака порядка 2 в Matlab. Я знаю, что система имеет одиночное 0 собственное значение (это связано с формой матрицы нулевог