precision

1зной

2ответ

Гарантированная точность с числами?

Я понимаю, что из-за того, что хранятся поплавки, есть некоторые значения, которые невозможно точно представить. (См. Why Are Floating Point Numbers Inaccurate?) Это, как говорится, в .NET/C#, какие в

c# floating-point double precision 2016-12-13

---

1зной

2ответ

Поиск непрерывной дроби 2^(1/3) до очень высокой точности

Здесь я буду использовать обозначение можно найти цепную дробь числа, вычисляя его тогда применяя определение, но для этого требуется, по меньшей мере, O (n) бит памяти, чтобы найти , a ... a n, на пр

algorithm math precision rational continued-fractions 2016-12-17

---

0зной

1ответ

Имея проблему с большим целым добавлением в JavaScript

Я просто делаю очень простую программу для преобразования двоичных чисел в десятичные и наоборот. Выполняя десятичное преобразование в двоичное число, я понял, что сталкивался с странной ошибкой, когд

javascript jquery floating-point precision integer-overflow 2016-12-17

---

1зной

2ответ

Установить точность для поплавков в php для 15 чисел после запятой

Servus, У меня проблема с номерами float в PHP. Мой номер $cosVQ = 0.907424504992097 но когда я делаю некоторые математические операции $cosVQ, я буду получать различные результаты в Javascript и PH

php floating-point numbers precision floating-accuracy 2016-12-24

---

0зной

2ответ

Преобразование условий для значений без потери точности (фракции)

У меня есть функция в Python pet_cycleind_symmNM(n, m), который при вызове для значений pet_cycleind_symmNM(5, 5) возвращает «термин список» [[Fraction(1, 14400), [[1, 25]]], [Fraction(1, 720), [[2, 5

python decimal precision 2016-12-24

---