large-data-volumes

1зной

3ответ

Большой скрипт php поддержки. Как печатать строку отладки во время выполнения скрипта?

У меня очень большой скрипт обслуживания php (в основном он воссоздает миниатюры для внутреннего архива), для завершения требуется 10-20 минут, и я заметил, что php отображает только «echos», когда ве

php echo large-data-volumes 2010-04-19

---

6зной

5ответ

Как быстро загрузить 1 миллионные записи из базы данных?

Теперь у нас есть база данных firebird с 1.000.000, которая должна обрабатываться после того, как ВСЕ загружаются в ОЗУ. Чтобы получить все эти данные, мы должны извлечь данные с помощью (выберите * f

sql optimization large-data-volumes 2010-04-20

---

4зной

1ответ

Как выбрать chunksize для многопроцессорности python с большими наборами данных

Я пытаюсь использовать python для получения некоторой производительности для задачи, которая может быть сильно распараллелена с помощью http://docs.python.org/library/multiprocessing. При взгляде на с

python multiprocessing large-data-volumes 2010-04-24

---

10зной

7ответ

Самый быстрый способ вставки очень большого количества записей в таблицу в SQL

Проблема заключается в том, что у нас есть огромное количество записей (более миллиона), которые нужно вставить в одну таблицу из приложения Java. Записи создаются кодом Java, это не переход из другой

java sql-server performance large-data-volumes 2010-05-04

---

2зной

4ответ

Избегайте «ошибки из памяти» в Java (eclipse) при использовании большой структуры данных?

ОК, поэтому я пишу программу, которая, к сожалению, должна использовать огромную структуру данных для завершения своей работы, но при ее инициализации она не работает с ошибкой «из памяти». Хотя я пол

java eclipse large-data-volumes heap-memory out-of-memory 2010-03-17

---

2зной

3ответ

Выполнение комплексных функций на многомиллионных таблицах строк

У меня возникли серьезные проблемы с производительностью с многомиллионной таблицей строк, которые, как я чувствую, я могу получить результаты довольно быстро. Вот бежать вниз, что у меня есть, как я

sql tsql sql-server-2008 aggregate large-data-volumes 2010-05-12

---

45зной

11ответ

Использование прокручиваемых функций Hibernate для медленного чтения 90 миллионов записей

Мне просто нужно прочитать каждую строку таблицы в моей базе данных MySQL, используя Hibernate, и написать файл на ее основе. Но есть 90 миллионов строк, и они довольно большие. Так казалось, что след

java mysql hibernate large-data-volumes scrollableresults 2010-05-13

---

1зной

1ответ

Проблема с клонированием и обработкой большой структуры

У моего скрипта Perl есть странное поведение, которое я не понимаю. Я обрабатываю большую структуру, хранящуюся как массив хешей, который растет во время обработки. Проблема в том, что структура имеет

perl hash clone large-data-volumes 2010-04-09

---

30зной

8ответ

большой объем данных во многих текстовых файлах - как обрабатывать?

У меня есть большой объем данных (несколько терабайт) и накапливается ... Они содержатся во многих текстовых файлах с разделителями табуляции (каждый около 30 МБ). Основная задача состоит в том, чтобы

python sql r large-files large-data-volumes 2010-05-30

---