«Если рабочий хочет хорошо выполнять свою работу, он должен сначала заточить свои инструменты» — Конфуций, «Аналитики Конфуция. Лу Лингун»
титульная страница > программирование > Обработка большого файла CSV с помощью параллельной обработки #eg39

Обработка большого файла CSV с помощью параллельной обработки #eg39

Опубликовано 2 ноября 2024 г.
Просматривать:427

В файле CSV хранится большое количество данных о заказах.

Process a large csv file with parallel processing #eg39

Для обработки этого файла используйте Java: найдите заказы, суммы которых составляют от 3000 до 5000, сгруппируйте их по клиентам, просуммируйте суммы заказов и подсчитайте заказы.

Process a large csv file with parallel processing #eg39
Напишите следующий оператор SPL:

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(Amount>=3000 && Amount Функция

cursor() анализирует большой файл, который не помещается в память; по умолчанию он выполняет последовательные вычисления. Опция @m включает многопоточное получение данных; 8 — количество параллельных потоков; Опция @t позволяет импортировать первую строку в качестве заголовков столбцов; а опция @c позволяет использовать запятую в качестве разделителя.

Прочитайте «Как вызвать сценарий SPL на Java», чтобы узнать, как интегрировать SPL в приложение Java.

Это одна из проблем StackOverflow. Вы можете нажать на нее, чтобы увидеть, что обычное решение довольно сложное, но подход SPL действительно прост и эффективен.

Адрес открытого исходного кода SPL

Заявление о выпуске Эта статья воспроизведена по адресу: https://dev.to/esproc_spl/process-a-large-csv-file-with-parallel-processing-eg38-40mo?1 Если есть какие-либо нарушения, пожалуйста, свяжитесь с [email protected] удалить его
Последний учебник Более>

Изучайте китайский

Отказ от ответственности: Все предоставленные ресурсы частично взяты из Интернета. В случае нарушения ваших авторских прав или других прав и интересов, пожалуйста, объясните подробные причины и предоставьте доказательства авторских прав или прав и интересов, а затем отправьте их по электронной почте: [email protected]. Мы сделаем это за вас как можно скорее.

Copyright© 2022 湘ICP备2022001581号-3