"Si un trabajador quiere hacer bien su trabajo, primero debe afilar sus herramientas." - Confucio, "Las Analectas de Confucio. Lu Linggong"
Página delantera > Programación > Procese un archivo csv grande con procesamiento paralelo #eg39

Procese un archivo csv grande con procesamiento paralelo #eg39

Publicado el 2024-11-02
Navegar:693

Un archivo csv almacena una gran cantidad de datos de pedidos.

Process a large csv file with parallel processing #eg39

Utilice Java para procesar este archivo: busque pedidos cuyos montos estén entre 3000 y 5000, agrúpelos por clientes, sume los montos de los pedidos y cuente los pedidos.

Process a large csv file with parallel processing #eg39
Escriba la siguiente declaración SPL:

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(Monto>=3000 && Monto La función

cursor() analiza un archivo grande que no cabe en la memoria; de forma predeterminada, realiza el cálculo en serie. La opción @m permite la recuperación de datos multiproceso; 8 es el número de hilos paralelos; La opción @t permite importar la primera línea como títulos de columna; y la opción @c permite usar coma como separador.

Lea Cómo llamar a un script SPL en Java para saber cómo integrar SPL en una aplicación Java.

Este es uno de los problemas en StackOverflow. Puedes hacer clic en él para ver que la solución convencional es bastante complicada, pero el enfoque SPL es realmente simple y eficiente.

Dirección de código abierto de SPL

Declaración de liberación Este artículo se reproduce en: https://dev.to/esproc_spl/process-a-large-csv-file-with-parallel-processing-eg38-40mo?1 Si hay alguna infracción, comuníquese con [email protected] para borrarlo
Último tutorial Más>

Descargo de responsabilidad: Todos los recursos proporcionados provienen en parte de Internet. Si existe alguna infracción de sus derechos de autor u otros derechos e intereses, explique los motivos detallados y proporcione pruebas de los derechos de autor o derechos e intereses y luego envíelos al correo electrónico: [email protected]. Lo manejaremos por usted lo antes posible.

Copyright© 2022 湘ICP备2022001581号-3