使用并行处理处理大型 csv 文件 #eg39
发布于2024-11-02
浏览：239
csv文件存储了大量的订单数据。
使用Java处理该文件：查找金额在3000到5000之间的订单，按客户分组，并对订单金额进行求和并统计订单。
编写以下 SPL 语句：
=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金额>=3000 && 金额
cursor()函数解析无法放入内存的大文件；默认情况下，它执行串行计算。 @m选项启用多线程数据检索； 8是并行线程数； @t 选项允许导入第一行作为列标题； @c 选项允许使用逗号作为分隔符。
阅读如何在 Java 中调用 SPL 脚本，了解如何将 SPL 集成到 Java 应用程序中。
这是 StackOverflow 上的问题之一。你可以点击查看，传统的解决方案相当复杂，但是SPL方法确实简单高效。
SPL开源地址
版本声明
本文转载于：https://dev.to/esproc_spl/process-a-large-csv-file-with-parallel-processing-eg38-40mo?1如有侵犯，请联系[email protected]删除
最新教程
更多>
-
如何使用PHP将斑点（图像）正确插入MySQL？essue VALUES('$this->image_id','file_get_contents($tmp_image)')";This code builds a string in PHP, but the function call ...编程 发布于2025-03-14 -
对象拟合：IE和Edge中的封面失败，如何修复？To resolve this issue, we employ a clever CSS solution that solves the problem:position: absolute;top: 50%;left: 50%;transform: translate(-50%, -50％）...编程 发布于2025-03-14
-
如何使用不同数量列的联合数据库表？合并列数不同的表 当尝试合并列数不同的数据库表时，可能会遇到挑战。一种直接的方法是在列数较少的表中，为缺失的列追加空值。 例如，考虑两个表，表 A 和表 B，其中表 A 的列数多于表 B。为了合并这些表，同时处理表 B 中缺失的列，请按照以下步骤操作： 确定表 B 中缺失的列，并将它们添加到表的末...编程 发布于2025-03-14
-
如何使用PHP从XML文件中有效地检索属性值？从php $xml = simplexml_load_file($file); foreach ($xml->Var[0]->attributes() as $attributeName => $attributeValue) { echo $attributeName,...编程 发布于2025-03-14
-
如何检查对象是否具有Python中的特定属性？方法来确定对象属性存在寻求一种方法来验证对象中特定属性的存在。考虑以下示例，其中尝试访问不确定属性会引起错误： >>> a = someClass（） >>> A.property Trackback（最近的最新电话）： 文件“ ”，第1行， AttributeError: SomeClass...编程 发布于2025-03-14
-
为什么PYTZ最初显示出意外的时区偏移？与pytz 最初从pytz获得特定的偏移。例如，亚洲/hong_kong最初显示一个七个小时37分钟的偏移： 差异源利用本地化将时区分配给日期，使用了适当的时区名称和偏移量。但是，直接使用DateTime构造器分配时区不允许进行正确的调整。 example pytz.timezone（...编程 发布于2025-03-14
-
为什么使用Firefox后退按钮时JavaScript执行停止？导航历史记录问题：JavaScript使用Firefox Back Back 此行为是由浏览器缓存JavaScript资源引起的。要解决此问题并确保在后续页面访问中执行脚本，Firefox用户应设置一个空功能。 警报'）; }; alert（'inline Alert'）...编程 发布于2025-03-14
-
我可以将加密从McRypt迁移到OpenSSL，并使用OpenSSL迁移MCRYPT加密数据？将我的加密库从mcrypt升级到openssl 问题：是否可以将我的加密库从McRypt升级到OpenSSL？如果是这样，如何？答案：是的，可以将您的Encryption库从McRypt升级到OpenSSL。可以使用openssl。附加说明： [openssl_decrypt（）函数要求iv参...编程 发布于2025-03-14
-
为什么使用固定定位时，为什么具有100％网格板柱的网格超越身体？网格超过身体，用100％grid-template-columns 为什么在grid-template-colms中具有100％的显示器，当位置设置为设置的位置时，grid-template-colly修复了？问题： 考虑以下CSS和html： class =“ snippet-code”> g...编程 发布于2025-03-14
-
Android如何向PHP服务器发送POST数据？在android apache httpclient（已弃用） httpclient httpclient = new defaulthttpclient（）; httppost httppost = new httppost（“ http://www.yoursite.com/script.p...编程 发布于2025-03-14
-
版本5.6.5之前，使用current_timestamp与时间戳列的current_timestamp与时间戳列有什么限制？在时间戳列上使用current_timestamp或MySQL版本中的current_timestamp或在5.6.5 此限制源于遗留实现的关注，这些限制需要对当前的_timestamp功能进行特定的实现。 创建表`foo`（ `Productid` int（10）unsigned not n...编程 发布于2025-03-14
-
如何从Google API中检索最新的jQuery库？从Google APIS 问题中提供的jQuery URL是版本1.2.6。对于检索最新版本，以前有一种使用特定版本编号的替代方法，它是使用以下语法：获取最新版本：未压缩）While these legacy URLs still remain in use, it is recommended ...编程 发布于2025-03-14
-
Python读取CSV文件UnicodeDecodeError终极解决方法在试图使用已内置的CSV模块读取Python中时，CSV文件中的Unicode Decode Decode Decode Decode decode Error读取，您可能会遇到错误的错误：无法解码字节 在位置2-3中：截断\ uxxxxxxxx逃脱当CSV文件包含特殊字符或Unicode的路径逃...编程 发布于2025-03-14
学习中文
- 1 走路用中文怎么说？走路中文发音，走路中文学习
- 2 坐飞机用中文怎么说？坐飞机中文发音，坐飞机中文学习
- 3 坐火车用中文怎么说？坐火车中文发音，坐火车中文学习
- 4 坐车用中文怎么说？坐车中文发音，坐车中文学习
- 5 开车用中文怎么说？开车中文发音，开车中文学习
- 6 游泳用中文怎么说？游泳中文发音，游泳中文学习
- 7 骑自行车用中文怎么说？骑自行车中文发音，骑自行车中文学习
- 8 你好用中文怎么说？你好中文发音，你好中文学习
- 9 谢谢用中文怎么说？谢谢中文发音，谢谢中文学习
- 10 How to say goodbye in Chinese? 再见Chinese pronunciation, 再见Chinese learning
