挑战

在我的应用程序（React Spring Boot Oracle）中，处理大型数据集导致处理时间极其缓慢。我需要一种解决方案来提高性能而不影响准确性或完整性。

解决方案：NTILE 并行处理

NTILE 是一个功能强大的 SQL 窗口函数，旨在将结果集划分为指定数量的大致相等大小的块（称为“图块”）。每行根据其在有序集中的位置分配一个分区号。

通过使用 NTILE，我将查询结果分割成可管理的块并并行处理这些分区。这种方法使我能够同时获取和处理数据，从而显着减少等待时间。

以下是如何实现这一点的实际示例：

WITH PartitionedSales AS (
    SELECT 
        sales_id,
        sales_amount,
        sales_date,
        NTILE(2) OVER (ORDER BY sales_id) AS partition_number -- Assigns a partition number (1 or 2) to each row
    FROM 
        sales
    WHERE 
        sales_date BETWEEN '2023-01-01' AND '2023-12-31'
)
SELECT * 
FROM PartitionedSales
WHERE partition_number = :partitionNumber -- Replace :partitionNumber with the actual partition number (1 or 2)

在上面的SQL片段中：

• NTILE(2) 将数据分为两个相等的块，这两个块将根据 sales_id 进行排序。
• 将 :partitionNumber 替换为 1 或 2，即可从相应分区获取数据。

在前端，您可以使用并行处理来高效地获取每个分区：

async function fetchPartition(partitionNumber) {
    const response = await fetch('/api/sales?partition='   partitionNumber});
    return response.json();
}

async function fetchData() {
    try {
        const [partition1, partition2] = await Promise.all([
            fetchPartition(1), // Fetch the first partition
            fetchPartition(2)  // Fetch the second partition
        ]);

        // Combine and process results
        const combinedResults = [...partition1, ...partition2];
        processResults(combinedResults);
    } catch (error) {
        console.error('Error fetching data:', error);
    }
}

在此代码中：

• fetchPartition 检索特定分区的数据。
• fetchData 并行运行两个提取操作并处理组合结果。

你也可以怎样做

• 识别繁重的查询：查找减慢应用程序速度的查询。
• Apply NTILE：使用NTILE函数将查询结果分成更小的部分。
• 并行处理：并行执行这些较小的查询，利用应用程序处理并发任务的能力。

如果您希望提高数据密集型应用程序的性能，请尝试此方法。这是一种智能、有效的方法，可以让您的查询更加高效，而不是更长时间。

重要考虑因素

处理并发请求时，对数据库连接的需求可能会变得很大。这种对连接的大量使用可能会给数据库带来压力，从而可能导致性能瓶颈。监视和管理并发请求的数量至关重要，以确保您的数据库保持响应能力并高效执行。