FastAPI 返回大型 JSON 数据的优化

通过 FastAPI 返回大量 JSON 数据集可能是一项耗时的任务。为了解决这个瓶颈，我们探索提高性能的替代方法。

识别瓶颈：

使用 json.dumps 将 Parquet 文件解析为 JSON 的初始方法（ ) 和 json.loads() 效率低下。 FastAPI 的默认 JSON 编码器引入了大量开销。

替代编码器：

一种解决方案是采用更快的 JSON 编码器，如 orjson 或 ujson。这些替代方案比 FastAPI 的默认编码器提供了实质性改进。

自定义响应编码：

通过绕过 FastAPI 的默认编码器并直接将响应中的数据转换为 JSON，我们可以优化编码过程。这需要创建一个自定义 APIRoute 类来覆盖路由处理程序并测量响应时间。

利用 Pandas JSON 编码器：

直接在其中使用 Pandas 的 to_json() 方法FastAPI 提供卓越的性能。此方法将 DataFrame 转换为 JSON 字符串，避免不必要的转换并提高效率。

如果内存问题，则流式传输数据：

由于内存过多而出现限制的情况数据，考虑流技术。增量返回数据可以有效缓解内存问题。

替代解决方案：Dask

对于特别大的数据集，请考虑使用 Dask，这是一个专门为处理此类数据量而设计的库。 Dask 的 read_parquet() 方法允许与 Parquet 文件无缝集成。

其他注意事项：

如果在浏览器上显示数据导致延迟，请设置 Content-Disposition 标头带有附件参数会提示浏览器下载数据而不是渲染数据。此外，确保在 Pandas 中使用 to_json() 或 to_csv() 方法时指定路径参数，可以避免在内存中存储大型数据集，从而防止潜在的内存问题。