azure function 默认消费计划内存受限，加载 570 mb parquet 文件易触发 oom（退出码 137），根本解决路径是升级至 premium 计划并合理配置内存，辅以流式读取与分块处理策略。
在 Azure Functions 中直接使用 pd.read_parquet(io.BytesIO(blob_data.readall())) 加载大型 Parquet 文件（如 570 MB）极易导致进程因内存耗尽而崩溃（Python 进程退出码 137），这是消费级（Consumption）计划固有的资源限制所致——其单实例最大内存仅约 1.5 GB（实际可用更低），且不可配置。
✅ 首选解决方案：迁移到 Premium 计划
Azure Functions Premium 计划支持手动指定实例规格（如 EP1/EP2/EP3），其中：
- EP1：3.5 GB 内存 / 1 vCPU
- EP2：7 GB 内存 / 2 vCPU
- EP3：14 GB 内存 / 4 vCPU
✅ 操作建议：将函数应用部署到 EP2 或更高规格，并在 host.json 中启用扩展性优化（如 "extensionBundle": { "id": "Microsoft.Azure.Functions.ExtensionBundle", "version": "[4.*, 5.0.0)" }），确保 PyArrow 和 Pandas 版本兼容 Parquet 列式读取。
? 辅助优化：避免一次性全量加载
即使升级计划，也推荐采用内存友好的读取方式，尤其当后续逻辑支持分批处理时：
import pyarrow.parquet as pq
import io
def read_parquet_streaming(storage_account_name, container_name, blob_name):
container_client = connect_with_blob()
blob_client = container_client.get_blob_client(container_name=container_name, blob=blob_name)
# 流式下载 + 分块读取（不缓存完整字节）
blob_stream = blob_client.download_blob(max_concurrency=10)
parquet_file = pq.ParquetFile(io.BytesIO(blob_stream.readall()))
# 方案1：按 Row Group 分块读取（推荐，内存可控）
dfs = []
for i in range(parquet_file.num_row_groups):
df_chunk = parquet_file.read_row_group(i).to_pandas()
# ✅ 在此处添加转换逻辑，或立即写入下游（如 Cosmos DB、Blob、Event Hub）
dfs.append(df_chunk)
# 方案2：若必须合并为单个 DataFrame（仅当内存充足时）
# return pd.concat(dfs, ignore_index=True)
return pd.concat(dfs, ignore_index=True) if dfs else pd.DataFrame()⚠️ 关键注意事项：
系统简介系统三大特色：1、全静态：全站生成.html静态页面。降低服务器压力，增强百度收录。2、高优化：特别针对搜索引擎进行优化处理，让客户快速找到你。3、够简单：拥有完善后台管理系统，所有内容均可在后台进行更新。非专业人士也可操作。网站后台后台管理地址：http://你的网站域名/Admin/login.asp用户名：admin密码：admin后台文件夹名：Admin数据库存放位置：Data21
- ❌ 避免 blob_data.readall() 后再 BytesIO —— 此操作已在内存中复制全部原始字节，双倍开销；
- ✅ 使用 pq.ParquetFile 直接解析，利用 Parquet 的元数据跳过无关列/行组；
- ⚙️ 在 function_app.py 中设置合理的超时（Premium 计划支持最长 60 分钟）：
// function.json "configuration": { "timeout": "00:10:00" } - ? 确保已安装兼容版本：pyarrow>=12.0.0, pandas>=2.0.0, 并在 requirements.txt 显式声明。
? 总结：消费计划本质不适合大文件 ETL 场景。升级 Premium 实例是必要前提；在此基础上，结合 PyArrow 的行组级读取、延迟计算与结果流式输出（如写入临时 Blob 或触发 Durable Function 继续处理），才能构建稳定、可伸缩的数据管道。
