1. 问题背景：Lambda部署包大小限制
AWS Lambda函数对部署包（包括代码和所有依赖项）的大小有严格限制。对于传统的.zip文件部署方式，未压缩的部署包总大小不能超过250MB。当Python项目引入如numpy、scipy、opencv-python等数据科学或图像处理库时，这些库及其传递性依赖的体积通常非常庞大，很容易突破250MB的限制。即使尝试通过S3上传或使用Lambda Layer来管理依赖，由于250MB的限制是针对未压缩大小，这些方法也往往无法解决根本问题。
2. 解决方案：利用Lambda容器镜像部署
AWS Lambda支持使用容器镜像作为函数代码来源，这极大地扩展了部署包的大小限制，最高可达10GB。通过将函数代码和所有依赖项打包成Docker镜像，并将其存储在Amazon Elastic Container Registry (ECR) 中，Lambda函数可以直接从ECR拉取镜像并运行。
2.1 核心概念：Dockerfile与ECR
- Dockerfile：一个文本文件，包含构建Docker镜像所需的所有命令。它定义了镜像的层、基础镜像、文件复制、依赖安装等步骤。
- Amazon ECR (Elastic Container Registry)：AWS提供的一个完全托管的Docker容器镜像注册服务。你可以将构建好的Docker镜像推送到ECR，然后Lambda函数可以从这里拉取镜像。
2.2 部署步骤详解
以下是使用容器镜像部署大型Python Lambda函数的详细步骤：
步骤一：准备requirements.txt文件
立即学习“Python免费学习笔记（深入）”；
首先，列出你的Python项目所需的所有依赖项。requirements.txt文件是一个纯文本文件，每行一个依赖项，可以指定版本。
示例 requirements.txt：
pydicom numpy Pillow opencv-python-headless # 推荐使用headless版本以减小体积 datetime base # 假设这是一个自定义模块或特定库
注意：对于opencv-python，推荐使用opencv-python-headless版本，它不包含GUI组件，体积更小，更适合服务器环境。
步骤二：创建Dockerfile
在项目根目录下创建一个名为Dockerfile的文件（无扩展名），并添加以下内容：
# 使用AWS Lambda官方提供的Python基础镜像
# 推荐使用最新的稳定版本，例如：public.ecr.aws/lambda/python:3.8-x86_64
FROM public.ecr.aws/lambda/python:3.8.2023.03.28.11-x86_64
# 将requirements.txt文件复制到容器中
COPY requirements.txt ./
# 安装所有Python依赖项
# --no-cache-dir 减少缓存，可能有助于减小镜像大小
# -r 指定从requirements.txt文件安装
RUN pip3 install -r requirements.txt --no-cache-dir
# 将你的Lambda函数代码复制到容器中
# 假设你的Lambda处理程序文件名为 app.py
COPY app.py ${LAMBDA_TASK_ROOT}
# 如果有其他自定义模块或文件夹，也需要复制
# COPY your_custom_module/ ${LAMBDA_TASK_ROOT}/your_custom_module/
# 设置Lambda函数处理程序（handler）
# 格式为：文件名.函数名，例如：app.handler
CMD [ "app.handler" ]Dockerfile说明：
- FROM: 指定基础镜像。AWS提供了针对Lambda优化的各种语言基础镜像，这里我们使用Python 3.8的X86_64架构镜像。选择与你的Lambda运行时环境匹配的基础镜像非常重要。
- COPY requirements.txt ./: 将本地的requirements.txt文件复制到容器的当前工作目录。
- RUN pip3 install -r requirements.txt --no-cache-dir: 在容器内执行pip3 install命令，安装requirements.txt中列出的所有依赖。--no-cache-dir有助于减小最终镜像的体积。
- COPY app.py ${LAMBDA_TASK_ROOT}: 将你的Lambda函数代码文件（例如app.py）复制到Lambda函数预期的工作目录（/var/task，由LAMBDA_TASK_ROOT环境变量定义）。确保你的实际处理程序文件被正确复制。
- CMD [ "app.handler" ]: 定义Lambda函数的默认处理程序。这指示Lambda在容器启动时执行app.py文件中的handler函数。
步骤三：构建Docker镜像
在包含Dockerfile和requirements.txt的目录中，打开终端或命令行工具，执行以下命令构建Docker镜像：
docker build -t your-lambda-image-name .
- -t your-lambda-image-name: 为你的镜像指定一个名称和可选的标签（例如my-python-lambda:latest）。
- .: 表示Dockerfile位于当前目录。
步骤四：登录到Amazon ECR
首先，确保你已经安装并配置了AWS CLI。然后，获取ECR的登录凭证：
aws ecr get-login-password --region your-aws-region | docker login --username AWS --password-stdin your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com
- your-aws-region: 替换为你的AWS区域，例如us-east-1。
- your-aws-account-id: 替换为你的AWS账户ID。
步骤五：创建ECR仓库并推送镜像
- 在AWS控制台或通过AWS CLI创建一个ECR仓库：
aws ecr create-repository --repository-name your-lambda-repo-name --region your-aws-region
- 标记你的本地Docker镜像，以便它可以被推送到ECR：
docker tag your-lambda-image-name:latest your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest
- 将标记好的镜像推送到ECR：
docker push your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest
步骤六：在Lambda中创建或更新函数
-
通过AWS控制台：
- 导航到Lambda服务。
- 点击“创建函数”或选择现有函数进行更新。
- 选择“容器镜像”作为“创建方式”。
- 点击“浏览镜像”，选择你在ECR中推送的镜像。
- 配置其他函数设置（内存、超时、环境变量等）。
- 创建或保存函数。
-
通过AWS CLI：
aws lambda create-function \ --function-name YourContainerLambdaFunction \ --package-type Image \ --code ImageUri=your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest \ --role arn:aws:iam::your-aws-account-id:role/YourLambdaExecutionRole \ --timeout 300 \ --memory 2048 \ --region your-aws-region- 确保--role参数指定了一个具有Lambda执行权限的IAM角色。
3. 注意事项与最佳实践
-
镜像大小优化：虽然容器镜像的限制放宽到10GB，但仍应尽量优化镜像大小，以减少部署时间和冷启动延迟。
- 使用--no-cache-dir安装pip包。
- 使用多阶段构建（Multi-stage builds）来只保留最终运行时所需的层。
- 选择更小的基础镜像（例如Alpine Linux版本的基础镜像，如果可用且兼容）。
- 清理不必要的构建缓存和临时文件。
- 冷启动时间：较大的镜像可能导致更长的冷启动时间。对于对延迟敏感的应用，需要进行测试和优化。
- 安全性：定期更新基础镜像和依赖库，以获取最新的安全补丁。
- 本地测试：在将镜像推送到ECR之前，可以在本地使用docker run命令测试你的容器镜像，确保函数能够正常运行。
- 版本控制：为你的Docker镜像使用明确的版本标签（例如v1.0, 20231027-build），而不是始终使用latest，这有助于管理和回滚。
4. 总结
通过采用AWS Lambda的容器镜像部署方式，可以有效突破传统.zip部署包250MB的大小限制，轻松应对numpy、opencv-python等大型Python依赖的部署需求。虽然初期设置可能比简单的.zip部署略显复杂，但它提供了更大的灵活性、更高的容量限制以及更一致的运行时环境，是处理复杂或大型Lambda函数项目的理想选择。
