问题背景：Lambda部署包大小限制
AWS Lambda函数在部署时存在严格的大小限制。对于通过zip文件上传的部署包，未压缩状态下的大小上限为250MB。当Python项目引入如numpy、scipy、opencv-python（或opencv-python-headless）这类包含大量二进制文件和复杂依赖的库时，即使是经过优化的Lambda层也难以满足要求，很容易突破250MB的限制，导致部署失败。这对于需要进行图像处理、机器学习推理等计算密集型任务的Lambda函数来说，是一个常见的挑战。
解决方案：利用Lambda容器镜像
为了解决这一限制，AWS Lambda提供了容器镜像（Container Image）作为部署选项。通过将Lambda函数打包成Docker镜像，您可以将部署包大小上限大幅提升至10GB，这为包含大型依赖的复杂应用提供了充足的空间。容器镜像不仅解决了大小问题，还能确保运行环境的一致性，减少了因底层环境差异导致的兼容性问题。
部署步骤详解
使用容器镜像部署Lambda函数，主要包括以下几个步骤：创建requirements.txt、编写Dockerfile、构建Docker镜像、将镜像推送到Amazon Elastic Container Registry (ECR)，最后在Lambda中创建或更新函数以使用该镜像。
1. 创建 requirements.txt 文件
requirements.txt文件列出了您的Python项目所需的所有外部依赖。确保文件中包含所有必需的库，例如：
立即学习“Python免费学习笔记（深入）”；
pydicom numpy Pillow opencv-python-headless # 或 opencv-python，根据需求选择 # 其他依赖，如 lightgbm==3.3.5
请注意，对于像base这样可能是本地模块的依赖，它不应出现在requirements.txt中，而应作为您的应用代码的一部分被复制到容器中。
2. 编写 Dockerfile
Dockerfile是构建Docker镜像的蓝图，它定义了镜像的层级结构和构建指令。对于Python Lambda函数，您需要选择一个AWS提供的Lambda基础镜像，并在此基础上安装依赖和复制您的应用代码。
以下是一个典型的Python Lambda函数Dockerfile示例：
# 使用AWS Lambda提供的Python基础镜像
# 选择与您的Python版本和架构匹配的最新镜像
FROM public.ecr.aws/lambda/python:3.8.2023.03.28.11-x86_64
# 设置工作目录为Lambda函数的默认任务根目录
# 这是Lambda运行时查找代码和依赖的位置
WORKDIR ${LAMBDA_TASK_ROOT}
# 将requirements.txt文件复制到容器中
COPY requirements.txt .
# 安装所有Python依赖
# --target . 参数确保依赖安装在当前工作目录，即Lambda任务根目录
# 这样Lambda运行时可以正确找到它们
RUN pip3 install -r requirements.txt --target .
# 复制您的Lambda函数代码到容器中
# 假设您的Lambda代码位于当前目录下的 'your_lambda_code/' 文件夹
# 例如，如果您的handler是 'your_lambda_code/main.handler'
COPY your_lambda_code/ .
# 定义Lambda函数入口点（可选，但推荐明确指定）
# CMD [ "your_lambda_code.main.handler" ]说明：
- FROM: 指定基础镜像。public.ecr.aws/lambda/python:3.8.2023.03.28.11-x86_64是一个官方维护的Lambda运行时镜像，包含了Python环境和Lambda运行时接口。请根据您的Python版本和CPU架构选择合适的镜像。
- WORKDIR: 设置容器内的工作目录，LAMBDA_TASK_ROOT是Lambda运行时期望您的代码和依赖存在的路径。
- COPY requirements.txt .: 将本地的requirements.txt复制到容器的工作目录。
- RUN pip3 install -r requirements.txt --target .: 执行命令安装requirements.txt中列出的所有依赖。--target .确保这些依赖被安装到容器的当前工作目录（即LAMBDA_TASK_ROOT），这样Lambda运行时才能找到它们。
- COPY your_lambda_code/ .: 将您的实际Lambda函数代码（例如，包含lambda_function.py的目录）复制到容器的工作目录。确保您的lambda_function.py（或您的处理程序文件）位于此复制的路径中。
- CMD: （可选）定义Lambda函数的默认处理程序。您也可以在Lambda函数配置中指定。
3. 构建Docker镜像
在包含Dockerfile和requirements.txt的目录下，打开终端并执行以下命令构建Docker镜像：
docker build -t your-lambda-image-name .
- -t your-lambda-image-name: 为您的镜像指定一个标签（名称），例如my-python-lambda-image。
- .: 表示Dockerfile位于当前目录。
构建过程可能需要一些时间，特别是当下载大型依赖时。
4. 推送镜像到Amazon ECR
在将镜像部署到Lambda之前，您需要将其推送到Amazon ECR（Elastic Container Registry）。
a. 创建ECR仓库： 如果您还没有ECR仓库，请在AWS控制台或通过AWS CLI创建一个：
aws ecr create-repository --repository-name your-lambda-repo-name --region your-aws-region
b. 认证Docker到ECR： 获取ECR的认证令牌，并登录Docker：
aws ecr get-login-password --region your-aws-region | docker login --username AWS --password-stdin your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com
请替换your-aws-region和your-aws-account-id为您的实际信息。
c. 标记镜像： 将本地构建的镜像标记为ECR仓库的名称和URI：
docker tag your-lambda-image-name:latest your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest
d. 推送镜像： 将标记好的镜像推送到ECR仓库：
docker push your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest
5. 在Lambda中创建或更新函数
现在，您可以在AWS Lambda中创建一个新的函数或更新现有函数，以使用您刚刚推送到ECR的容器镜像。
通过AWS控制台：
- 登录AWS Lambda控制台。
- 点击“创建函数”或选择现有函数进行编辑。
- 选择“容器镜像”作为部署包类型。
- 点击“浏览镜像”，选择您刚刚推送到ECR的镜像。
- 配置函数的内存、超时等参数。
- 确保为Lambda函数分配的执行角色具有从ECR拉取镜像的权限（通常AWSLambdaBasicExecutionRole或类似角色已包含此权限）。
- 指定处理程序（Handler），格式通常是your_module_name.your_function_name，例如main.handler。
通过AWS CLI： 您也可以使用AWS CLI创建或更新Lambda函数：
aws lambda create-function \
--function-name YourContainerLambdaFunction \
--package-type Image \
--code ImageUri=your-aws-account-id.dkr.ecr.your-aws-region.amazonaws.com/your-lambda-repo-name:latest \
--role arn:aws:iam::your-aws-account-id:role/YourLambdaExecutionRole \
--timeout 300 \
--memory-size 2048 \
--region your-aws-region注意事项与总结
- 基础镜像选择： 务必使用AWS官方提供的Lambda基础镜像，它们已针对Lambda环境进行优化，并包含必要的运行时接口。
- 依赖安装路径： 确保pip install时使用--target .（或--target ${LAMBDA_TASK_ROOT}），将依赖安装到Lambda运行时期望的位置。
- 镜像大小： 尽管容器镜像的限制提高到10GB，但仍应尽量保持镜像精简，只包含必要的依赖和代码，以减少部署时间和冷启动延迟。
- 本地测试： 在部署之前，您可以在本地使用Docker运行您的容器镜像，进行充分的测试，以确保函数在容器环境中正常工作。
- 成本考量： 容器镜像部署的Lambda函数在冷启动时可能会比zip包函数略慢，且镜像存储在ECR中会产生存储费用。
通过采用Lambda容器镜像，您可以有效地解决Python函数因大型依赖而面临的部署包大小限制问题，为开发和部署复杂的、依赖丰富的Lambda应用提供了强大的灵活性和扩展性。
