AWS作为全球领先的云服务提供商，提供了一套完整且高度集成的DevOps工具链，其中AWS CodePipeline是核心的持续交付编排服务。本文将从实际工程角度出发，详细介绍如何从零开始搭建一套完整的AWS CodePipeline与GitHub集成的CI/CD流水线，涵盖权限配置、流水线设计、构建部署自动化以及最佳实践等关键环节。
一、AWS CI/CD工具链核心组件
AWS提供了端到端的DevOps服务，构成了一个完整的CI/CD生态系统。在我们的流水线中，将使用以下核心组件：
1. AWS CodePipeline
CodePipeline是AWS的托管式持续交付服务，它将整个软件发布过程划分为多个逻辑阶段(Source、Build、Test、Deploy)，并自动执行这些阶段。CodePipeline的核心优势在于：
- 完全托管：无需管理任何服务器，AWS负责服务的可用性和扩展性
- 可视化编排：提供直观的图形界面，清晰展示流水线的执行状态
- 灵活集成：支持与AWS内部服务和GitHub、Jenkins等第三方工具集成
- 细粒度控制：支持手动审批、条件执行和并行任务等高级功能
2. AWS CodeBuild
CodeBuild是托管式持续集成服务，负责编译源代码、运行测试并生成可部署的软件包。它支持多种编程语言和构建工具，提供预配置的构建环境，也支持自定义Docker镜像。CodeBuild按实际使用时间计费，无需为闲置资源付费。
3. AWS CodeDeploy
CodeDeploy是托管式部署服务，能够自动化将应用部署到Amazon EC2、AWS Lambda、Amazon ECS和本地服务器。它支持蓝绿部署、滚动部署和金丝雀部署等多种策略，最大限度地减少部署停机时间和风险。
4. Amazon S3
Amazon S3是AWS的对象存储服务，在CI/CD流水线中主要用于存储构建产物(artifacts)。CodePipeline和CodeBuild会将构建生成的文件上传到S3桶，供后续部署阶段使用。
二、前期准备工作
在开始搭建流水线之前，需要完成以下必要的准备工作：
1. AWS账户与权限配置
- AWS账户准备：拥有一个有效的AWS账户，建议使用IAM用户而非根账户进行操作。
- 创建IAM服务角色：这是最关键的一步，遵循最小权限原则创建以下角色：
CodePipeline服务角色：
- 受信实体：codepipeline.amazonaws.com
- 附加策略：AmazonCodePipelineFullAccess(生产环境应自定义更严格的策略)
- 角色名称：CodePipelineServiceRole-GitHub
CodeBuild服务角色：
- 受信实体：codebuild.amazonaws.com
- 附加策略：AmazonCodeBuildFullAccess、AmazonS3FullAccess
- 角色名称：CodeBuildServiceRole-GitHub
注意：在生产环境中，应避免使用FullAccess策略，而是根据实际需要创建自定义策略，只授予必要的权限。
2. GitHub准备
- 拥有一个GitHub账户和一个用于测试的代码仓库
- 确保你拥有该仓库的管理员权限，以便配置Webhook和访问权限
- 准备一个简单的应用程序代码，例如Node.js、Python或静态网站
3. S3桶创建
创建一个S3桶用于存储构建产物：
- 打开S3控制台，点击"创建桶"
- 输入全局唯一的桶名称，例如：my-cicd-artifacts-12345
- 选择与CodePipeline相同的AWS区域
- 保持其他默认设置，点击"创建桶"
三、CodePipeline与GitHub集成配置
CodePipeline提供了两种与GitHub集成的方式：GitHub个人访问令牌(PAT)和GitHub连接(Connections)。其中GitHub连接是AWS推荐的更安全的方式，本文将重点介绍这种方法。
1. 创建GitHub连接
- 打开AWS CodePipeline控制台，导航到"设置" > "连接"
- 点击"创建连接"
- 选择"GitHub"作为提供程序
- 输入连接名称，例如：GitHub-Connection-MyApp
- 点击"连接到GitHub"
- 在弹出的GitHub授权窗口中，登录你的GitHub账户
- 点击"安装新应用"，选择要授权的GitHub账户或组织
- 选择"所有仓库"或仅选择特定仓库
- 点击"安装"，完成授权
- 回到AWS控制台，点击"连接"
创建成功后，你将看到连接状态显示为"可用"。这种方式比个人访问令牌更安全，因为它使用OAuth 2.0协议，并且可以随时在GitHub中撤销授权。
2. 创建CodePipeline流水线
- 在CodePipeline控制台，点击"创建流水线"
- 输入流水线名称，例如：MyApp-GitHub-CICD
- 在"服务角色"部分，选择"现有服务角色"，然后选择之前创建的CodePipelineServiceRole-GitHub
- 保持"工件存储"为默认设置(使用CodePipeline默认的S3桶)
- 点击"下一步"
3. 配置源阶段
- 在"源提供程序"下拉菜单中，选择"GitHub"
- 在"连接"下拉菜单中，选择之前创建的GitHub连接
- 在"仓库名称"中，选择你的GitHub仓库
- 在"分支名称"中，选择要触发流水线的分支，例如：main
- 在"变更检测选项"中，选择"GitHub Webhook(推荐)"
- 这将自动在GitHub仓库中创建一个Webhook，当代码推送到指定分支时触发流水线
- 点击"下一步"
四、构建阶段配置
构建阶段是CI/CD流水线的核心，负责将源代码转换为可部署的软件包。我们将使用AWS CodeBuild来执行构建任务。
1. 创建CodeBuild项目
- 在"构建提供程序"下拉菜单中，选择"AWS CodeBuild"
- 点击"创建项目"
- 输入项目名称，例如：MyApp-Build
- 在"环境"部分：
- 环境映像：托管映像
- 操作系统：Amazon Linux 2
- 运行时：Standard
- 映像：aws/codebuild/amazonlinux2-x86_64-standard:5.0
- 服务角色：现有服务角色，选择CodeBuildServiceRole-GitHub
- 在"构建规范"部分：
- 选择"使用buildspec文件"
- Buildspec名称：buildspec.yml(默认值)
- 保持其他默认设置，点击"继续到CodePipeline"
- 点击"下一步"
2. 编写buildspec.yml文件
buildspec.yml是CodeBuild使用的构建规范文件，它定义了构建过程的各个阶段和命令。以下是一个适用于Node.js应用的示例：
version: 0.2
phases:
install:
runtime-versions:
nodejs: 20
commands:
- echo "Installing Node.js dependencies..."
- npm ci
pre_build:
commands:
- echo "Running linting..."
- npm run lint
- echo "Running unit tests..."
- npm test
build:
commands:
- echo "Building the application..."
- npm run build
post_build:
commands:
- echo "Build completed on $(date)"
- echo "Preparing deployment package..."
- ls -la build/
artifacts:
files:
- '**/*'
base-directory: 'build'
discard-paths: no
这个buildspec文件包含四个阶段：
- install：安装Node.js运行时和项目依赖
- pre_build：执行代码检查和单元测试
- build：构建应用程序
- post_build：完成构建后的清理和准备工作
artifacts部分指定了哪些文件将作为构建产物上传到S3。将这个文件提交到你的GitHub仓库的根目录。
五、部署阶段配置
部署阶段负责将构建产物自动部署到目标环境。我们将以部署到Amazon S3静态网站为例进行介绍，这是最简单也是最常见的部署场景。
1. 配置S3静态网站托管
- 打开S3控制台，创建一个新的桶用于托管静态网站
- 导航到桶的"属性"标签页
- 滚动到"静态网站托管"部分，点击"编辑"
- 选择"启用"
- 索引文档：index.html
- 错误文档：error.html
- 点击"保存更改"
2. 配置部署阶段
- 在CodePipeline的"添加部署阶段"页面，选择"Amazon S3"作为部署提供程序
- 选择之前创建的静态网站托管桶
- 勾选"部署前提取文件"
- 点击"下一步"
- 查看流水线配置，确认无误后点击"创建流水线"
六、流水线测试与验证
创建好流水线后，我们需要测试它是否能够正常工作。
1. 手动触发测试
- 在CodePipeline控制台，选择你创建的流水线
- 点击"发布更改"
- 点击"发布"
- 观察流水线的执行过程，确保每个阶段都能成功完成
- 当所有阶段都显示"成功"后，访问S3静态网站的URL，验证应用是否正确部署
2. 自动触发测试
- 克隆你的GitHub仓库到本地
- 对代码进行一个小的修改，例如修改index.html中的文本
- 提交并推送修改到GitHub的main分支
- 回到CodePipeline控制台，观察流水线是否自动触发
- 验证修改是否成功部署到S3静态网站
七、高级功能与最佳实践
1. 多环境部署
在实际项目中，通常需要多个环境(开发、测试、生产)。你可以通过在CodePipeline中添加多个部署阶段来实现多环境部署：
- 编辑流水线，在构建阶段之后添加"开发"部署阶段
- 添加"测试"部署阶段，配置为部署到测试环境
- 在生产部署阶段之前添加手动审批步骤
- 添加"生产"部署阶段，配置为部署到生产环境
2. 手动审批
对于生产环境的部署，强烈建议添加手动审批步骤，确保只有经过授权的人员才能触发生产部署：
- 编辑流水线，在生产部署阶段之前添加一个新的阶段
- 输入阶段名称："审批"
- 点击"添加操作组"
- 操作提供程序：手动审批
- 配置审批通知和审批人
- 点击"完成"，然后保存流水线
3. 构建缓存
为了加快构建速度，可以启用CodeBuild的构建缓存功能，缓存项目依赖和中间构建产物：
- 编辑CodeBuild项目
- 导航到"构建详细信息"标签页
- 滚动到"缓存"部分，点击"编辑"
- 选择"Amazon S3"作为缓存类型
- 选择一个S3桶用于存储缓存
- 输入缓存路径前缀，例如：codebuild-cache
- 点击"更新缓存"
4. 安全最佳实践
- 最小权限原则：为每个IAM角色分配仅完成其任务所需的最小权限
- 密钥管理：使用AWS Secrets Manager存储敏感信息，如数据库密码和API密钥
- 代码扫描：集成Amazon CodeGuru或其他代码扫描工具，自动检测代码中的安全漏洞
- 审计日志：启用AWS CloudTrail，记录所有API调用，以便进行审计和故障排除
- 定期轮换：定期轮换GitHub连接和IAM凭证
八、常见问题与故障排除
1. 流水线没有自动触发
- 检查GitHub仓库中的Webhook是否正确创建
- 检查Webhook的最近交付记录，查看是否有错误
- 确保CodePipeline服务角色有足够的权限访问GitHub连接
- 确认你推送代码的分支与流水线配置的分支一致
2. 构建阶段失败
- 查看CodeBuild的构建日志，找出具体的错误原因
- 检查buildspec.yml文件的语法是否正确
- 确保所有依赖项都能正确下载
- 检查CodeBuild服务角色是否有足够的权限访问S3和其他AWS服务
3. 部署阶段失败
- 检查S3桶的权限配置，确保CodePipeline服务角色有写入权限
- 确认构建产物正确生成并上传到S3
- 检查S3静态网站托管配置是否正确
本文详细介绍了如何搭建一套基于AWS CodePipeline与GitHub集成的CI/CD流水线。我们从前期准备工作开始，逐步讲解了GitHub连接配置、流水线创建、构建阶段和部署阶段的详细步骤，并介绍了多环境部署、手动审批等高级功能和最佳实践。
相关阅读：
AWS云开户账号被锁定？申诉材料准备与账号恢复全流程
AWS云开户邮箱收不到验证邮件？完整排查流程与替代验证方式
AWS开户实例类型选错：性能不足 / 成本过高的更换补救方案
AWS云开户后如何避免意外扣费？预算告警与资源监控设置指南
AWS云开户灾备方案设计：跨区域备份与故障切换策略
注册
登录控制台
返回顶部