継続的インテグレーション環境の構築(2)

本連載では、AWSリソース基盤構築の自動化を実践しています。現在は、第2回から解説してきた継続的インテグレーション環境をCloudFormationを使って自動構築する方法について解説しています。

前回は、SonarQubeServerのベース環境となるAWSリソース(VPC、セキュリティグループ、ALB、ECSクラスタ)の実装とRDS環境を作成しました。続く今回は、CloudFormationのカスタムリソースを使って、RDS構築後のデータベースにユーザーを追加するLambdaファンクションを実装します。

実装にあたって使用するランタイムライブラリは、以下の通りです。

なお、実際のソースコードはGitHub上にコミットしています。以降のソースコードでは本質的でない記述を一部省略しているので、実行コードを作成する場合は、必要に応じて適宜GitHub上のソースコードも参照してください。

CloudFormationカスタムリソースとLambdaファンクションの実装

CloundFormationのカスタムリソースとは、ユーザーが任意のリソースタイプ名を定義し、CloudFormationスタックとして利用できる機能です。一方、AWS Lambda-backedカスタムリソースは、AWS Lambdaファンクションと関連付けることができるカスタムリソースで、CloudFormationスタックが作成、更新、削除される度にLambdaファンクションを呼び出すことができます。

今回は、連載「AWSで作るクラウドネイティブアプリケーションの基本」の第12回でも解説したSpring Cloud AWSを使用して、RDSに初期処理を行う(ユーザーの作成を行うDDLを実行する)Lambdaファンクションを実装します。

以下の通り、spring-cloud-functionやspring-cloud-starter-aws、DDLを実行するのでJDBC Templateが使えるspring-boot-starter-data-jdbcを含めておいてください。また、RDSのエンドポイントやパスワードはCloudFormationのスタック情報やSystems Manager Parameter Storeから取得するので、AWS SDKの「aws-java-sdk-ssm」「aws-java-sdk-core」、Lambdaファンクション実装のための「aws-lambda-java-core」「aws-lambda-java-events」も必要になります。

CloudFormationのスタック情報からデータを取得する実装の詳細は本連載の第34回も適宜参考にしてください。今回は、設定クラスなど既に解説したものは省略して、差分があるポイントのみ説明していきます。

<dependencies>
  <dependency>
     <groupId>org.springframework.boot</groupId>
     <artifactId>spring-boot-starter-data-jdbc</artifactId>
  </dependency>
  <dependency>
     <groupId>org.springframework.cloud</groupId>
     <artifactId>spring-cloud-function-context</artifactId>
  </dependency>
  <dependency>
     <groupId>org.springframework.cloud</groupId>
     <artifactId>spring-cloud-function-adapter-aws</artifactId>
  </dependency>
  <dependency>
     <groupId>org.springframework.cloud</groupId>
     <artifactId>spring-cloud-starter-aws</artifactId>
  </dependency>
  <dependency>
     <groupId>org.springframework.cloud</groupId>
     <artifactId>spring-cloud-starter-aws-jdbc</artifactId>
  </dependency>
  <dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-lambda-java-events</artifactId>
     <version>2.0.2</version>
  </dependency>
  <dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-lambda-java-core</artifactId>
     <version>1.1.0</version>
  </dependency>
  <dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-java-sdk-ssm</artifactId>
     <version>1.11.756</version>
  </dependency>
  <dependency>
     <groupId>com.amazonaws</groupId>
     <artifactId>aws-java-sdk-core</artifactId>
     <version>1.11.756</version>
  </dependency>

連載「AWSで作るクラウドネイティブアプリケーションの基本」の第1回と同様、HandlerクラスとFunctionクラスを実装します。これまでのhandleRequest()メソッドは継承クラスのものをオーバーライドするのみでしたが、今回はCloudFormationからの複数のイベントをハンドリングするので以下の通り実装します。

package org.debugroom.mynavi.sample.sonarqube.initdb.app.handler;

import com.amazonaws.services.lambda.runtime.Context;
import lombok.extern.slf4j.Slf4j;
import org.debugroom.mynavi.sample.sonarqube.initdb.app.CloudFormationResponseSender;
import org.debugroom.mynavi.sample.sonarqube.initdb.app.model.Status;
import org.springframework.cloud.function.adapter.aws.SpringBootRequestHandler;
import reactor.core.publisher.Flux;

import java.util.Map;
import java.util.Objects;

@Slf4j
public class LambdaTriggerHandler extends
     SpringBootRequestHandler<Map<String, Object>, String> {                                       // (A)

    @Override
    public Object handleRequest(Map<String, Object> event, Context context) {                      // (B)
        for(String key : event.keySet()){
            log.info("[Key]" + key + " [Value]" + event.get(key).toString());                      // (C)
        }
        Object requestType = event.get("RequestType");                                             // (D)
        if(requestType != null && Objects.equals(requestType.toString(), "Delete")){               // (E)
            CloudFormationResponseSender.send(event, context, Status.SUCCESS,
              event.get("ResourceProperties"), event.get("PhysicalResourceId").toString(), false); // (F)
            return Flux.just("Complete!");                                                         // (G)
        }
        Object result = super.handleRequest(event, context);                                       // (H)
        if(requestType != null && result instanceof Flux){
            CloudFormationResponseSender.send(event, context, Status.SUCCESS,
              event.get("ResourceProperties"), null, false);                                       // (I)
        }
        return result;
     }

 }

各実装の詳細は以下の通りです。

また、CloudFormationにシグナルを送信するためのCloudFormationResponseSenderの実装は以下の通りです。

package org.debugroom.mynavi.sample.sonarqube.initdb.app;

importcom.amazonaws.services.lambda.runtime.Context;
importcom.fasterxml.jackson.databind.ObjectMapper;
importcom.fasterxml.jackson.databind.PropertyNamingStrategy;
importlombok.extern.slf4j.Slf4j;
importorg.debugroom.mynavi.sample.sonarqube.initdb.app.model.CfnResponse;
importorg.debugroom.mynavi.sample.sonarqube.initdb.app.model.Status;
importorg.springframework.boot.web.client.RestTemplateBuilder;
importorg.springframework.http.HttpEntity;
importorg.springframework.http.HttpHeaders;
importorg.springframework.http.HttpMethod;
importorg.springframework.http.MediaType;
importorg.springframework.http.converter.json.MappingJackson2HttpMessageConverter;
importorg.springframework.util.LinkedMultiValueMap;
importorg.springframework.util.MultiValueMap;
importorg.springframework.web.client.RestOperations;
importorg.springframework.web.util.UriComponentsBuilder;

importjava.io.UnsupportedEncodingException;
importjava.net.URI;
importjava.net.URLDecoder;
importjava.net.URLEncoder;
importjava.nio.charset.StandardCharsets;
importjava.util.Arrays;
importjava.util.Collections;
importjava.util.Map;

@Slf4j
public class CloudFormationResponseSender {

    public static <T> void send(Map<String, Object> event, Context context,
                          Status status, T responseData, String physicalResourceId,
                          boolean noEcho){
        Object responseURL = event.get("ResponseURL");                              // (A)

        ObjectMapper mapper = new ObjectMapper()
          .setPropertyNamingStrategy(PropertyNamingStrategy.UPPER_CAMEL_CASE);      // (B)
        MappingJackson2HttpMessageConverter converter =
          new MappingJackson2HttpMessageConverter();
        converter.setObjectMapper(mapper);
        RestOperations restOperations = new RestTemplateBuilder()
          .messageConverters(Arrays.asList(converter))
          .build();                                                                 // (C)

        if(responseURL != null){
            log.info("ResponseURL : " + responseURL.toString());
            CfnResponse<T> cfnResponse = CfnResponse.<T>builder()
              .Status(status)
              .Reason("See the details in CloudWatch Log Stream: " + context.getLogStreamName())
              .PhysicalResourceId(physicalResourceId == null ?
                      context.getLogStreamName(): physicalResourceId)
              .StackId(event.get("StackId").toString())
              .RequestId(event.get("RequestId").toString())
              .LogicalResourceId(event.get("LogicalResourceId").toString())
              .NoEcho(noEcho)
              .Data(responseData)
              .build();                                                              // (D)

            HttpHeaders headers = new HttpHeaders();
            headers.setContentType(MediaType.APPLICATION_JSON);
            HttpEntity<CfnResponse> requestEntity = new HttpEntity<>(cfnResponse, headers);
            restOperations.exchange(getUri(responseURL.toString()),
              HttpMethod.PUT, requestEntity, Void.class);                            // (E)
       }else {
           throw new IllegalStateException("No ResponseURL to send.");
       }
    }

    protected static URI getUri(String responseURL){                                 // (F)

        String url = responseURL.split("\\?")[0];
        MultiValueMap params = new LinkedMultiValueMap<>();

        try {
            String[] urlParams = responseURL.split("\\?")[1].split("&");
            for(String param : urlParams){
                String key = param.split("=")[0];
                String value = URLDecoder.decode(param.split("=")[1], StandardCharsets.UTF_8.toString());
                params.put(key, Collections.singletonList(URLEncoder.encode(value, "UTF-8")));
            }
        }catch (UnsupportedEncodingException e){
            e.printStackTrace();
        }

        return UriComponentsBuilder.fromHttpUrl(url)
          .queryParams(params)
          .build(true)
          .toUri();
    }
}

実装のポイントは以下の通りです。

なお、使用する通信ライブラリによっては、既にURLエンコードされた文字列を2重にエンコードして無効なリクエストにしてしまう場合があるため、ライブラリの仕様に注意して実装する必要があります。

また、Handlerから呼び出されるFunctionクラスの実装は以下の通りです。JdbcTemplateを使ってDDLをRDSに対して実行します。パスワードなどの秘匿データはSystemsManager ParameterStoreから取得する実装にしています。

package org.debugroom.mynavi.sample.sonarqube.initdb.app.function;

import com.amazonaws.services.simplesystemsmanagement.AWSSimpleSystemsManagement;
import com.amazonaws.services.simplesystemsmanagement.model.GetParameterRequest;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import reactor.core.publisher.Flux;

import java.util.Map;
import java.util.function.Function;

@Slf4j
public class InitDBFunction implements Function <Map <String, Object>, Flux<String>> {

    @Autowired
    private JdbcTemplate jdbcTemplate;

    @Autowired
    AWSSimpleSystemsManagement awsSimpleSystemsManagement;

    @Override
    public Flux<String> apply(Map<String, Object> stringObjectMap) {
        GetParameterRequest request = new GetParameterRequest();
        request.setName("mynavi-sonarqube-rds-sonar-password");
        request.setWithDecryption(true);
        jdbcTemplate.execute("CREATE ROLE sonar WITH LOGIN PASSWORD '"
          + awsSimpleSystemsManagement.getParameter(request).getParameter().getValue()
          + "';");
        return Flux.just("Complete!");
    }
}

第1回のやり方と同じく、実装したソースコードをLambdaファンクションとしてビルドして、前回作成したS3バケットにアップロードするシェルスクリプトを作成して実行します。

#!/usr/bin/env bash

bucket_name=debugroom-mynavi-sonarqube-cfn-lambda-bucket
stack_name="mynavi-sonarqube-s3-lambda"
template_path="rds/1-s3-lambda-deploy-cfn.yml"
s3_objectkey="mynavi-sample-sonarqube-initdb-0.0.1-SNAPSHOT-aws.jar"

if [ "" == "`aws s3 ls | grep $bucket_name`" ]; then
    aws cloudformation deploy --stack-name ${stack_name} --template-file ${template_path} --capabilities CAPABILITY_IAM
fi

cd rds/lambda-sonarqube-dbinit
./mvnw package
aws s3 cp target/${s3_objectkey} s3://${bucket_name}/

今回は、RDSへの初期化処理を行うLambdaファンクションを実装してS3へアップロードしました。次回は、Lambdaデプロイやカスタムリソースを実行するCloudFormationテンプレートを実装します。