Backend Serviceアプリケーションにおけるスタック情報の取得／設定

本連載では、以下のイメージの構成にあるAWSリソース基盤自動化環境の構築を実践しています。

前回は、テンプレートの親となるネストテンプレートを作成し、複数のテンプレートに定義したリソースを一括構築しました。続く今回は、作成したスタックの情報をSpring Cloud AWSを用いてアプリケーションから参照する実装を紹介します。

なお、実際のソースコードはGitHub上にコミットしています。以降のソースコードでは本質的でない記述を一部省略しているので、実行コードを作成する場合は、必要に応じて適宜GitHub上のソースコードも参照してください。

Spring Cloud AWSのCloudFormationサポート

連載「AWSで作るクラウドネイティブアプリケーションの基本」の第12回で、Spring Cloud AWSがCloudFormationで定義した論理名を基に、リソース情報へアクセスする機能をサポートしていることを紹介しました。 また、これまでの連載のなかで実装してきたアプリケーションでは、以下のようにAWSリソースを利用しています。

• ALBを経由したバックエンドサービスの呼び出し(ALBのDNSをRestTemplateに指定)
• エンドポイントを指定したRDSアクセス
• サービスエンドポイントを指定したDynamoDBアクセス
• エンドポイントを指定したElastiCacheアクセス
• S3バケットへのアクセス
• サービスエンドポイントを指定したSQSへのキュー送信、ポーリングによる取得

アプリケーションでは、これまで設定ファイル、もしくは環境変数への指定でリソースアクセスに必要な設定を行ってきましたが、今回はSpring Cloud AWSのCloudFormationサポート機能を使って、必要な設定を行ってみましょう。 必要に応じて、Spring Cloud AWSの公式リファレンスも参照してください。

設定の変更

これまでの連載ではSpring Cloud AWSを使用する場合、以下のようにスタックの自動検出を全てOFFにした状態で解説を進めてきました(application.ymlで「stack.aws.stack.auto」を「false」に設定)。

cloud:
  aws:
    stack:
      auto: false

この状態では、スタック情報から自動的にデータ取得する設定がOFFになります。今回からの解説では、こちらの設定を有効化した状態での設定方法の解説を進めていきます。

また、Spring Cloud AWSからアクセスするCloudFormationスタック、およびリソースは前回複数のリソースを一括定義した親テンプレートのNestedStackを指定して取得します。なお、各ライブラリの動作環境は以下のバージョンで実施しています。

アプリケーションはFrontendサブネットに配置するECSコンテナ上のWebアプリケーションと、Backendサブネットに配置するECSコンテナ上のサービスアプリケーションの２種類があります。それぞれアプリケーションから参照するAWSリソースは以下の通りです。

ただし、開発環境ではローカル端末内に2つのアプリケーションを起動するため、ALBの参照は行わないものとします。

それでは、まず最初にBackend Serviceから、Spring Cloud AWSを使って CloudFormationのスタックから情報を取得する設定を実装してみましょう。

Backend ServiceにおけるCloudFormationスタック情報を利用した設定

まず、Mavenプロジェクトのpom.xmlで、spring-boot-starter-web、spring-boot-starter-data-jpa、spring-cloud-starter-awsのライブラリを定義します。 また、RDSへアクセスするためにはspring-cloud-starter-aws-jdbcを、DynamoDBへのアクセスにはspring-data-dynamodb、SQSのアクセスにはspring-cloud-starter-aws-messagingを合わせて追加する必要があります。 なお、PostgreSQLのドライバや、エンティティクラスの実装を簡易化するために、Lombokライブラリを追加しておきましょう。

<dependencies>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
  </dependency>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
  </dependency>
  <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-aws</artifactId>
  </dependency>
  <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-aws-jdbc</artifactId>
  </dependency>
  <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-aws-messaging</artifactId>
  </dependency>
  <dependency>
    <groupId>io.github.boostchicken</groupId>
    <artifactId>spring-data-dynamodb</artifactId>
    <version>5.2.1</version>
  </dependency>
  <dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <scope>runtime</scope>
  </dependency>
  <dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
  </dependency>

</dependencies>

Backend Serviceアプリケーションでは、以下のような設定クラスの構成で実装します^※。以前の連載で実装した内容から差分があるものを中心に解説します。

※　アプリケーションでは実際にRDSやDynamoDBへアクセスする実装、SQSへポーリングするリスナー実装クラスなどもありますが、連載「AWSで作るクラウドネイティブアプリケーションの基本」の13 、 32回 で説明した実装にしているのでここでは詳しい解説は行いません。

RDSにおける設定は、org.springframework.cloud.aws.jdbc.config.annotation.EnableRdsInstanceアノテーション内にスタックで設定したIdentifierやパスワードを指定することで、 SpringCloudAWSがエンドポイントやDBユーザーを自動設定します。ただし、パスワードはアプリケーションコンテナ実行時にSystemsManager経由で取得した秘匿データを環境変数経由で設定するかたちで行います。 また、DynamoDBはサービスエンドポイントとリージョンの情報を環境に応じてamazonDynamoDBClientBuilderに設定し、SQSにおいては、SpringCloudAWSがCloudFormationのスタック情報から取得するようになります。

目指す実装のあり方としては、環境ごとにプロファイルを切り替えるだけで、各環境ごとにアプリケーションが同じように動くようにすることです。それでは順次アプリケーションの設定実装を見ていきましょう。

最初に、DynamoDBの設定クラスであるDynamoDBConfigですが、以下の通り、環境に依存しない@EnableDynamoDBRepositoriesアノテーションの設定のみを行います。

package org.debugroom.mynavi.sample.cloudformation.backend.config;

import org.socialsignin.spring.data.dynamodb.repository.config.EnableDynamoDBRepositories;

import org.springframework.context.annotation.Configuration;

@Configuration
@EnableDynamoDBRepositories(
   basePackages = "org.debugroom.mynavi.sample.cloudformation.backend.domain.repository.dynamodb"
)
public class DynamoDBConfig {
}

なお、以前の連載で紹介した実装では、クライアントとなるcom.amazonaws.services.dynamodbv2.AmazonDynamoDBのBean定義も合わせてこのクラス内で行っていました。必要なDynamoDBのサービスエンドポイントやリージョンを環境変数のかたちで取得しており、環境ごとに設定内容に違いがなかったためです。 今回は環境変数を用いず、CloudFormationのスタック情報経由で取得するため、DevConfigクラス内に定義します（説明は後述します）。

続いて、SQSConfigですが、SQSポーリングを行う場合では、リスナークラスが存在するパッケージをコンポーネントスキャンする定義を追加する設定を実装します。

package org.debugroom.mynavi.sample.cloudformation.backend.config;

import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;

@Configuration
@ComponentScan("org.debugroom.mynavi.sample.cloudformation.backend.app.listener")
public class SQSConfig {
}

こちらも同じく、以前の連載の実装では、SQSのクライアントとなるQueueのエンドポイントとリージョンの設定をこのクラス内で行っていましたが、 環境変数を用いず、CloudFormationのスタック情報経由で取得します。

そして、開発環境向けの設定を行うDevConfigクラスを実装します。ここでは、CloudFormationで構築したスタックの情報を取得し、開発環境固有となる設定を行います。今回実装したサンプルは以下の通りです。

package org.debugroom.mynavi.sample.cloudformation.backend.config;

// omit

import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.cloudformation.AmazonCloudFormationClient;
import com.amazonaws.services.cloudformation.model.Export;
import com.amazonaws.services.cloudformation.model.ListExportsRequest;
import com.amazonaws.services.cloudformation.model.ListExportsResult;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClientBuilder;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapperConfig;

import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.aws.context.config.annotation.EnableStackConfiguration;
import org.springframework.cloud.aws.core.env.ResourceIdResolver;
import org.springframework.cloud.aws.jdbc.config.annotation.EnableRdsInstance;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;

@Profile("dev")                                                                         // ...(A)
@EnableStackConfiguration(stackName = "mynavi-sample-infra-dev")                        // ...(B)
@EnableRdsInstance(
    dbInstanceIdentifier = "mynavi-sample-cloudformation-dev-postgresql",
    password = "${rds.password}",
    readReplicaSupport = false)                                                         // ...(C)
@Configuration
public class DevConfig implements InitializingBean {                                    // ...(D)

    @Autowired
    AmazonCloudFormationClient amazonCloudFormationClient;                              // ...(E)

    @Autowired(required = false)
    ResourceIdResolver resourceIdResolver;                                              // ...(F)

    @Bean
    public DynamoDBMapperConfig dynamoDBMapperConfig(){                                 // ...(G)
       return DynamoDBMapperConfig.builder()
          .withTableNameOverride(
                  DynamoDBMapperConfig.TableNameOverride
                          .withTableNamePrefix("dev_"))
          .build();
   }

   @Bean
   public AmazonDynamoDB amazonDynamoDB(){
       ListExportsResult listExportsResult = amazonCloudFormationClient
          .listExports(new ListExportsRequest());                                       // ...(H)
       List exportList = listExportsResult.getExports();
       List dynamoDBStackExportList = exportList.stream()
          .filter(export -> export.getExportingStackId().equals(
                  resourceIdResolver.resolveToPhysicalResourceId("DynamoDBDevStack")))  // ...(I)
          .collect(Collectors.toList());
       Export dynamoDBServiceEndpointExport = dynamoDBStackExportList.stream()
          .filter(export -> export.getName().equals("MynaviSampleDynamoDB-Dev-ServiceEndpoint"))
          .findFirst().get();                                                           // ...(J)
       Export environmentRegionExport = dynamoDBStackExportList.stream()
          .filter(export -> export.getName().equals("MynaviSampleDynamoDB-Dev-Region"))
          .findFirst().get();                                                           // ...(K)
       return AmazonDynamoDBClientBuilder.standard()
          .withEndpointConfiguration(
              new AwsClientBuilder.EndpointConfiguration(
                  dynamoDBServiceEndpointExport.getValue(), environmentRegionExport.getValue()))
          .build();                                                                     // ...(L)
    }
    // omit
}

DevConfig設定クラスの実装のポイントは下表の通りです。

スタックのエクスポートで定義する名前は、CloudFormationで定義している全てのスタックで一意になるよう設定しなければならないため、上記のIの処理は必ずしも必要ではありません。 ただし、エクスポートリストは数が多くなりがちのため、ResourceIdResolverをうまく活用し、Bで指定したリソースの物理IDから直接サービスクライアントで情報を取得する方法が検索効率が高い場合もあります。

続いて、ステージング(プロダクションも同等)環境固有の設定を行うStagingConfigの実装サンプルは以下の通りです。 可読性が向上するよう、CloudFormationから情報を取得する共通のユーティリティクラス(CloudFormationStackInfo)を作成するものとします。

package org.debugroom.mynavi.sample.cloudformation.backend.config;

import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClientBuilder;
import com.amazonaws.services.dynamodbv2.datamodeling.DynamoDBMapperConfig;

import org.springframework.cloud.aws.context.config.annotation.EnableStackConfiguration;
import org.springframework.cloud.aws.jdbc.config.annotation.EnableRdsInstance;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;

import org.debugroom.mynavi.sample.cloudformation.common.apinfra.cloud.aws.CloudFormationStackInfo;

@Profile("staging")                                                                         // ...(A)
@EnableStackConfiguration(stackName = "mynavi-sample-infra-staging")                        // ...(B)
@EnableRdsInstance(
     dbInstanceIdentifier = "mynavi-sample-cloudformation-staging-postgresql",              // ...(C)
     password = "${rds.password}",
     readReplicaSupport = false)
@Configuration
public class StagingConfig {

    private static final String DYNAMODB_STACK_NAME = "DynamoDBStagingStack";               // ...(D)
    private static final String DYNAMODB_ENDPOINT_EXPORT = "MynaviSampleDynamoDB-Staging-ServiceEndpoint";
    private static final String DYNAMODB_REGION_EXPORT = "MynaviSampleDynamoDB-Staging-Region";

    @Bean
    CloudFormationStackInfo cloudFormationStackInfo(){                                      // ...(E)
        return new CloudFormationStackInfo();
    }

    @Bean
    public DynamoDBMapperConfig dynamoDBMapperConfig() {                                    // ...(F)
        return DynamoDBMapperConfig.builder()
             .withTableNameOverride(
                     DynamoDBMapperConfig.TableNameOverride
                             .withTableNamePrefix("staging_"))
             .build();
    }

    @Bean
    public AmazonDynamoDB amazonDynamoDB() {                                                // ...(G)
        return AmazonDynamoDBClientBuilder.standard()
             .withEndpointConfiguration(
                     new AwsClientBuilder.EndpointConfiguration(
                             cloudFormationStackInfo().getExportValue(
                                     DYNAMODB_STACK_NAME, DYNAMODB_ENDPOINT_EXPORT),
                             cloudFormationStackInfo().getExportValue(
                                     DYNAMODB_STACK_NAME, DYNAMODB_REGION_EXPORT)))
             .build();
    }

}

StagingConfig設定クラスの実装のポイントは下表の通りです。

AmazonCloudFormationClientでスタック情報を取得する処理を共通化したユーティリティクラスの実装ですが、基本的にはスタックの論理名、およびエクスポート名から出力値を取得するものになります。サンプルは以下の通りです。

package org.debugroom.mynavi.sample.cloudformation.common.apinfra.cloud.aws;

// omit
import com.amazonaws.services.cloudformation.AmazonCloudFormationClient;
import com.amazonaws.services.cloudformation.model.Export;
import com.amazonaws.services.cloudformation.model.ListExportsRequest;
import com.amazonaws.services.cloudformation.model.ListExportsResult;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.cloud.aws.core.env.ResourceIdResolver;
import org.springframework.stereotype.Component;

@Component
public class CloudFormationStackInfo implements InitializingBean {

    @Autowired
    AmazonCloudFormationClient amazonCloudFormationClient;

    @Autowired(required = false)
    ResourceIdResolver resourceIdResolver;

    private List exportList;

    public String getExportValue(String logicalStackName, String exportName){
        Optional targetExport = exportList.stream()
          .filter(export -> export.getExportingStackId().equals(
                  resourceIdResolver.resolveToPhysicalResourceId(logicalStackName)))
          .filter(export -> export.getName().equals(exportName))
          .findFirst();
        return targetExport.isPresent() ? targetExport.get().getValue() : null;
    }

    @Override
    public void afterPropertiesSet() throws Exception {
        ListExportsResult listExportsResult = amazonCloudFormationClient
          .listExports(new ListExportsRequest());
        this.exportList = listExportsResult.getExports();
    }

}

Backend ServiceアプリケーションではSQSキューのポーリング取得を実装していますが、SQSに関する設定は前述の通り、リスナークラスのコンポーネントスキャンしか実施していません。 というのも、Spring Cloud AWSでSQSキューを取得するための指定は以下の通り@SqsListenerアノテーションで指定したValue属性を使う方法がありますが、Configクラスの@EnableStackConfigurationでスタックを指定することにより、 スタックの論理名からキューの物理ID(ARN)を取得する実装になっているためです。開発環境、ステージング環境、商用環境のスタック名を切り替えることで、特に設定値を気にせず共通のアプリケーションコードでキューを取得できます。

package org.debugroom.mynavi.sample.cloudformation.backend.app.listener;

// omit
import org.springframework.cloud.aws.messaging.config.annotation.EnableSqs;
import org.springframework.cloud.aws.messaging.listener.SqsMessageDeletionPolicy;
import org.springframework.cloud.aws.messaging.listener.annotation.SqsListener;
import org.springframework.stereotype.Component;

import lombok.extern.slf4j.Slf4j;

@Component
@EnableSqs
@Slf4j
public class MessageListener {

    @Autowired
    SampleService sampleService;

    @SqsListener(value = "SQSSampleQueue", deletionPolicy = SqsMessageDeletionPolicy.ON_SUCCESS)
    public void onMessage(String message){
        log.info(message);
        sampleService.addSample(message);
    }

}

以上、今回はBackend ServiceアプリケーションでCloudFormationのスタック情報を用いて、RDSやDynamoDB、SQSキュー取得の設定情報を取得する実装方法を紹介しました。 次回はElastiCacheや、S3、SQSキュー送信の設定情報を取得するFrontendアプリケーションの解説を進めていきます。