Merge pull request #342 from AlisProject/develop

Update 0.41.0

Author: keillera

.circleci/config.yml

@@ -1,13 +1,105 @@
-version: 2
+version: 2.1
 
 references:
-    setup_remote_docker: &setup_remote_docker
-      setup_remote_docker:
-        version: 17.11.0-ce
+  setup_remote_docker: &setup_remote_docker
+    setup_remote_docker:
+      version: 17.11.0-ce
+  ignore_master: &ignore_master
+    filters:
+      branches:
+        ignore:
+          - master
+  only_master: &only_master
+    filters:
+      branches:
+        only:
+          - master
+  deploy_requirements: &deploy_requires
+    requires:
+      - lint
+      - test
+      - packaging
+
+orbs:
+  aws-cli: circleci/[email protected]
+  slack: circleci/[email protected]
+
+executors:
+  python3_6_1:
+    working_directory: ~/repo
+    docker:
+      - image: circleci/python:3.6.1
+
+commands:
+  prepare-python-resources:
+    description: 'Pythonのリソースを準備'
+    parameters:
+      resource:
+        type: string
+        default: 'requirements.txt'
+    steps:
+      - checkout
+
+      - <<: *setup_remote_docker
+
+      - restore_cache:
+          keys:
+            - v3-dependencies-{{ checksum "<< parameters.resource >>" }}
+            - v3-dependencies-
+
+      - run:
+          name: install dependencies
+          command: |
+            python3 -m venv venv
+            . venv/bin/activate
+            pip install -r << parameters.resource >>
+
+      - save_cache:
+          paths:
+            - ./venv
+          key: v3-dependencies-{{ checksum "<< parameters.resource >>" }}
+
+  deploy-resources:
+    description: 'リソースのデプロイの共通処理'
+    parameters:
+      target:
+        type: string
+    steps:
+      - prepare-python-resources
+
+      - attach_workspace:
+          at: .
+
+      - deploy:
+          name: Deployment
+          command: |
+            if [ $ALIS_APP_ID ]; then
+              . venv/bin/activate
+              ./deploy.sh << parameters.target >>
+            fi
 
 jobs:
-  build:
+  lint:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - prepare-python-resources:
+          resource: 'requirements_test.txt'
+
+      - run:
+          name: checkstyle
+          command: |
+            . venv/bin/activate
+            pycodestyle src tests ./*.py
+
+      - run:
+          name: pyflakes
+          command: |
+            . venv/bin/activate
+            pyflakes src tests ./*.py
 
+  test:
     docker:
       - image: circleci/python:3.6.1
       - image: bluszcz/bflocalstack-dynamodb-s3
@@ -23,12 +115,13 @@ jobs:
 
     steps:
       - checkout
+
       - <<: *setup_remote_docker
-      # Download and cache dependencies
+
       - restore_cache:
           keys:
-          - v3-dependencies-{{ checksum "requirements.txt" }}
-          - v3-dependencies-
+            - v3-dependencies-{{ checksum "requirements.txt" }}-{{ checksum "requirements_test.txt" }}
+            - v3-dependencies-
 
       - run:
           name: install dependencies
@@ -41,46 +134,170 @@ jobs:
       - save_cache:
           paths:
             - ./venv
-          key: v3-dependencies-{{ checksum "requirements.txt" }}
+          key: v3-dependencies-{{ checksum "requirements.txt" }}-{{ checksum "requirements_test.txt" }}
 
       - run:
-          name: run checkstyle for python code
+          name: run tests
           command: |
             . venv/bin/activate
-            pycodestyle src tests ./*.py
+            python exec_test.py
 
-      - run:
-          name: run pyflakes for python code
-          command: |
-            . venv/bin/activate
-            pyflakes src tests ./*.py
+  packaging:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - prepare-python-resources
 
       - run:
-          name: run tests
+          name: make deploy package
           command: |
             . venv/bin/activate
-            # 全テスト実行
-            python exec_test.py
+            ./packaging.sh
+
+      - persist_to_workspace:
+          root: .
+          paths:
+            - deploy/*
+
+  deploy-function:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - deploy-resources:
+          target: 'function'
+
+  deploy-function02:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - deploy-resources:
+          target: 'function02'
+
+  deploy-api:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - deploy-resources:
+          target: 'api'
+
+  deploy-permission:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - deploy-resources:
+          target: 'permission'
+
+  labo:
+    docker:
+      - image: circleci/node:12.4.0
+
+    working_directory: ~/repo
+
+    steps:
+      - checkout
+
+      - attach_workspace:
+          at: .
+
+      - restore_cache:
+          keys:
+            - v1-npm-dependencies-{{ checksum "package-lock.json" }}
+            - v1-npm-dependencies-
+
       - run:
-          name: make deploy package
+          command: npm i
+
+      - save_cache:
+          paths:
+            - ./node_modules
+          key: v1-npm-dependencies-{{ checksum "package-lock.json" }}
+
+      - deploy:
+          name: Deployment
           command: |
             if [ $ALIS_APP_ID ]; then
-              docker image build --tag deploy-image .
-              docker container run -it --name deploy-container deploy-image
-              docker container cp deploy-container:/workdir/vendor-package .
-              . venv/bin/activate
-              python make_deploy_zip.py
+              npm run deploy
             fi
 
-      - run:
-          name: run deploy
+  notify-to-slack-for-approval:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - slack/approval:
+          message: "本番環境へのデプロイを承認してください"
+          color: "#F5E911"
+
+  bulk-deployment-to-production:
+    executor:
+      name: python3_6_1
+
+    steps:
+      - prepare-python-resources
+
+      - attach_workspace:
+          at: .
+
+      - aws-cli/install
+
+      - aws-cli/configure
+
+      - deploy:
+          name: Bulk deployment
           command: |
-            if [ $ALIS_APP_ID ]; then
-              . venv/bin/activate
-              ./deploy_api.sh
-              ./fix_api.sh
-            fi
+            . venv/bin/activate
+            ./deploy_api.sh
+            ./fix_api.sh
+
+
+workflows:
+  # CloudFormationスタックの依存関係に即したワークフロー
+  build-deploy:
+    jobs:
+      - lint
+      - test
+      - packaging
+      - labo:
+          <<: *ignore_master
+          <<: *deploy_requires
+      - deploy-function:
+          <<: *ignore_master
+          <<: *deploy_requires
+      - deploy-function02:
+          <<: *ignore_master
+          <<: *deploy_requires
+      - deploy-api:
+          <<: *ignore_master
+          requires:
+            - deploy-function
+            - deploy-function02
+      - deploy-permission:
+          <<: *ignore_master
+          requires:
+            - deploy-api
+
+      # 以下は本番環境へのデプロイ時のみ実行される
+      - notify-to-slack-for-approval:
+          <<: *deploy_requires
+          <<: *only_master
+          context: slack_notification
+      - approval:
+          <<: *deploy_requires
+          <<: *only_master
+          type: approval
+      - bulk-deployment-to-production:
+          <<: *only_master
+          context: serverless_production
+          requires:
+            - approval
+      - labo:
+          <<: *only_master
+          context: serverless_production
+          requires:
+            - approval
 
-      - store_artifacts:
-          path: test-reports
-          destination: test-reports

.github/pull_request_template.md

@@ -15,6 +15,7 @@
   * [ ] Slackでエンジニア全員へこのPRの内容を共有
   * [ ] 必要であれば`.envrc.sample` へ環境変数名とその用途の詳細な説明を追加
   * [ ] 必要であればmasterへマージされた時に走るCI環境への追加
+    * [ ] 必要であればCircleCI Contextsにも追加
 
 ## 関連URL
 
@@ -47,7 +48,10 @@
 
 * DBのスキーマに変更があるか
   - [ ] 変更がある場合は[ドキュメント](https://alismedia.atlassian.net/wiki/spaces/DEV/pages/9273460)に反映
-* 変更されるクエリ (変更前、変更後)
+* 変更されるクエリはあるか
+  - あるならどのような変更か
+    - 変更前: 
+    - 変更後: 
 * 新規に追加されるクエリ
 * 観点:
     * index周りの指定は適切か
@@ -59,14 +63,38 @@
 * ブロックチェーンを参照するか
 * ブロックチェーンへのトランザクションが発生するか
 
+## トークンの扱いに関する修正か
+
+- Yes
+  - 投げ銭におけるワンタイムトークンなど、フロントエンドに対してフェイルセーフな設計となっているか
+- No
+
+## CDN(Cloudfront)への修正があるか
+
+- 無い
+- ある
+  - あるとしたらその修正内容を[Confluence](https://alismedia.atlassian.net/wiki/x/hICM)にまとめたか
+
+## ElasticSearchへの修正があるか
+
+- 無い
+- ある
+  - あるとしたらその修正内容はコード化したか
+
+## CloudFormationスタック間の依存関係に変更はあるか
+
+- 無い
+- ある
+  - あるとしたらその修正をCIへ反映したか
+
 ## 個人情報の取り扱いに変更のあるリリースか
 
 * メールアドレスや住所情報等、個人情報にあたるものは細心の注意が必要
 
 ## ロギング
 
-* ロギングは考慮されているか
-* ログをはくとしたらいつ、どこで、どこに、どのようなログが吐かれるか
+* CloudWatch等、AWS標準以外のログを考慮する必要があるか
+  * あるとしたらいつ、どこで、なぜ、どこに、どのようなログが吐かれるか
 
 ### アラーム
 * アラームが必要か

.gitignore

@@ -28,3 +28,5 @@ README.txt
 
 # etc
 node_modules
+.serverless
+*.log

.node-version

@@ -0,0 +1 @@
+v12.4.0