Canary (#103)

* chore(deps): update dependency codeceptjs-resemblehelper to v1.9.5

* chore(deps): lock file maintenance

* chore(deps): update dependency comment-json to v4.2.2

* chore(deps): update dependency esbuild to ^0.14.0

* chore(deps): update dependency axios to ^0.26.0

* chore(deps): update dependency webdriver-image-comparison to ^0.20.0

* Update version in testcafe

* Codecept: add smartWait and waitForTimeout

* feat: Добавлена возможность игнорировать стенды Kuberta стенды в периодических запусках

* fix: Исправлено имя GitHub Workflow для периодических запусков

* fix: Исправил опечатку в документации

* Enable allure report by default

* Allow to run tests on local selenium, remove playwright & testcafe

* Script for windows to install local selenium

* Script for mac to install local selenium

* Change firefox capabilities for local selenium

* Auto install & start local selenium

* fix os import

* add wget installation on mac

* add retryTo plugin (#100)

* fix: Добавил установку ExecutionPolicy при запуске Selenium под Windows

* Run prettier

* Define codecept plugins in e2e-tools.json (#101)

* Fixed template for broken update-e2e GA (#102)

* feat: Добавлена возможность передавать переменные окружения через секреты GitHub

* Update nightwatch

* Revert "Update nightwatch"

This reverts commit 7bcf049.

* feat: Добавлена возможность запускать все тесты в текущей папке через VSCode

* fix: Пропуск хука AfterSuite, если в Feature пропущены все Scenario

Co-authored-by: Renovate Bot <[email protected]>
Co-authored-by: Tatyana Tsvetkova <[email protected]>
Co-authored-by: Vadim Aleksandrov <[email protected]>
Co-authored-by: Aleksandr Krutikov <[email protected]>
Co-authored-by: Aleksandr Krutikov <[email protected]>
Co-authored-by: Pavel Sidorov <[email protected]>
Co-authored-by: Ilia Akimov <[email protected]>

Author: 7 people

.gitattributes

@@ -0,0 +1 @@
+* text=auto eol=lf

.gitignore

@@ -1,3 +1,4 @@
 node_modules/
 *.log
 !templates/**/.vscode/
+modules/codecept-playground

docs/CONFIGURATION.md

@@ -71,3 +71,44 @@ Id браузера можно задать в файле `e2e-tools.json`:
 ## Настройка для стендов с базовой авторизацией
 
 В .env необходмо указать ссылку на стенд вместе с кредами `LAUNCH_URL=https://login:[email protected]/`
+
+# Codecept: настройка плагинов
+
+Плагины, включенные по умолчанию:
+
+- `pauseOnFail`
+- `retryFailedStep`
+- `tryTo`
+- `retryTo`
+- `screenshotOnFail`
+- `allure`
+
+Формат конфигурации:
+
+```json
+"@csssr/e2e-tools-codecept": {
+  "plugins": {
+    "pluginName": {...pluginOptions}
+  }
+}
+```
+
+Пример конфигурации:
+
+```json
+"@csssr/e2e-tools-codecept": {
+  "plugins": {
+    "retryTo": {
+      "enabled": true,
+    },
+    "screenshotOnFail": {
+      "enabled": false,
+    },
+    "allure": {
+      "enabled": true,
+      "outputDir": "./codecept/report/allure-reports",
+      "enableScreenshotDiffPlugin": true,
+    },
+  },
+}
+```

docs/GA_CONFIGS.md

@@ -97,6 +97,19 @@
 "urls": ["{{url}}"],
 ```
 
+Если указан параметр {{url}}, то можно также игнорировать отдельные URL.
+
+```json
+"ignoreUrls": ["cms"],
+```
+
+В таком случае, если в процессе деплоя создаётся два стенда:
+
+- `https://test-branch.test.cluster`: основной стенд проекта для ветки `test-branch`
+- `https://test-branch-cms.test.cluster`: стенд с CMS для ветки `test-branch`
+
+То e2e тесты не будут запускаться для стенда с CMS
+
 ### Запуск при успешном деплое через GA
 
 Только для деплоев при помощи GitHub Actions
@@ -147,6 +160,114 @@
 
 Тесты не запускаются параллельно — если на момент запуска тестов другой запуск ещё идёт, то запуск попадёт в очередь и будет выполнен, когда первый запуск закончится
 
+### Передача переменных окружения через GitHub Secret
+
+#### GitHub Action для ручного запуска тестов
+
+Переменные окружения, доступные во время запуска тестов задаются в блоке `env` в файле `e2e-tools.json`
+
+```json
+  "env": {
+    "API_URL": {
+      "type": "string",
+      "default": "https://api.project.csssr.cloud/",
+      "description": "Адрес API, к которому обращается стенд"
+    },
+    "AUTH_LOGIN": {
+      "type": "string",
+      "default": "user.autotest",
+      "description": "Логин пользователя для обращения напрямую к API"
+    },
+    "AUTH_PASSWORD": {
+      "type": "string",
+      "default": "123456",
+      "description": "Пароль пользователя для обращения напрямую к API"
+    }
+  }
+```
+
+Если для переменной окружения `type` задан как `string` или `boolean`, в созданном GitHub Action переменные окружения задаются через `inputs`
+
+```yaml
+name: Run CodeceptJS e2e tests
+concurrency: e2e-tests
+on:
+  workflow_dispatch:
+    inputs:
+      launchUrl:
+        description: Базовый URL сайта
+        default: 'https://master.project.csssr.cloud/'
+        required: true
+      browserName:
+        description: Название браузера как в e2e-tools.json
+        default: remote_chrome
+        required: true
+      ALLURE_JOB_RUN_ID:
+        description: Inner parameter for Allure TestOps
+        required: false
+      API_URL:
+        description: 'Адрес API, к которму обращается стенд'
+        default: 'https://master.api.mpss.csssr.cloud/'
+        required: true
+      AUTH_LOGIN:
+        description: Логин пользователя для обращения напрямую к API
+        default: user.autotest
+        required: true
+      AUTH_PASSWORD:
+        description: Пароль пользователя для обращения напрямую к API
+        default: '123456'
+        required: true
+```
+
+К сожалению GitHub ограничивает максимальное количество параметров, передаваемых через `inputs`. Можно передать не более 10 параметров.
+
+Для обхода этого ограничения можно использовать передачу переменных окружения через GitHub Secrets
+
+В настройках GitHub репозитория необходимо создать секрет, имя которого соответствуют имени переменной окружения
+![GitHub Secret](https://s.csssr.com/U019SC8BZAB/2022-08-12-12-34-40-UfpavObozgpu.jpg)
+
+![GitHub Secret](https://s.csssr.com/U019SC8BZAB/2022-08-12-12-36-12-IEjrsW3Cakw9.jpg)
+
+И изменить `type` переменной на `github`
+
+```json
+  "env": {
+    "API_URL": {
+      "type": "string",
+      "default": "https://api.project.csssr.cloud/",
+      "description": "Адрес API, к которому обращается стенд"
+    },
+    "AUTH_LOGIN": {
+      "type": "github",
+      "default": "user.autotest",
+      "description": "Логин пользователя для обращения напрямую к API"
+    },
+    "AUTH_PASSWORD": {
+      "type": "github",
+      "default": "123456",
+      "description": "Пароль пользователя для обращения напрямую к API"
+    }
+  }
+```
+
+После этого необходимо пересоздать файлы GitHub Actions.
+Теперь переменные окружения в GitHub Actions будут передаваться не через `inputs`, а через секреты GitHub репозитория.
+
+Если секрет в репозитории не задан, то для переменной окружения будет использоваться значение параметра `default`
+
+```yaml
+- run: 'yarn et codecept:run --browser ${{ github.event.inputs.browserName }}'
+  working-directory: e2e-tests
+  env:
+    API_URL: '${{ github.event.inputs.API_URL }}'
+    AUTH_LOGIN: "${{ secrets.AUTH_LOGIN || 'user.autotest' }}"
+    AUTH_PASSWORD: "${{ secrets.AUTH_PASSWORD || '123456' }}"
+```
+
+#### GitHub Action для регулярного запуска тестов
+
+Для случая с GitHub Action для регулярного запуска тестов, который создаётся командой `yarn et generate-periodic-runs`, использовать `inputs` нельзя. Все переменные окружения будут передаваться только через секреты репозитория GitHub вне зависимости от указанного `type` в `e2e-tools.json`
+
 > _Обратите внимание!_
 >
 > Если в файле e2e-tools.json тип браузера “selenium” ("type": "selenium",) [пример](https://github.com/CSSSR/csssr.com/blob/46f58b18d54b7bb7e3733b72b482a5b1c9f18f55/e2e-tests/e2e-tools.json#L26), необходимо исправить имена переменных
@@ -155,7 +276,7 @@
 >
 > ```json
 > "basicAuth": {
->            "credentialsId": "chromedriver",
+>           "credentialsId": "chromedriver",
 >           "username_env": "CHROMEDRIVER_USERNAME",
 >           "password_env": "CHROMEDRIVER_PASSWORD"
 >         },
@@ -166,6 +287,6 @@
 > ```json
 > "seleniumBasicAuth": {
 >           "username_env": "SELENIUM_USERNAME",
->             "password_env": "SELENIUM_PASSWORD"
+>           "password_env": "SELENIUM_PASSWORD"
 > },
 > ```

docs/LOCAL_SELENIUM.md

@@ -0,0 +1,48 @@
+# Настройка локального selenium для отладки тестов
+
+Установка selenium и драйверов для chrome и firefox автоматизирована для windows и macos.
+При первом запуске запросит задать переменную окружения LOCAL_SELENIUM_PATH. Нужно указать папку в которую будет устанавливаться selenium.
+Папка будет создана и в нее загрузятся все необходимые зависимости для запуска selenium.
+
+При последующих запусках тестов будет использоваться уже ранее запущенный selenium.
+
+Важно чтобы порт 4444 в системе был свободен, иначе selenium не сможет запуститься.
+
+## Правка e2e-tools.json
+
+Чтобы использовать локальный selenium нужно изменить `local_chrome` и `local_firefox` в e2e-tools.json:
+
+```json
+"local_chrome": {
+    "type": "selenium",
+    "url": "http://localhost",
+    "port": 4444,
+    "browser": "chrome",
+    "windowSize": "1920x1680",
+    "desiredCapabilities": {
+    "goog:chromeOptions": {
+        "args": [
+        "--no-sandbox",
+        "--disable-gpu",
+        "--window-size=1200,800"
+        ]
+    }
+    }
+},
+"local_firefox": {
+  "default": true,
+  "type": "selenium",
+  "url": "http://localhost",
+  "port": 4444,
+  "browser": "firefox",
+  "windowSize": "1920x1680",
+  "desiredCapabilities": {
+    "browserName": "firefox",
+    "moz:firefoxOptions": {
+      "args": [
+        "--window-size=1200,800"
+      ]
+    }
+  }
+},
+```

modules/codecept/config.js

@@ -9,25 +9,25 @@ function getLaunchUrl() {
 
 function getBasicAuthAuthorizationHeader(browserName, browserConfig) {
   const { url, seleniumBasicAuth: sba } = browserConfig
+  if (!sba) return
+
   const username = getSeleniumBasicAuthEnv(browserName, sba.username_env, `Login for ${url}`)
   const password = getSeleniumBasicAuthEnv(browserName, sba.password_env, `Password for ${url}`)
   return `Basic ${Buffer.from(`${username}:${password}`, 'utf-8').toString('base64')}`
 }
 
 function getBrowser(browserName, browserConfig) {
-  const { type, default: isDefault, remote, url, seleniumBasicAuth, ...settings } = browserConfig
+  const {
+    type,
+    default: isDefault,
+    remote,
+    url,
+    seleniumBasicAuth,
+    desiredCapabilities,
+    ...settings
+  } = browserConfig
 
   switch (type) {
-    case 'playwright': {
-      return {
-        Playwright: {
-          timeout: 10000,
-          url: getLaunchUrl(),
-          ...settings,
-        },
-      }
-    }
-
     case 'puppeteer': {
       return {
         Puppeteer: {
@@ -42,6 +42,17 @@ function getBrowser(browserName, browserConfig) {
         throw new Error(`Selenium url is not specified for browser ${browserName}`)
       }
 
+      if (
+        desiredCapabilities.browserName === 'firefox' &&
+        url === 'http://localhost' &&
+        process.platform === 'win32'
+      ) {
+        desiredCapabilities['moz:firefoxOptions'].binary = getEnvVariable(
+          'FIREFOX_BINARY',
+          'Path to firefox binary'
+        )
+      }
+
       const u = new URL(url)
       return {
         WebDriver: {
@@ -53,17 +64,9 @@ function getBrowser(browserName, browserConfig) {
             Authorization: getBasicAuthAuthorizationHeader(browserName, browserConfig),
           },
           uniqueScreenshotNames: true,
-          ...settings,
-        },
-        ...helpers,
-      }
-    }
-
-    case 'testcafe': {
-      return {
-        TestCafe: {
-          url: getLaunchUrl(),
-          waitForTimeout: 3000,
+          waitForTimeout: 15000,
+          smartWait: 5000,
+          desiredCapabilities,
           ...settings,
         },
         ...helpers,
@@ -75,7 +78,7 @@ function getBrowser(browserName, browserConfig) {
   }
 }
 
-const { browsers, helpers } = config.tools['@csssr/e2e-tools-codecept']
+const { browsers, helpers, plugins } = config.tools['@csssr/e2e-tools-codecept']
 
 function getBrowserName() {
   if (process.env.BROWSER) {
@@ -122,14 +125,18 @@ exports.config = {
     tryTo: {
       enabled: true,
     },
+    retryTo: {
+      enabled: true,
+    },
     screenshotOnFail: {
       enabled: true,
     },
     allure: {
-      enabled: !!process.env.ENABLE_ALLURE_REPORT,
+      enabled: true,
       outputDir: './codecept/report/allure-reports',
       enableScreenshotDiffPlugin: true,
     },
+    ...plugins,
   },
 
   include: {

modules/codecept/index.js

@@ -15,14 +15,33 @@ function createToolConfig() {
     browsers: {
       local_chrome: {
         default: true,
-        type: 'playwright',
-        show: true,
-        browser: 'chromium',
+        type: 'selenium',
+
+        url: 'http://localhost',
+        port: 4444,
+
+        browser: 'chrome',
+        windowSize: '1920x1680',
+        desiredCapabilities: {
+          'goog:chromeOptions': {
+            args: ['--no-sandbox', '--disable-gpu', '--window-size=1200,800'],
+          },
+        },
       },
       local_firefox: {
-        type: 'playwright',
+        type: 'selenium',
+
+        url: 'http://localhost',
+        port: 4444,
+
         browser: 'firefox',
-        show: true,
+        windowSize: '1920x1680',
+        desiredCapabilities: {
+          browserName: 'firefox',
+          'moz:firefoxOptions': {
+            args: ['--window-size=1200,800'],
+          },
+        },
       },
       remote_chrome: {
         remote: true,