Изменения из моей дипломной работы

.github/workflows/test_and_coverage.yml

@@ -0,0 +1,75 @@
+name: 'coverage'
+on:
+    push:
+        branches:
+            - master
+            - main
+    pull_request:
+        branches:
+            - master
+            - main
+jobs:
+    coverage:
+        runs-on: ubuntu-latest
+        steps:
+          - name: Get Cover 
+            uses: orgoro/[email protected]
+            with:
+                coverageFile: python-final-diplom/reference/netology_pd_diplom/.coverage.xml
+                token: ${{ secrets.GITHUB_TOKEN }}
+
+# name: 'Тестирование и покрытие кода'
+
+# on:
+#   push:
+#     branches:
+#       - master
+#       - main
+#   pull_request:
+
+# jobs:
+#   build:
+#     runs-on: ubuntu-latest
+
+#     steps:
+#       - name: Checkout repository
+#         uses: actions/checkout@v3
+
+#       - name: Setup Python 3.10
+#         uses: actions/setup-python@v3
+#         with:
+#           python-version: '3.10'
+
+#       - name: Install dependencies
+#         run: |
+#           python -m pip install --upgrade pip
+#           pip install -r requirements.txt
+#           pip install pytest pytest-cov coverage
+
+#       - name: Show project directory structure
+#         run: |
+#           echo "Current directory: $(pwd)"
+#           ls -la
+#           ls -la reference
+
+#       - name: Run tests with coverage
+#         run: |
+#           export DJANGO_SETTINGS_MODULE=reference.netology_pd_diplom.netology_pd_diplom.settings
+#           cd reference
+#           pytest --cov=netology_pd_diplom --cov-report=xml:coverage.xml tests/
+#         env:
+#           PYTHONPATH: ${{ github.workspace }}/reference
+#           DJANGO_SETTINGS_MODULE: reference.netology_pd_diplom.netology_pd_diplom.settings
+
+#       - name: Upload coverage to Codecov
+#         uses: codecov/codecov-action@v3
+#         with:
+#           token: ${{ secrets.CODECOV_TOKEN }}
+#           files: coverage.xml
+#           flags: unittests
+#           fail_ci_if_error: true
+
+
+
+
+

.gitignore

@@ -117,3 +117,6 @@ venv.bak/
 
 # mypy
 .mypy_cache/
+
+/Users/apple/Documents/Full-stack-Python-developer/my_diplom/redis-7.2.7
+reference/netology_pd_diplom/dump.rdb

README.md

@@ -230,3 +230,46 @@ _Важно: не нарушайте дедлайн сдачи, возника
 * выполненная базовая часть проекта,
 * наличие собственных комментариев к коду,
 * использование сторонних библиотек и фреймворков.
+
+## Дополнительное задание
+> Отказ от django signals, с дальнейшей интеграцией в проект фреймворка Celery для по-настоящему асинхронных задач
+Рекомендую начать с использования любой из нижеследующих инструкций.
+- https://realpython.com/asynchronous-tasks-with-django-and-celery/
+
+или
+- https://stackabuse.com/asynchronous-tasks-in-django-with-redis-and-celery/
+
+> Вижу вы покрыли код тестами, предлагаю добавить красивую кнопку с текущим покрытием у себя в Гитхабе
+https://github.com/marketplace/actions/python-coverage
+
+> Опробовать автогенерацию документации Open API в рамках пакета DRF-Spectacular. После внедрения обязательно внимательно просмотрите страницу Swagger. Тут сразу можно будет оценить для себя разницу с Postman и огромный потенциал для плодотворной работы в команде с несколькими разработчиками. P.S. Используйте чаще docstring к классам и функциям
+https://drf-spectacular.readthedocs.io/en/latest/readme.html
+
+> Попробовать простой DRF тротлинг, и можно проверить его работу добавление отдельного TestCase
+https://www.django-rest-framework.org/api-guide/throttling/
+
+> Добавить возможность авторизации с 1-2 социальных сетей, тут можно ознакомится с такой крутой библиотекой
+https://github.com/python-social-auth/social-app-django
+
+> Наверняка пользовались админкой в ходе создания проекта, предлагаю сделать ей мощный тюнинг через эти библиотеки на выбор:
+https://github.com/otto-torino/django-baton
+https://django-jet-reboot.readthedocs.io/en/latest/
+
+> После добавления Celery можно добавить загрузку аватаров пользователей и картинок товаров с последующей асинхронной обработкой их в фоновом режиме, например создание миниатюр различного размера для быстрой загрузки. Для этого есть множество библиотек на выбор:
+https://easy-thumbnails.readthedocs.io/en/latest/
+https://django-versatileimagefield.readthedocs.io/en/latest/
+https://django-imagekit.readthedocs.io/en/latest/
+
+> Очень часто в коммерческих проектах для перехвата ошибок, которые возникают у пользователей внедряют Sentry или Rollbar. Он позволяет быть в курсе насколько стабильно работает проект и к тому же хранит полные traceback ошибок, так чтобы можно было их исследовать. Будет большой плюс в резюме от наличия знаний по этой технологии. Попробуйте внедрить ее на базовом уровне и создать APIView, который вызывает исключение, что увидеть его в консоли Sentry или RollBar
+https://blog.sentry.io/monitoring-performance-and-errors-in-a-django-application-with-sentry/
+https://docs.sentry.io/platforms/python/integrations/django/
+RollBar
+https://docs.rollbar.com/docs/django
+https://docs.rollbar.com/docs/celery
+
+> внедрить кэширование запросов к БД с использованием Redis, посмотреть насколько уменьшится время отклика системы. Вот эти библиотеки на выбор могут помочь с кэшированием запросов к БД:
+https://github.com/noripyt/django-cachalot
+https://github.com/Suor/django-cacheops
+
+> и последнее только по желанию, часто в проектах бывают задачи поиска причин медленной работы запроса. Например, из-за неправильного ORM запроса к БД. Рекомендую ознакомиться с пакетом https://github.com/jazzband/django-silk
+проанализировать запросы в Postman и посмотреть какие из них вызывают каскад вторичных запросов, которые перегружают СУБД. Лично у меня вызывает удовлетворение, если ранее запрос выполнялся 400-500 мс, а сейчас за 3-4 мс, после того как я выявил проблему через Silk и оптимизировал запрос. Возможно, и Вам понравится)

reference/netology_pd_diplom/.coveragrc

@@ -0,0 +1,8 @@
+[run]
+branch = True  # Включаем измерение ветвления (условия if/else)
+omit = tests/*  # Исключаем папку с тестами из анализа покрытия
+
+[report]
+show_missing = True  # Показывать непокрытые участки кода
+skip_covered = False  # Отображать покрытый код
+precision = 2  # Точность отчета — два знака после запятой

reference/netology_pd_diplom/.dockerignore

@@ -0,0 +1,2 @@
+.env
+enviroments.sh

reference/netology_pd_diplom/.gitignore

@@ -104,3 +104,5 @@ venv.bak/
 
 # mypy
 .mypy_cache/
+
+enviroments.sh

reference/netology_pd_diplom/Dockerfile

@@ -0,0 +1,23 @@
+# Устанавливаем базовый образ Python и Alpine Linux
+FROM python:3.10-alpine
+
+# Установка компилятора gcc для Alpine Linux
+RUN apk add --no-cache gcc musl-dev
+
+# Устанавливаем рабочую директорию в контейнере
+WORKDIR /app
+
+# Копируем файл requirements.txt локального проекта в WORKDIR контейнера
+COPY ./requirements.txt ./requirements.txt
+
+# Устанавливаем зависимости
+RUN pip install -r requirements.txt
+
+# Указываем порт, который будет слушать сервер
+EXPOSE 8000
+
+# Копируем файлы локального проекта в WORKDIR контейнера
+COPY . .
+
+# Команда на запуск сервера
+CMD ["python", "manage.py", "runserver", "0.0.0.0:8000"]

reference/netology_pd_diplom/README.md

@@ -1,9 +1,151 @@
 # Пример API-сервиса для магазина
 
-[Документация по запросам в PostMan](https://documenter.getpostman.com/view/5037826/SVfJUrSc) 
+[Исходная документация по запросам в PostMan](https://documenter.getpostman.com/view/5037826/SVfJUrSc) 
 
+## Разворачиваем проект
+более подробно:
 
+https://realpython.com/asynchronous-tasks-with-django-and-celery/
+https://stackabuse.com/asynchronous-tasks-in-django-with-redis-and-celery/
 
+### Установка Redis на Windows
+
+- [Загрузите zip-файл Redis](https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100) и распакуйте его в какую-нибудь директорию.
+- Найдите файл с именем `redis-server.exe` и дважды щелкните по нему, чтобы запустить сервер в командном окне.
+- Аналогично найдите другой файл с именем `redis-cli.exe` и дважды щелкните по нему, чтобы открыть программу в отдельном командном окне.
+- В командном окне, запустив клиент CLI, проверьте, может ли клиент взаимодействовать с сервером, выполнив команду, и если все пройдет хорошо , должен быть возвращен pingответ `PONG`
+
+### Установка Redis на Mac OSX / Linux
+
+- [Загрузите файл tarball](https://redis.io/download) Redis и распакуйте его в какой-нибудь каталог.
+- Запустите `makefile`, чтобы собрать программу
+```bash 
+make install
+```
+- Откройте окно терминала и выполните 
+```bash
+redis-server
+```
+- В другом окне терминала запустите клиент CLI
+```bash 
+redis-cli
+```
+проверьте, может ли клиент взаимодействовать с сервером, выполнив команду `ping`, и если все пройдет хорошо , должен быть возвращен ответ `PONG`
+```bash
+127.0.0.1:6379> ping
+```
+
+### Установка Redis с помощью docer-compose
+Создайте `.yml` файл следующего содержания
+```
+version: '3.1'
+
+services:
+
+  redis:
+    image: redis
+    ports:
+      - "6379:6379"
+```
+
+Запустить сборку
+```
+docker-compose up -d
+```
+
+1. Установка виртуального окружения Python и зависимостей requirements.txt, в том числе и `Celery`
+
+2. Откройте три отдельных окна терминала перейдите в папку в которой находится `manage.py` и запустите почередно:
+```bash
+(venv) $ python manage.py runserver
+$ redis-server # — единственный из трех, который вы можете запустить за пределами своей виртуальной среды
+(venv) $ python -m celery -A netology_pd_diplom worker
+```
+
+## Разворачиваем проект с помощью Docker и Docker-compose
+
+1. Клонировать приоект
+
+2. Перейти в рабочую дерриктороию
+
+3. Загрузить все переменные сред
+```bash
+export DEBUG=True
+export SECRET_KEY="your_secret_key_here" # Отправил почтой
+export ALLOWED_HOSTS=localhost,127.0.0.1 # Или * - доступ с любого адреса
+export DB_ENGINE=django.db.backends.sqlite3 
+export DB_NAME=db.sqlite3 
+export EMAIL_HOST_PASSWORD="your_email_password" # Пароль привязанный к почтовому сервису (Настройки для mail.ru, справка https://help.mail.ru/mail/security/protection/external/) Отправил почтой
+```
+
+для PostgreSQl
+```bash
+export DEBUG=True
+export SECRET_KEY="your_secret_key_here"
+export ALLOWED_HOSTS=localhost,127.0.0.1
+export DB_ENGINE=django.db.backends.postgresql
+export DB_NAME="your_postgres_db_name"
+export POSTGRES_USER="your_postgres_db_user"
+export POSTGRES_PASSWORD="your_postgres_db_pass"
+export EMAIL_HOST_PASSWORD="your_email_host_password"
+```
+
+Кроме того, если видишь сообщение Compose can now delegate builds to bake for better performance,
+можешь включить использование нового инструмента Bake для сборки образов, установив переменную окружения:
+```bash
+export COMPOSE_BAKE=true
+```
+
+5.  Запустить сборку (--build для пересборки)
+```bash
+docker-compose up -d --build
+``` 
+
+---
+## Дополнительное задание
+> Отказ от django signals, с дальнейшей интеграцией в проект фреймворка Celery для по-настоящему асинхронных задач
+Рекомендую начать с использования любой из нижеследующих инструкций.
+- https://realpython.com/asynchronous-tasks-with-django-and-celery/
+
+или
+- https://stackabuse.com/asynchronous-tasks-in-django-with-redis-and-celery/
+
+> Вижу вы покрыли код тестами, предлагаю добавить красивую кнопку с текущим покрытием у себя в Гитхабе
+https://github.com/marketplace/actions/python-coverage
+
+> Опробовать автогенерацию документации Open API в рамках пакета DRF-Spectacular. После внедрения обязательно внимательно просмотрите страницу Swagger. Тут сразу можно будет оценить для себя разницу с Postman и огромный потенциал для плодотворной работы в команде с несколькими разработчиками. P.S. Используйте чаще docstring к классам и функциям
+https://drf-spectacular.readthedocs.io/en/latest/readme.html
+
+> Попробовать простой DRF тротлинг, и можно проверить его работу добавление отдельного TestCase
+https://www.django-rest-framework.org/api-guide/throttling/
+
+> Добавить возможность авторизации с 1-2 социальных сетей, тут можно ознакомится с такой крутой библиотекой
+https://github.com/python-social-auth/social-app-django
+
+> Наверняка пользовались админкой в ходе создания проекта, предлагаю сделать ей мощный тюнинг через эти библиотеки на выбор:
+https://github.com/otto-torino/django-baton
+https://django-jet-reboot.readthedocs.io/en/latest/
+
+> После добавления Celery можно добавить загрузку аватаров пользователей и картинок товаров с последующей асинхронной обработкой их в фоновом режиме, например создание миниатюр различного размера для быстрой загрузки. Для этого есть множество библиотек на выбор:
+https://easy-thumbnails.readthedocs.io/en/latest/
+https://django-versatileimagefield.readthedocs.io/en/latest/
+https://django-imagekit.readthedocs.io/en/latest/
+
+> Очень часто в коммерческих проектах для перехвата ошибок, которые возникают у пользователей внедряют Sentry или Rollbar. Он позволяет быть в курсе насколько стабильно работает проект и к тому же хранит полные traceback ошибок, так чтобы можно было их исследовать. Будет большой плюс в резюме от наличия знаний по этой технологии. Попробуйте внедрить ее на базовом уровне и создать APIView, который вызывает исключение, что увидеть его в консоли Sentry или RollBar
+https://blog.sentry.io/monitoring-performance-and-errors-in-a-django-application-with-sentry/
+https://docs.sentry.io/platforms/python/integrations/django/
+RollBar
+https://docs.rollbar.com/docs/django
+https://docs.rollbar.com/docs/celery
+
+> внедрить кэширование запросов к БД с использованием Redis, посмотреть насколько уменьшится время отклика системы. Вот эти библиотеки на выбор могут помочь с кэшированием запросов к БД:
+https://github.com/noripyt/django-cachalot
+https://github.com/Suor/django-cacheops
+
+> и последнее только по желанию, часто в проектах бывают задачи поиска причин медленной работы запроса. Например, из-за неправильного ORM запроса к БД. Рекомендую ознакомиться с пакетом https://github.com/jazzband/django-silk
+проанализировать запросы в Postman и посмотреть какие из них вызывают каскад вторичных запросов, которые перегружают СУБД. Лично у меня вызывает удовлетворение, если ранее запрос выполнялся 400-500 мс, а сейчас за 3-4 мс, после того как я выявил проблему через Silk и оптимизировал запрос. Возможно, и Вам понравится)
+
+---
 
 ## **Получить исходный код**