Проект парсинга pep

О проекте

CLI-парсер официальной документации Python. Поддерживает следующие режимы:

• Получение списка новостей о версиях Python с заголовками и авторами.
• Получение информации о всех доступных версиях Python и их статусах.
• Скачивание архива документации в формате PDF.
• Сбор статистики по статусам всех PEP-документов.

Используемый стек

attrs==21.4.0
beautifulsoup4==4.9.3
certifi==2021.10.8
chardet==4.0.0
charset-normalizer==2.0.12
flake8==4.0.1
idna==2.10
importlib-metadata==4.2.0
iniconfig==1.1.1
itsdangerous==2.1.1
lxml==4.6.3
mccabe==0.6.1
packaging==21.3
pluggy==1.0.0
prettytable==2.1.0
py==1.11.0
pycodestyle==2.8.0
pyflakes==2.4.0
pyparsing==3.0.7
pytest==7.1.0
requests==2.27.1
requests-cache==1.0.0
requests-mock==1.9.3
six==1.16.0
soupsieve==2.3.1
tomli==2.0.1
tqdm==4.61.0
typing_extensions==4.1.1
url-normalize==1.4.3
urllib3==1.26.8
wcwidth==0.2.5
zipp==3.7.0

Установка

1. Клонируйте репозиторий и перейдите в директорию проекта:

git clone [email protected]:abramov-v/bs4_parser_pep.git
cd bs4_parser_pep

2. Создайте и активируйте виртуальное окружение:

python -m venv venv
source venv/bin/activate      # для Linux/macOS
venv\Scripts\activate         # для Windows

3. Установите зависимости:

Требуется Python 3.9 или выше

pip install -r requirements.txt

Примеры использования

Получить справку по запуску:

python main.py -h

usage: main.py [-h] [-c] [-o {pretty,file}] {whats-new,latest-versions,download,pep}

Парсер документации Python

positional arguments:
  {whats-new,latest-versions,download,pep}
                        Режимы работы парсера

optional arguments:
  -h, --help            show this help message and exit
  -c, --clear-cache     Очистка кеша
  -o {pretty,file}, --output {pretty,file}
                        Дополнительные способы вывода данных

Запуск парсера осуществляется через файл main.py с указанием режима работы.

• Выведет список нововведений в новых версиях Python.

python main.py whats-new

• Покажет все доступные версии Python и их текущие статусы.

python main.py latest-versions

• Скачает архив документации Python в формате PDF (A4) в папку downloads.

python main.py download

• Соберёт статистику по статусам всех PEP-документов.

python main.py pep

Дополнительные аргументы

• --clear-cache — очистка кеша запросов (requests-cache);
• -o pretty — вывод результатов в виде таблицы;
• -o file — сохранение результатов в CSV-файл (папка results/).

Автор

Валерий Абрамов

• GitHub: @abramov-v