Python Web Scraper Toolkit 3 Scripts

Python Web Scraper Toolkit 3 Scripts

Набор из 3 готовых Python-скриптов для сбора данных с публичных web-ресурсов

★ СОСТАВ:
1. amazon_review_scraper.py — отзывы с Amazon: rating, title, author, body, verified-buyer. Автоматическая пагинация страниц.
2. reddit_comment_scraper.py — комментарии с Reddit-тредов без OAuth. Парсит ветки рекурсивно, сортирует по score.
3. hn_comments_scraper.py — комментарии с Hacker News через public Firebase API. Рекурсивный сбор всех ответов.

★ ЗАВИСИМОСТИ: requests + beautifulsoup4 (только для amazon-скрипта)

★ ИСПОЛЬЗОВАНИЕ: python script_name.py URL [--output file.json]. Все скрипты сохраняют результат в JSON.

★ ЭТИКА: уважение к rate-limits, паузы между запросами. Только публичный контент. Цель: исследование и анализ.

📦 ZIP → 3 .py скрипта + README.txt | Python 3.8+ | requests + beautifulsoup4 | Amazon + Reddit + HN scrapers

Дополнительная информация:

Формат: ZIP → 3 .py скрипта + README.txt | Python 3.8+ | requests + beautifulsoup4 | Amazon + Reddit + HN scrapers