Skip to content

Repository files navigation

FC2 PPV Data Crawler

用于抓取 fc2cmadb.com 演员影片信息,并按作品自动创建文件夹和 .url 快捷方式。

介绍视频(哔哩哔哩)

请不要滥用本脚本。如本项目侵犯版权,请联系删除。

功能

  • 抓取指定演员的所有影片,支持分页。
  • fc2-ppv-{ID} {制作商}-{影片名} 创建文件夹。
  • 文件夹名过长时自动截断并以 +++ 标记。
  • 自动检测 Chrome 主版本。
  • 抓取结束后校验影片数量,数量一致才提示成功。
  • 附带非媒体文件复制工具和快捷方式域名修复工具。

安装

需要 Python 3.x 和 Chrome。

git clone https://github.com/adadsws/fc2ppvdb-crawler.git
cd fc2ppvdb-crawler
pip install -r requirements.txt

Cookie

登录 fc2cmadb.com 后,用浏览器插件导出 Cookie:

https://chromewebstore.google.com/detail/get-cookiestxt-locally/cclelndahbckbenkjhflpdbgdldlbecc

保存为:

secrets/fc2cmadb.com_cookies.txt

项目提供了 secrets/fc2cmadb.com_cookies.txt.example。可复制该文件并替换示例值,也可以使用浏览器插件导出后直接覆盖真实文件。脚本会跳过 cf_clearance,保留浏览器自己的会话验证。

运行爬虫

默认演员 ID 在 fc2cmadb_crawler/config.py

DEFAULT_ACTRESS_ID = 6061

启动:

python -m fc2cmadb_crawler.main

Windows 可双击:

run_fc2cmadb_crawler.bat

启动后直接输入演员 ID;直接回车使用配置文件默认 ID。完成一个演员后会回到输入提示,可继续输入下一个演员 ID,输入 q 退出。

如需手动指定 Chrome 主版本:

$env:CHROME_VERSION_MAIN="148"
python -m fc2cmadb_crawler.main

工具

复制除视频、图片外的文件,保留目录结构:

python -m fc2cmadb_crawler.copy_non_media_files
python -m fc2cmadb_crawler.copy_non_media_files "D:\source_folder" "D:\target_folder"

Windows 可双击 run_copy_non_media_files.bat

批量把 .url 中域名包含 fc2 的链接改为 fc2cmadb.com

python -m fc2cmadb_crawler.update_shortcut_domains
python -m fc2cmadb_crawler.update_shortcut_domains "D:\shortcut_folder"

Windows 可双击 run_update_shortcut_domains.bat

目录结构

fc2ppvdb-crawler/
├── AGENTS.md
├── AGENT_CONTEXT.md
├── fc2cmadb_crawler/
│   ├── config.py
│   ├── crawler.py
│   ├── main.py
│   ├── copy_non_media_files.py
│   ├── copy_non_media.py
│   ├── update_shortcut_domains.py
│   └── shortcut_domains.py
├── run_fc2cmadb_crawler.bat
├── run_copy_non_media_files.bat
├── run_update_shortcut_domains.bat
├── requirements.txt
├── CHANGELOG.md
├── secrets/                   # Cookie 与脱敏示例
├── ~outputs/                  # 生成输出,不提交
├── recommend_20260629/
└── tests/                     # 离线自动化测试

生成的演员目录默认写入 ~outputs/。技术架构、开发流程和已知问题见 AGENT_CONTEXT.md

About

A simple crawler for fc2ppvdb with my personal recommendation. Can sort video by same actress.

Topics

Resources

Stars

7 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages