mirror of
https://github.com/NanmiCoder/MediaCrawler.git
synced 2026-09-25 18:28:12 +08:00
feat(media): 重构媒体下载,支持 xhs/dy/ks/bili/wb 五平台
旧实现只覆盖 4 个平台,且把整个文件读进内存、无重试与完整性校验,
代码按平台复制粘贴了 4 份。本次用统一下载器替换:
- 新增 media_downloader/:流式写入、Range 续传、指数退避重试、大小校验、
路径穿越防护;B 站 DASH 音视频分轨下载后交由 ffmpeg 无损合流
- 新增 media_platform/<平台>/media.py:从平台原始响应提取媒体地址,
与下载器解耦;快手首次接入下载能力
- 开关:config.ENABLE_GET_MEDIA 与 --get_media,并打通 API/WebUI;
同时修正旧配置项 ENABLE_GET_MEIDAS 的拼写
- 落盘按帖子聚合:{SAVE_DATA_PATH 或 data}/{platform}/media/{内容ID}/
- B 站装好 ffmpeg 时走 DASH 最高画质,否则降级 mp4 直链(产物 video-durl.mp4,
避免低清文件阻塞后续的高清路径)
- 删除 4 个 *_store_media.py、AbstractStoreImage/Video 及各 client 的媒体 GET 方法
媒体下载失败只记录日志,不中断爬取主流程。
This commit is contained in:
@@ -170,6 +170,40 @@ uv run main.py --platform xhs --lt qrcode --type detail
|
||||
uv run main.py --help
|
||||
```
|
||||
|
||||
<details>
|
||||
<summary>📥 <strong>媒体下载(封面 / 视频 / 图文图片)</strong></summary>
|
||||
|
||||
默认关闭。开启后会在爬取的同时把媒体文件下载到本地,按帖子聚合存放:
|
||||
|
||||
```shell
|
||||
# 命令行开关
|
||||
uv run main.py --platform xhs --type detail --specified_id <帖子URL或ID> --get_media true
|
||||
|
||||
# 或在 config/base_config.py 中设置 ENABLE_GET_MEDIA = True
|
||||
```
|
||||
|
||||
**落盘结构**(`SAVE_DATA_PATH` 为空时落在 `data/` 下):
|
||||
|
||||
```
|
||||
data/xhs/media/{帖子ID}/
|
||||
├── cover.jpg # 封面
|
||||
├── video.mp4 # 视频(B站为 DASH 合流产物)
|
||||
└── 001.jpg # 图文帖的图片
|
||||
```
|
||||
|
||||
**支持平台**:小红书、抖音、快手、B站、微博。贴吧与知乎的数据结构中没有媒体字段,暂不支持。
|
||||
|
||||
**关于 B 站**:
|
||||
- 安装 [ffmpeg](https://ffmpeg.org/) 后可走 DASH 路径获取最高画质(音视频分轨下载后无损合流);未安装时自动降级为 mp4 直链,产物名为 `video-durl.mp4` 以便区分
|
||||
- 清晰度由 `config/bilibili_config.py` 的 `BILI_QN` 控制(默认 80 = 1080p);未登录或权限不足时若高清取流被拒,会自动逐档降级到实际可下载的清晰度
|
||||
|
||||
**说明**:
|
||||
- 媒体下载失败只记录日志,不会中断爬取
|
||||
- 已存在的文件会被跳过;需要重新下载时删掉对应目录即可
|
||||
- 下载是串行跟随爬取流程的(未做并发下载),避免给平台 CDN 造成压力
|
||||
|
||||
</details>
|
||||
|
||||
<details>
|
||||
<summary>🖥️ <strong>WebUI 可视化操作界面</strong></summary>
|
||||
|
||||
|
||||
Reference in New Issue
Block a user