fork/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2026-09-22 04:58:11 +08:00
Code Issues Packages Projects Releases Wiki Activity
817 Commits 11 Branches 0 Tags
8ecfa31de22c5cbc890e5b0b520b450f24ec4b21
Commit Graph
132 Commits
Author SHA1 Message Date
程序员阿江(Relakkes) eec25bb0a0 fix(xhs): 适配上游 EF* 分档，修复视频只下到封面 
小红书把 DASH 分档名从按编码命名（h264/h265/av1）改成了按内部档位命名
（EF4/EF5/EF6/EF7），同时 video.consumer 里的 origin_video_key 也没了。
extract_video_urls 写死 stream["h264"]，两条路都取不到地址，于是静默返回
空列表：笔记照常入库，但 video_url 为空、媒体只下到封面，全程不报错。

- media.py: 遍历 stream 下所有列表型分档，不再写死分档名；同一分档内含多个
  分辨率（720P→4K），按 (height, avg_bitrate) 降序，最高档作主地址，其余作为
  备用地址交给下载器回退；origin_video_key 分支保留
- 测试 fixture 换成真实响应结构，旧的 h264 结构另存一份确保兼容性不被改坏

验证：真实响应下旧实现取到 0 条、新实现 5 条；真实下载得到 4K 视频
（54079413 字节 / hevc 3840x2160 / 281.87s），旧结构与图文笔记行为不变。
 2026-09-18 16:10:18 +08:00
程序员阿江(Relakkes) 0ca7b29cf0 feat(media): 重构媒体下载，支持 xhs/dy/ks/bili/wb 五平台 
旧实现只覆盖 4 个平台，且把整个文件读进内存、无重试与完整性校验，
代码按平台复制粘贴了 4 份。本次用统一下载器替换：

- 新增 media_downloader/：流式写入、Range 续传、指数退避重试、大小校验、
  路径穿越防护；B 站 DASH 音视频分轨下载后交由 ffmpeg 无损合流
- 新增 media_platform/<平台>/media.py：从平台原始响应提取媒体地址，
  与下载器解耦；快手首次接入下载能力
- 开关：config.ENABLE_GET_MEDIA 与 --get_media，并打通 API/WebUI；
  同时修正旧配置项 ENABLE_GET_MEIDAS 的拼写
- 落盘按帖子聚合：{SAVE_DATA_PATH 或 data}/{platform}/media/{内容ID}/
- B 站装好 ffmpeg 时走 DASH 最高画质，否则降级 mp4 直链（产物 video-durl.mp4，
  避免低清文件阻塞后续的高清路径）
- 删除 4 个 *_store_media.py、AbstractStoreImage/Video 及各 client 的媒体 GET 方法

媒体下载失败只记录日志，不中断爬取主流程。
 2026-09-17 22:54:22 +08:00
程序员阿江(Relakkes) d594c20c13 fix(xhs,bilibili): 修复访问受限异常击穿与评论采集边界问题 
xhs: PR #958 把 IPBlockError / PlatformAccessError 加入 request() 的
retry_if_not_exception_type 后，tenacity 会直接重抛原异常而不再包装成
RetryError，core 层的 except 分支接不住，单条笔记被限流会让整批
asyncio.gather 抛出，同批已抓取但未入库的数据全部丢失。

- get_note_detail_async_task / get_creators_and_notes 捕获访问受限异常，
  记录明确日志后跳过当前条目，恢复原有的"跳过并继续"语义
- 移除 request() 中已不可达的 IP_ERROR_CODE 分支

bilibili: 修复 get_video_all_comments 的两处翻页边界问题

- is_first_page 改为独立标志，接口返回 next=0 且 is_end=False 时
  不再把后续页误判为首页而重复注入置顶评论
- result 无条件累加，否则开启楼中楼抓取时循环守卫永不推进，
  max_count 完全失效并可能死循环；截断提前到抓取楼中楼之前，
  避免为已被丢弃的评论抓子评论
 2026-08-11 18:10:16 +08:00
ottercoconut 6937b12738 修复小红书原始响应错误分类与重复重试 2026-08-11 16:45:49 +08:00
程序员阿江(Relakkes) 17f66121e0 fix: 升级 xhshow 至 0.2.0, 移除 GET 签名猴子补丁 
xhshow 0.2.0 调整了 build_payload_array 参数顺序, 旧的位置参数调用会
导致 creator 等 GET 请求报 'float' object has no attribute 'encode'。
该版本已原生修复 GET 请求 a3_hash 问题(Cloxl/xhshow#104), 本地补丁
不再需要, GET 分支改用 sign_headers_get 高层接口。
 2026-07-25 01:12:08 +08:00
Jax｜李景行 e7c791387c Fix: skip notes that fail to fetch instead of crashing 
Previously the crawler would crash on a single failed note. Now it logs a warning and continues.
 2026-05-19 05:25:03 +08:00
程序员阿江(Relakkes) 0c5f281212 fix: 避免复用浏览器时跨域 Cookie 过长导致请求失败 
连接已有 Chrome 会把整个浏览器上下文的 cookie 带入平台 client。
除 xhs 外，多数平台仍直接读取全量 cookies，导致请求头过长并放大跨域污染。
本次将各平台的 cookie 读取统一收口到平台域名，并补上基础回归测试。

Constraint: 必须继续复用用户真实浏览器里的平台登录态
Rejected: 仅修复 xhs | 其他平台在连接已有浏览器时仍会携带超长 Cookie
Confidence: high
Scope-risk: moderate
Reversibility: clean
Directive: 后续新增平台或调整 update_cookies 和 create client 流程时，只按平台域名读取 cookies
Tested: uv run pytest test/test_utils.py; python3 -m compileall tools/crawler_util.py media_platform/douyin/core.py media_platform/douyin/client.py media_platform/kuaishou/core.py media_platform/kuaishou/client.py media_platform/bilibili/core.py media_platform/bilibili/client.py media_platform/zhihu/core.py media_platform/zhihu/client.py media_platform/tieba/core.py media_platform/tieba/client.py media_platform/xhs/core.py media_platform/xhs/client.py media_platform/weibo/core.py media_platform/weibo/client.py test/test_utils.py
Not-tested: 各平台在真实 CDP 浏览器连接下的端到端抓取流程
 2026-04-21 13:49:37 +08:00
程序员阿江(Relakkes) 5294b6d9b7 feat: 支持连接用户已有的 Chrome 浏览器进行爬取 
新增 CDP_CONNECT_EXISTING 配置项，默认开启，通过 Chrome 远程调试功能
(chrome://inspect/#remote-debugging) 直接连接用户正在使用的浏览器，
复用真实的 Cookie、扩展和浏览历史，大幅降低平台风控检测风险。

主要变更:
- 新增 _connect_existing_browser 方法，通过 ws:// 直接连接已有浏览器
- 支持等待用户在浏览器端确认连接对话框（60秒超时）
- cleanup 时不关闭用户的浏览器进程
- 修复小红书在真实浏览器下 cookie 过多导致签名失败的问题
- 更新 README、CDP使用指南和常见问题文档
 2026-04-15 10:54:29 +08:00
Junwen 2a52c15fb3 feat: 添加海外版小红书(rednote.com)支持 2026-04-08 23:12:53 +08:00
程序员阿江(Relakkes) 699a90f830 fix: xhs creator error 2026-04-07 12:54:39 +08:00
Wei LiuandClaude Sonnet 4.6 125e02a4b9 fix: make SSL verification opt-in via config, extend fix to all platforms 
- Add DISABLE_SSL_VERIFY = False to base_config.py (default: verification on)
- Add tools/httpx_util.py with make_async_client() factory that reads the config
- Replace all httpx.AsyncClient() call sites across all platforms (bilibili,
  weibo, zhihu, xhs, douyin, kuaishou) and crawler_util with make_async_client()
- Extends SSL fix to previously missed platforms: xhs, douyin, kuaishou

Users running behind an intercepting proxy can set DISABLE_SSL_VERIFY = True
in config/base_config.py. All other users retain certificate verification.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-03-18 12:31:49 +13:00
程序员阿江(Relakkes) d614ccf247 docs: translate comments and metadata to English 
Update Chinese comments, variable descriptions, and metadata across
multiple configuration and core files to English. This improves
codebase accessibility for international developers. Additionally,
removed the sponsorship section from README files.
 2026-02-12 05:30:11 +08:00
ouzhuowei e54463ac78 处理子评论获取失败导致整个流程中断问题 
Co-Authored-By: ouzhuowei <190020754@qq.com>
 2026-02-10 17:53:30 +08:00
程序员阿江(Relakkes) c309871485 refactor(xhs): improve login state check logic 2026-02-03 20:49:46 +08:00
程序员阿江(Relakkes) 6625663bde feat: #823 2026-02-03 20:40:15 +08:00
wanzirong f7d27ab43a feat: 添加命令行参数支持 
- 添加 --max_comments_per_post 参数用于控制每个帖子爬取的评论数量
- 添加 --xhs_sort_type 参数用于控制小红书排序方式
- 修复小红书 core.py 中 CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTES 的导入方式
  从直接导入改为通过 config 模块访问，使命令行参数能正确生效
 2026-01-21 16:23:47 +08:00
bear a59b385615 fix the login status error after scan the QR code 2026-01-09 14:11:47 +08:00
程序员阿江(Relakkes)andClaude Opus 4.5 157ddfb21b i18n: translate all Chinese comments, docstrings, and logger messages to English 
Comprehensive translation of Chinese text to English across the entire codebase:

- api/: FastAPI server documentation and logger messages
- cache/: Cache abstraction layer comments and docstrings
- database/: Database models and MongoDB store documentation
- media_platform/: All platform crawlers (Bilibili, Douyin, Kuaishou, Tieba, Weibo, Xiaohongshu, Zhihu)
- model/: Data model documentation
- proxy/: Proxy pool and provider documentation
- store/: Data storage layer comments
- tools/: Utility functions and browser automation
- test/: Test file documentation

Preserved: Chinese disclaimer header (lines 10-18) for legal compliance

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2025-12-26 23:27:19 +08:00
MEI ff9a1624f1 fix: params参数以及路径问题 2025-12-03 10:31:32 +08:00
程序员阿江(Relakkes) f989ce0788 feat: xhs sign playwright version 2025-11-27 10:53:08 +08:00
程序员阿江(Relakkes) 6eef02d08c feat: ip proxy expired check 2025-11-25 12:39:10 +08:00
程序员阿江(Relakkes) ff8c92daad chore: add copyright to every file 2025-11-18 12:24:02 +08:00
程序员阿江(Relakkes) a1c5e07df8 fix: xhs sub comment bugfix #769 2025-11-17 11:47:33 +08:00
程序员阿江(Relakkes) b6caa7a85e refactor: add xhs creator params 2025-11-10 21:10:03 +08:00
程序员阿江(Relakkes) 1e3637f238 refactor: update xhs note detail 2025-11-10 18:13:51 +08:00
程序员阿江(Relakkes)andClaude b5dab6d1e8 refactor: 使用 xhshow 替代 playwright 签名方案 
感谢 @Cloxl/xhshow 开源项目

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude <noreply@anthropic.com>
 2025-11-10 18:12:45 +08:00
程序员阿江(Relakkes) 3f5925e326 feat: update xhs sign 2025-10-27 19:06:07 +08:00
程序员阿江(Relakkes) 03e384bbe2 refactor: cdp模式下移除stealth注入 2025-10-19 15:32:03 +08:00
程序员阿江(Relakkes) a9dd08680f feat: xhs support creator url link 2025-10-18 07:20:09 +08:00
刘小龙 c87df59996 log client modify 2025-09-09 15:27:46 +08:00
程序员阿江(Relakkes) 2bce3593f7 feat: support time deplay for all platform 2025-09-02 16:43:09 +08:00
程序员阿江(Relakkes) eb799e1fa7 refactor: xhs extractor 2025-09-02 14:50:32 +08:00
未来可欺 6a10d0d11c 原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型，本次提交修改了捕获异常的类型为httpx模块请求异常的基类：HTTPError，以便捕获在httpx.request方法中引发的任何异常（例如ip被封，服务器拒接连接），正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑 2025-08-06 11:24:51 +08:00
未来可欺 81f2dbe4ab 添加了对媒体资源服务器的异常处理，参见 issue #691 2025-08-05 13:11:00 +08:00
程序员阿江(Relakkes) b9d30bbabb fix: #693 2025-08-01 15:55:21 +08:00
未来可欺 0b81240aed 升级 httpx 版本至 0.28.1，并修改关键字参数 proxies 至 proxy 2025-07-31 22:48:02 +08:00
未来可欺 93a1c27fff 通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间 2025-07-30 21:19:56 +08:00
未来可欺 173bc08a9d 添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑 2025-07-30 18:24:08 +08:00
korruz 07a6e387ea refactor: move format_proxy_info to utils and update crawler classes to use it 2025-07-29 14:16:24 +08:00
程序员阿江(Relakkes) fc06c783f5 fix: fixed xhs req headers 2025-07-23 13:28:58 +08:00
程序员阿江(Relakkes) a4d9aaa34a refactor: xhs update 2025-07-21 21:26:16 +08:00
程序员阿江(Relakkes) 13b00f7a36 refactor: config update 2025-07-18 23:26:52 +08:00
gaoxiaobei b913db64bb refactor(config): move platform-specific configs to separate files 
- Remove platform-specific configurations from base_config.py
- Create separate config files for each platform in their respective directories
- Update import statements in core files to use new platform-specific config modules
- Clean up unused and deprecated configuration options
 2025-07-18 17:27:37 +08:00
程序员阿江(Relakkes) e83b2422d9 feat: 支持playwright通过cdp协议连接本地chrome浏览器
Deploy VitePress site to Pages / Deploy (push) Has been cancelled
Deploy VitePress site to Pages / build (push) Has been cancelled 
docs: 增加uv来管理python依赖的文档
 2025-06-25 23:22:39 +08:00
chimeElm 26a845581e Update client.py 
修复CRAWLER_MAX_NOTES_COUNT在爬取小红书作者帖子时失效的问题
 2025-06-07 02:41:09 +08:00
crpa33 274d64aefc 处理xhs意外的评论信息为空的情况 
报错就会打断我，我没辙
 2025-04-02 11:59:27 +08:00
liudongkai 33e7ef016d feat: xhs 非代理模式下增加随机等待间隔, db存储模式下增加存储xsec_token字段 2024-12-05 21:10:31 +08:00
leantli e830ada574 feat: xhs comments add xsec_token 2024-12-03 18:25:21 +08:00
Relakkes ca9b47ef63 fix: xhs 帖子详情优化 2024-11-27 09:41:24 +08:00
Relakkes 43dffeb2d1 feat: xhs帖子详情获取优化 2024-11-26 13:37:53 +08:00