程序员阿江(Relakkes)
cf513e70a1
fix(dy): 补上 detail 接口的 uifid/verifyFp 风控参数
...
抖音 detail 接口的 Argus 风控要求 uifid / verifyFp / fp 三个参数，缺一则直接
403：响应体为 "Blocked by ArgusSecurityPlugin Uifid Not Found"，补上 uifid 但
verifyFp 不对时换成 "... Signature Not Found"。原实现只传 aweme_id，于是
get_aweme_detail 全线失败，详情和媒体都拿不到。
- 三个参数取自浏览器 cookie：uifid 用 UIFID（缺失时退到 UIFID_TEMP），
verifyFp/fp 用 s_v_web_id。必须用 cookie 里的 s_v_web_id——实测 uifid 搭配
自生成的 verifyFp 会被判 Signature Not Found，两者需要同源
- 新增 tests/test_douyin_aweme_detail_params.py（不发网络请求）
验证：抓包比对真实浏览器发出的 detail 请求，参数逐项一致；真实爬取中详情与
74MB 视频均下载成功。
2026-09-18 17:00:11 +08:00
程序员阿江(Relakkes)
0ca7b29cf0
feat(media): 重构媒体下载，支持 xhs/dy/ks/bili/wb 五平台
...
旧实现只覆盖 4 个平台，且把整个文件读进内存、无重试与完整性校验，
代码按平台复制粘贴了 4 份。本次用统一下载器替换：
- 新增 media_downloader/：流式写入、Range 续传、指数退避重试、大小校验、
路径穿越防护；B 站 DASH 音视频分轨下载后交由 ffmpeg 无损合流
- 新增 media_platform/<平台>/media.py：从平台原始响应提取媒体地址，
与下载器解耦；快手首次接入下载能力
- 开关：config.ENABLE_GET_MEDIA 与 --get_media，并打通 API/WebUI；
同时修正旧配置项 ENABLE_GET_MEIDAS 的拼写
- 落盘按帖子聚合：{SAVE_DATA_PATH 或 data}/{platform}/media/{内容ID}/
- B 站装好 ffmpeg 时走 DASH 最高画质，否则降级 mp4 直链（产物 video-durl.mp4，
避免低清文件阻塞后续的高清路径）
- 删除 4 个 *_store_media.py、AbstractStoreImage/Video 及各 client 的媒体 GET 方法
媒体下载失败只记录日志，不中断爬取主流程。
2026-09-17 22:54:22 +08:00
程序员阿江(Relakkes)
9311d21f1f
fix: dy creator #895
2026-05-19 21:46:38 +08:00
程序员阿江(Relakkes)
0c5f281212
fix: 避免复用浏览器时跨域 Cookie 过长导致请求失败
...
连接已有 Chrome 会把整个浏览器上下文的 cookie 带入平台 client。
除 xhs 外，多数平台仍直接读取全量 cookies，导致请求头过长并放大跨域污染。
本次将各平台的 cookie 读取统一收口到平台域名，并补上基础回归测试。
Constraint: 必须继续复用用户真实浏览器里的平台登录态
Rejected: 仅修复 xhs | 其他平台在连接已有浏览器时仍会携带超长 Cookie
Confidence: high
Scope-risk: moderate
Reversibility: clean
Directive: 后续新增平台或调整 update_cookies 和 create client 流程时，只按平台域名读取 cookies
Tested: uv run pytest test/test_utils.py; python3 -m compileall tools/crawler_util.py media_platform/douyin/core.py media_platform/douyin/client.py media_platform/kuaishou/core.py media_platform/kuaishou/client.py media_platform/bilibili/core.py media_platform/bilibili/client.py media_platform/zhihu/core.py media_platform/zhihu/client.py media_platform/tieba/core.py media_platform/tieba/client.py media_platform/xhs/core.py media_platform/xhs/client.py media_platform/weibo/core.py media_platform/weibo/client.py test/test_utils.py
Not-tested: 各平台在真实 CDP 浏览器连接下的端到端抓取流程
2026-04-21 13:49:37 +08:00
Wei Liu and Claude Sonnet 4.6
125e02a4b9
fix: make SSL verification opt-in via config, extend fix to all platforms
...
- Add DISABLE_SSL_VERIFY = False to base_config.py (default: verification on)
- Add tools/httpx_util.py with make_async_client() factory that reads the config
- Replace all httpx.AsyncClient() call sites across all platforms (bilibili,
weibo, zhihu, xhs, douyin, kuaishou) and crawler_util with make_async_client()
- Extends SSL fix to previously missed platforms: xhs, douyin, kuaishou
Users running behind an intercepting proxy can set DISABLE_SSL_VERIFY = True
in config/base_config.py. All other users retain certificate verification.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-18 12:31:49 +13:00
程序员阿江(Relakkes)
d614ccf247
docs: translate comments and metadata to English
...
Update Chinese comments, variable descriptions, and metadata across
multiple configuration and core files to English. This improves
codebase accessibility for international developers. Additionally,
removed the sponsorship section from README files.
2026-02-12 05:30:11 +08:00
程序员阿江(Relakkes)
6eef02d08c
feat: ip proxy expired check
2025-11-25 12:39:10 +08:00
程序员阿江(Relakkes)
ff8c92daad
chore: add copyright to every file
2025-11-18 12:24:02 +08:00
程序员阿江(Relakkes)
0074e975dd
fix: dy search
2025-11-04 00:14:16 +08:00
程序员阿江(Relakkes)
cae707cb2a
feat: douyin support url link
2025-10-18 07:00:21 +08:00
未来可欺
6a10d0d11c
原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型，本次提交修改了捕获异常的类型为httpx模块请求异常的基类：HTTPError，以便捕获在httpx.request方法中引发的任何异常（例如ip被封，服务器拒接连接），正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑
2025-08-06 11:24:51 +08:00
未来可欺
81f2dbe4ab
添加了对媒体资源服务器的异常处理，参见 issue #691
2025-08-05 13:11:00 +08:00
未来可欺
0b81240aed
升级 httpx 版本至 0.28.1，并修改关键字参数 proxies 至 proxy
2025-07-31 22:48:02 +08:00
未来可欺
9d90e9fc6d
fix issue #689，目前来看，应该是 httpx 库的问题，因为无论是使用同步还是异步版本，构不构造 httpx.***Client 对象来发起请求，返回的响应都是为空，response.content = b''，response.text = ’‘，但换成 requests 库就能正常获取数据了
2025-07-31 22:01:48 +08:00
未来可欺
93a1c27fff
通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间
2025-07-30 21:19:56 +08:00
未来可欺
173bc08a9d
添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑
2025-07-30 18:24:08 +08:00
chenfangliang
aa54dad9a5
feat: 修复抖音二级评论地理位置缺失问题
2025-07-18 10:48:43 +08:00
Relakkes
67d31bf42a
fix: dy update fp params
2025-04-30 13:26:22 +08:00
unknown
7e53c4acfc
All_platform_comments_restrict
2024-10-23 16:32:02 +08:00
Relakkes
9fe3e47b0f
chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途
2024-10-20 00:43:25 +08:00
Relakkes
7b5b099636
feat: update douyin abogus params
2024-09-27 14:58:10 +08:00
Relakkes
04cbe549af
fix: 修复抖音关键词搜索bug
2024-08-20 03:09:42 +08:00
Relakkes
548271e537
fix: 修复抖音中文搜索关键二次编码问题
2024-07-16 01:33:58 +08:00
Relakkes
f8096e3d58
feat: 抖音abogus参数更新
2024-07-14 03:20:05 +08:00
Relakkes Yang
a0e5a29af8
fix: weibo bug
2024-06-17 00:25:48 +08:00
xueyueben
576c8e8d9f
fix: 修复抖音筛选发布时间和排序失效问题
2024-06-13 11:46:25 +08:00
ZuWard
0ba68809a5
抖音二级评论
2024-05-29 06:35:37 +08:00
Relakkes
478db4cc4b
feat: 抖音指定创作者done
2024-05-28 01:07:19 +08:00
Relakkes
764bafc626
feat: 抖音登录态检测逻辑更新支持
2024-05-23 22:15:14 +08:00
Relakkes
87eb8aa6a7
fix : #230
2024-04-13 20:18:04 +08:00
Relakkes
e950e0d6e3
feat: add abstract api client to all platform
2024-03-30 21:27:25 +08:00
Relakkes
149b6bcdc8
fix: 修复抖音关键词搜索为中文的情况下，有bug
2024-03-03 19:36:36 +08:00
Relakkes
384c8f9f7e
fix: issue #140
2024-02-26 23:47:02 +08:00
Relakkes
e940a41033
refactor: 移除评论中指定数量和过滤特定关键词的逻辑
2024-01-17 23:02:05 +08:00
peanutsplash
5c6a636352
fix-bug:修复抖音评论筛选
2023-12-14 00:55:06 +08:00
Relakkes
c530bd4219
feat: 代理IP缓存到redis中
2023-12-06 23:49:56 +08:00
Relakkes
a6e877de42
fix: 修复B站搜索Field命名 bug
...
refactor: ping接口统一更换为pong
2023-12-05 22:54:47 +08:00
peanutsplash
ab1a10bac1
添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选
2023-12-05 11:21:47 +08:00
Relakkes
81bc8b51e2
feat: 抖音支持指定视频列表爬去
2023-11-18 22:07:30 +08:00
Relakkes
9177c38521
feat: 支持数据保存到CSV中
2023-08-16 19:49:41 +08:00
Relakkes
c1a3f06c7a
fix: issue #32
2023-08-16 13:58:44 +08:00
Relakkes
4ff2cf8661
refactor: 优化代码
2023-07-29 15:35:40 +08:00
Nanmi
745e59c875
feat: 完善类型注释，增加 mypy 类型检测
2023-07-16 17:57:18 +08:00
Relakkes
2398a17e21
refactor: 优化抖音Crawler部分代码
...
fix: 日志初始化错误修复
2023-07-15 21:30:12 +08:00
Relakkes
a7c7f9533d
feat: 抖音评论done
2023-06-25 21:09:20 +08:00
NanmiCoder
e82dcae02f
feat: 小红书笔记搜索，评论获取done
...
docs: update docs
Create .gitattributes
Update README.md
2023-06-12 20:37:24 +08:00
程序员阿江(Relakkes)