Commit Graph

Select branches

Hide Pull Requests

codex/fix-issue-with-mediacrawler-functionality

codex/replace-argparse-with-typer-for-cli

docs/add-bloome-sponsor

docs/readme-formatting-sync

feature/config-refactor-20251018

feature/connect-existing-browser

feature/excel-export-and-tests

feature/test_new_rule_01

fix/proxy-20251125

fix/xhs-sign-20251127

main

#10

#112

#124

#136

#137

#142

#157

#177

#18

#182

#183

#184

#201

#202

#206

#209

#212

#213

#214

#216

#217

#223

#224

#226

#228

#228

#229

#234

#238

#24

#242

#243

#250

#251

#252

#253

#254

#255

#265

#273

#276

#278

#280

#281

#290

#292

#293

#294

#295

#298

#299

#300

#301

#303

#306

#307

#309

#314

#316

#318

#319

#32

#323

#325

#327

#328

#329

#330

#331

#332

#333

#336

#337

#343

#345

#346

#347

#348

#350

#353

#357

#360

#361

#370

#371

#374

#375

#376

#377

#378

#379

#380

#384

#385

#386

#387

#388

#389

#396

#399

#4

#40

#400

#401

#404

#405

#411

#413

#422

#425

#427

#433

#461

#462

#463

#477

#479

#506

#509

#513

#516

#519

#521

#528

#536

#538

#542

#547

#559

#572

#590

#592

#596

#599

#603

#607

#608

#616

#619

#621

#634

#635

#636

#637

#638

#639

#64

#641

#642

#649

#650

#652

#654

#655

#657

#658

#664

#674

#676

#680

#681

#684

#686

#687

#690

#699

#700

#704

#707

#716

#717

#718

#723

#726

#728

#729

#73

#738

#739

#74

#741

#743

#761

#764

#768

#772

#773

#780

#782

#783

#784

#785

#786

#787

#788

#789

#793

#802

#805

#807

#809

#814

#815

#816

#817

#82

#821

#824

#825

#827

#828

#829

#831

#838

#839

#845

#845

#847

#849

#849

#850

#854

#854

#864

#864

#867

#877

#877

#878

#878

#880

#880

#882

#883

#884

#886

#887

#887

#888

#889

#889

#89

#894

#898

#898

#899

#900

#901

#903

#905

#905

#909

#911

#911

#912

#912

#913

#917

#918

#918

#920

#921

#921

#923

#923

#925

#930

#931

#931

#932

#932

#933

#933

#934

#935

#935

#937

#937

#938

#94

#940

#940

#944

#944

#947

#947

#948

#948

#950

#952

#952

#957

#958

#96

#961

#961

#962

#962

#963

#963

#964

#964

#967

#967

#968

#968

#969

#969

#970

#970

#971

#971

#972

#972

#973

#973

#974

#974

#975

#975

#976

#976

#977

#977

#978

#978

#979

#979

Mono Color

• 3954c40e69 feat(bilibili)：增加视频清晰度参数，可以通过BILI_QN更改下载的视频清晰度； 在 BilibiliClient 中添加视频质量配置并改进错误处理，修复下载请求被 302 重定向到 CDN，旧代码未跟随重定向且只接受 “OK” ，导致失败，现在即便是低清晰度/CDN 跳转的链接也能正常下载。 LePao1 2025-09-24 12:27:16 +08:00
• e2554288e0 docs: update README 程序员阿江(Relakkes) 2025-09-23 09:46:44 +08:00
• 1342797486 Merge pull request #718 from persist-1/refactor 程序员阿江-Relakkes 2025-09-11 06:45:26 +08:00
• 926ea9dc42 fix: 修复路径分隔符连接方式不当导致的路径格式问题 persist-1 2025-09-11 00:35:02 +08:00
• a6d85b4194 sync #717 persist-1 2025-09-11 00:00:06 +08:00
• 0d0af57a01 fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug persist-1 2025-09-10 23:47:05 +08:00
• 4b346cfb61 Merge pull request #716 from persist-1/refactor 程序员阿江-Relakkes 2025-09-10 14:38:39 +08:00
• bf7a0098bd Merge pull request #717 from wisty/patch-1 程序员阿江-Relakkes 2025-09-09 17:14:37 +08:00
• c87df59996 log client modify 刘小龙 2025-09-09 15:27:46 +08:00
• d3bebd039e refactor(database): 调整数据库模块位置、调整初始化arg名称，并更新文档 persist-1 2025-09-08 01:14:31 +08:00
• 99756612b4 chore: 移除先前被同步的sqlite数据库，让用户自行进行初始化 persist-1 2025-09-08 00:40:55 +08:00
• 95a3dc8ce1 chore: 删除不必要的注释 persist-1 2025-09-08 00:37:57 +08:00
• 40de0e47e5 fix(store): 将async for循环替换为async with语句来修复zhihu数据库会话管理 persist-1 2025-09-08 00:29:04 +08:00
• a38058856f test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步 persist-1 2025-09-08 00:13:00 +08:00
• 684a16ed9a fix(数据库): 修复模型字段类型以支持更广泛的数据格式； 修复xhs评论存储方法，从批量处理改为单条处理 persist-1 2025-09-07 04:10:49 +08:00
• b04f5bcd6f feat(database): 优化数据库模型和连接管理 persist-1 2025-09-06 06:08:28 +08:00
• 0965bd6c96 fix: 使用 get_current_time() 替代 get_current_date() 以避免文件名因同日期而冲突 persist-1 2025-09-06 04:43:56 +08:00
• e92c6130e1 fix(store): 修复存储实现的AsyncFileWriter导入 persist-1 2025-09-06 04:41:37 +08:00
• be306c6f54 refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作 persist-1 2025-09-06 04:10:20 +08:00
• fa5f07e9ee docs: update README.md 程序员阿江(Relakkes) 2025-09-05 17:51:36 +08:00
• 6b6fedd031 fix: #711 程序员阿江(Relakkes) 2025-09-02 18:57:18 +08:00
• 2bce3593f7 feat: support time deplay for all platform 程序员阿江(Relakkes) 2025-09-02 16:43:09 +08:00
• eb799e1fa7 refactor: xhs extractor 程序员阿江(Relakkes) 2025-09-02 14:50:32 +08:00
• ce52c58b98 Merge pull request #707 from CzsGit/fix-douyin-json-format 程序员阿江-Relakkes 2025-08-18 19:15:50 +08:00
• 48da268bc5 fix: 为抖音JSON存储添加格式化输出 Czs-HF 2025-08-16 12:52:37 +08:00
• 9e8c979164 fix: note_download_url field length error 程序员阿江(Relakkes) 2025-08-14 14:57:24 +08:00
• 4a68e79ed0 docs: update README.md 程序员阿江(Relakkes) 2025-08-12 22:25:21 +08:00
• 526c37822b Merge pull request #700 from 2513502304/main 程序员阿江-Relakkes 2025-08-06 17:26:29 +08:00
• 2c11e64dc9 Merge branch 'NanmiCoder:main' into main 翟持江 2025-08-06 11:39:42 +08:00
• 6a10d0d11c 原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型，本次提交修改了捕获异常的类型为httpx模块请求异常的基类：HTTPError，以便捕获在httpx.request方法中引发的任何异常（例如ip被封，服务器拒接连接），正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑 未来可欺 2025-08-06 11:24:51 +08:00
• e4e0f659e0 Merge pull request #699 from 2513502304/main 程序员阿江-Relakkes 2025-08-05 16:11:03 +08:00
• 81f2dbe4ab 添加了对媒体资源服务器的异常处理，参见 issue #691 未来可欺 2025-08-05 13:11:00 +08:00
• b9d30bbabb fix: #693 程序员阿江(Relakkes) 2025-08-01 15:55:21 +08:00
• 12450759d8 fix: httpx proxy format error feat: add a ip proxy provider 程序员阿江(Relakkes) 2025-08-01 01:05:11 +08:00
• 0024ce6ab4 feat: upgrade httpx version to 0.28.1 程序员阿江-Relakkes 2025-07-31 23:19:08 +08:00
• a6fd9ebdbc 简单更改了抖音保存图片与视频的命名方式，一个视频 id 仅对应一个短视频，返回一个 video_download_url，因此不需要使用数字方式进行命名 未来可欺 2025-07-31 23:11:45 +08:00
• 0b81240aed 升级 httpx 版本至 0.28.1，并修改关键字参数 proxies 至 proxy 未来可欺 2025-07-31 22:48:02 +08:00
• 9d90e9fc6d fix issue #689，目前来看，应该是 httpx 库的问题，因为无论是使用同步还是异步版本，构不构造 httpx.***Client 对象来发起请求，返回的响应都是为空，response.content = b''，response.text = ’‘，但换成 requests 库就能正常获取数据了 未来可欺 2025-07-31 22:01:48 +08:00
• a1535289c1 Merge pull request #687 from 2513502304/main 程序员阿江-Relakkes 2025-07-30 23:06:35 +08:00
• e9f976117a 将配置文件恢复原状 未来可欺 2025-07-30 21:31:50 +08:00
• 082c316345 Merge branch 'NanmiCoder:main' into main 翟持江 2025-07-30 21:28:29 +08:00
• c61ed57a20 fix: 二维码在部分系统无法显示 #685 程序员阿江-Relakkes 2025-07-30 21:26:41 +08:00
• 93a1c27fff 通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间 未来可欺 2025-07-30 21:19:56 +08:00
• 87caf07495 fix: #685 GokoRuri 2025-07-30 21:14:37 +08:00
• a7cc18ec7d 修改部分文档 未来可欺 2025-07-30 18:58:10 +08:00
• ecddfbe02c 将store文件夹中后缀名为_video或_image的.py文件统一更名为以_media.py为结尾的命名方式，避免某些平台仅有_video.py文件或_image.py文件的单独实现。之后的所有存储视频或图像的代码均放在此文件中实现 未来可欺 2025-07-30 18:32:08 +08:00
• 173bc08a9d 添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑 未来可欺 2025-07-30 18:24:08 +08:00
• 417c39de69 docs: add a sponsor 程序员阿江(Relakkes) 2025-07-30 16:44:10 +08:00
• b2d52918ae Merge pull request #684 from 2513502304/main 程序员阿江-Relakkes 2025-07-30 14:51:46 +08:00
• 8ab1b7ee4c fix: fixed circular import issue 程序员阿江(Relakkes) 2025-07-30 14:47:11 +08:00
• 214ccaa294 Update sqlite_tables.sql，同步更新sqlite以支持保存笔记下载地址 翟持江 2025-07-30 10:48:52 +08:00
• 612a9b53d3 Update tables.sql，同步更新该文件以支持保存笔记下载地址 翟持江 2025-07-30 10:46:46 +08:00
• e6db6be1ca Update __init__.py，添加了提取抖音笔记图片的逻辑 翟持江 2025-07-30 10:45:38 +08:00
• 72a4d194c0 Merge pull request #680 from korruz/main 程序员阿江-Relakkes 2025-07-29 14:21:48 +08:00
• 07a6e387ea refactor: move format_proxy_info to utils and update crawler classes to use it korruz 2025-07-29 14:16:24 +08:00
• 2935841872 Merge pull request #676 from andy9468/main 程序员阿江-Relakkes 2025-07-28 11:33:42 +08:00
• 3653fe2d37 add aiosqlite andy9468 2025-07-26 16:42:16 +08:00
• dbbc33a0df Merge pull request #674 from persist-1/chore 程序员阿江-Relakkes 2025-07-25 17:23:03 +08:00
• 19df1734f1 chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持，提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程 persist-1 2025-07-24 22:39:53 +08:00
• fc06c783f5 fix: fixed xhs req headers 程序员阿江(Relakkes) 2025-07-23 13:28:58 +08:00
• b41896f4f3 docs: add a sponsor 程序员阿江(Relakkes) 2025-07-23 13:17:19 +08:00
• a4d9aaa34a refactor: xhs update 程序员阿江(Relakkes) 2025-07-21 21:26:16 +08:00
• 26a43358cb chore: update config 程序员阿江(Relakkes) 2025-07-20 14:34:56 +08:00
• 13b00f7a36 refactor: config update 程序员阿江(Relakkes) 2025-07-18 23:26:52 +08:00
• 122978b35c Merge pull request #652 from gaoxiaobei/dev 程序员阿江(Relakkes) 2025-07-18 21:41:20 +08:00
• 8105b053ed Merge remote-tracking branch 'origin/dev' into devdev gaoxiaobei 2025-07-18 17:37:29 +08:00
• 7176956e51 Merge branch 'NanmiCoder:main' into dev gaoxiaobei 2025-07-18 17:32:04 +08:00
• b913db64bb refactor(config): move platform-specific configs to separate files gaoxiaobei 2025-07-18 17:27:37 +08:00
• 2753e7631e Merge pull request #664 from cfl-chenfangliang/feat-dyCommentBug 程序员阿江(Relakkes) 2025-07-18 15:53:33 +08:00
• aa54dad9a5 feat: 修复抖音二级评论地理位置缺失问题 chenfangliang 2025-07-18 10:48:43 +08:00
• 5daae04c7d fix: conflict resolution errors gaoxiaobei 2025-07-17 16:54:17 +08:00
• 1dc8c1789f docs(config): update Bilibili search mode options gaoxiaobei 2025-07-17 07:51:27 +08:00
• 29b6cee408 Merge pull request #1 from gaoxiaobei/dev gaoxiaobei 2025-07-17 06:45:55 +08:00
• 6ced357096 Merge branch 'main' into dev gaoxiaobei 2025-07-17 06:45:30 +08:00
• 9fb396c7d1 fix(media_platform): handle edge cases and improve error handling for Bilibili client and crawler gaoxiaobei 2025-07-17 06:40:56 +08:00
• fb846e9060 Merge branch 'NanmiCoder:main' into main gaoxiaobei 2025-07-17 06:39:04 +08:00
• 08c28e6f7b Merge pull request #658 from persist-1/feature/sqlite-support 程序员阿江(Relakkes) 2025-07-16 20:35:58 +08:00
• 9457455c18 fix: 修复SQLite数据库初始化问题并重新生成数据库文件 买定不离手 2025-07-16 19:48:52 +08:00
• c5509ab91f fix: update ip proxy valid url for #662 程序员阿江(Relakkes) 2025-07-16 11:06:58 +08:00
• c795b1316a fix: import error for #663 程序员阿江(Relakkes) 2025-07-16 10:58:11 +08:00
• 3184e0a8d9 fix: sign data too long error #659 程序员阿江(Relakkes) 2025-07-14 18:43:17 +08:00
• 4d743f6c17 debug & resume default configuration gaoxiaobei 2025-07-14 08:00:48 +08:00
• 3365095c62 fix: 完善Bilibili和抖音平台SQLite SQL语句适配 买定不离手 2025-07-14 03:51:19 +08:00
• 1298022410 refactor: 更新各平台store模块初始化以支持SQLite 买定不离手 2025-07-14 03:51:08 +08:00
• 1673bd5c0c feat: 增强SQLite数据库配置和命令行参数支持 买定不离手 2025-07-14 03:50:54 +08:00
• 191dd5998d docs: 更新README文档以支持SQLite数据库存储 买定不离手 2025-07-14 03:50:32 +08:00
• c6b96b7e28 chore: 更新项目依赖锁定文件\n\n- 更新 uv.lock: 同步项目依赖版本 买定不离手 2025-07-14 03:37:10 +08:00
• 36d4a086dd docs: 在默认说明文档中加入SQLite支持说明\n\n- 更新 docs/index.md 文件，增加对SQLite数据库的支持说明\n- 添加SQLite使用示例和配置说明 买定不离手 2025-07-14 03:36:59 +08:00
• f5fbbb36ba fix: 修复SQLite数据库初始化和关闭逻辑\n\n- 更新 main.py: 修复数据库初始化条件，支持sqlite选项\n- 更新 db.py: 添加SQLite数据库初始化和关闭支持 买定不离手 2025-07-14 03:36:48 +08:00
• 6f274d476b feat: 添加各平台SQLite存储实现文件\n\n- 新增 store/bilibili/bilibili_store_impl.py: B站SQLite存储实现\n- 新增 store/douyin/douyin_store_impl.py: 抖音SQLite存储实现\n- 新增 store/kuaishou/kuaishou_store_impl.py: 快手SQLite存储实现\n- 新增 store/tieba/tieba_store_impl.py: 贴吧SQLite存储实现\n- 新增 store/weibo/weibo_store_impl.py: 微博SQLite存储实现\n- 新增 store/xhs/xhs_store_impl.py: 小红书SQLite存储实现\n- 新增 store/zhihu/zhihu_store_impl.py: 知乎SQLite存储实现 买定不离手 2025-07-14 03:36:36 +08:00
• fb938f38aa feat: 更新各平台store SQL文件以支持SQLite\n\n- 更新 store/kuaishou/kuaishou_store_sql.py: 快手平台SQLite适配\n- 更新 store/tieba/tieba_store_sql.py: 贴吧平台SQLite适配\n- 更新 store/weibo/weibo_store_sql.py: 微博平台SQLite适配\n- 更新 store/xhs/xhs_store_sql.py: 小红书平台SQLite适配\n- 更新 store/zhihu/zhihu_store_sql.py: 知乎平台SQLite适配 买定不离手 2025-07-14 03:36:20 +08:00
• 3a2959d86c feat: 添加SQLite数据库支持核心文件\n\n- 新增 async_sqlite_db.py: SQLite异步数据库操作封装\n- 新增 schema/sqlite_tables.sql: SQLite数据库表结构定义\n- 新增 schema/sqlite_tables.db: SQLite数据库文件 买定不离手 2025-07-14 03:36:06 +08:00
• e91ec750bb feat: Enhance Bilibili crawler with retry logic and robustness gaoxiaobei 2025-07-13 10:42:15 +08:00
• d0d7293926 feat(bilibili): Add flexible search modes and fix limit logic gaoxiaobei 2025-07-13 06:07:13 +08:00
• e103bfa1f3 Merge branch 'NanmiCoder:main' into main gaoxiaobei 2025-07-13 05:41:21 +08:00
• dd8a3f5db8 docs: add a Sponsor 程序员阿江(Relakkes) 2025-07-12 23:26:30 +08:00
• cad9fc7af8 feat: Add daily limit for video/post crawling in Bilibili and base config gaoxiaobei 2025-07-12 14:50:59 +08:00
• ec0d29cf0f Merge pull request #642 from cllei12/weibo-search-type 程序员阿江(Relakkes) 2025-07-07 15:05:29 +08:00
• 0d21a27b6e Merge pull request #641 from cllei12/main 程序员阿江(Relakkes) 2025-07-07 15:03:42 +08:00
• 355ed183dd 增加选择微博搜索类型的配置 Lei Cao 2025-07-05 22:14:31 +00:00