 persist-1
|
926ea9dc42
|
fix: 修复路径分隔符连接方式不当导致的路径格式问题
- 修改'async_file_writer.py'中'_get_file_path'返回值由字符串连接改为直接用正斜杠拼接路径，以确保路径分隔符的统一
- 修改获取文件保存时间后缀方式为'get_current_date'，以'天'为文件内容划分点
|
2025-09-11 00:35:02 +08:00 |
|
|
persist-1
|
a6d85b4194
|
sync #717
|
2025-09-11 00:00:06 +08:00 |
|
|
persist-1
|
0d0af57a01
|
fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug
|
2025-09-10 23:47:05 +08:00 |
|
|
persist-1
|
d3bebd039e
|
refactor(database): 调整数据库模块位置、调整初始化arg名称，并更新文档
- 将 db.py 数据库模块移入‘database/‘中，并修正所有调用代码
- 将初始化参数 `--init-db` 改为 `--init_db`
- 更新相关文档说明
|
2025-09-08 01:14:31 +08:00 |
|
|
persist-1
|
99756612b4
|
chore: 移除先前被同步的sqlite数据库，让用户自行进行初始化
|
2025-09-08 00:40:55 +08:00 |
|
|
persist-1
|
95a3dc8ce1
|
chore: 删除不必要的注释
|
2025-09-08 00:37:57 +08:00 |
|
|
persist-1
|
40de0e47e5
|
fix(store): 将async for循环替换为async with语句来修复zhihu数据库会话管理
|
2025-09-08 00:29:04 +08:00 |
|
|
persist-1
|
a38058856f
|
test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步
fix(database): 修复大量不适当的字段类型
|
2025-09-08 00:13:00 +08:00 |
|
|
persist-1
|
684a16ed9a
|
fix(数据库): 修复模型字段类型以支持更广泛的数据格式；
修复xhs评论存储方法，从批量处理改为单条处理
|
2025-09-07 04:10:49 +08:00 |
|
|
persist-1
|
b04f5bcd6f
|
feat(database): 优化数据库模型和连接管理
- 添加cryptography依赖用于加密功能
- 重构数据库模型字段类型和约束
- 增加数据库自动创建功能
- 改进数据库连接管理和错误处理
- 更新相关依赖文件(pyproject.toml, requirements.txt)
|
2025-09-06 06:08:28 +08:00 |
|
|
persist-1
|
0965bd6c96
|
fix: 使用 get_current_time() 替代 get_current_date() 以避免文件名因同日期而冲突
|
2025-09-06 04:43:56 +08:00 |
|
|
persist-1
|
e92c6130e1
|
fix(store): 修复存储实现的AsyncFileWriter导入
重构小红书存储实现，将store_comments方法改为处理单个评论的store_comment
为多个平台添加AsyncFileWriter工具类导入
|
2025-09-06 04:41:37 +08:00 |
|
|
persist-1
|
be306c6f54
|
refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
|
2025-09-06 04:10:20 +08:00 |
|
|
persist-1
|
19df1734f1
|
chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持，提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程
|
2025-07-24 22:39:53 +08:00 |
|