#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ JavaScript源文件对比工具 功能：对比js和js_dr2目录中的文件，找出js_dr2_old目录中的重复文件并提供删除功能 作者：AI Assistant 创建时间：2025年1月 """ import argparse import re import sys from datetime import datetime from pathlib import Path from typing import Set, List, Dict class SourceFileComparator: """JavaScript源文件对比器""" def __init__(self, base_dir: str = None): """ 初始化对比器 Args: base_dir: 项目根目录，默认为当前脚本所在项目根目录 """ if base_dir is None: # 获取项目根目录（脚本在scripts/python目录下） script_dir = Path(__file__).parent self.base_dir = script_dir.parent.parent else: self.base_dir = Path(base_dir) # 定义三个目录路径 self.js_dir = self.base_dir / "spider" / "js" self.js_dr2_dir = self.base_dir / "spider" / "js_dr2" self.js_dr2_old_dir = self.base_dir / "spider" / "js_dr2_old" # 存储文件信息 self.js_files: Set[str] = set() self.js_dr2_files: Set[str] = set() self.js_dr2_old_files: Set[str] = set() self.duplicate_files: List[str] = [] # 存储标准化文件名映射 self.js_normalized_map: Dict[str, str] = {} self.js_dr2_normalized_map: Dict[str, str] = {} self.js_dr2_old_normalized_map: Dict[str, str] = {} def _normalize_filename(self, filename: str) -> str: """ 标准化文件名，去除中括号及其内容 Args: filename: 原始文件名 Returns: str: 标准化后的文件名 """ # 去除中括号及其内容，例如：可可影视[优].js -> 可可影视.js normalized = re.sub(r'\[.*?\]', '', filename) return normalized def _is_valid_js_file(self, filename: str) -> bool: """ 检查是否为有效的JavaScript文件（非_开头的.js文件） Args: filename: 文件名 Returns: bool: 是否为有效的JavaScript文件 """ return (filename.endswith('.js') and not filename.startswith('_') and not filename.startswith('.')) def _scan_directory(self, directory: Path, normalized_map: Dict[str, str] = None) -> Set[str]: """ 扫描目录中的有效JavaScript文件 Args: directory: 要扫描的目录路径 normalized_map: 用于存储标准化文件名映射的字典 Returns: Set[str]: 文件名集合 """ files = set() if not directory.exists(): print(f"警告：目录不存在 - {directory}") return files try: for file_path in directory.iterdir(): if file_path.is_file() and self._is_valid_js_file(file_path.name): files.add(file_path.name) # 如果提供了映射字典，则建立标准化文件名映射 if normalized_map is not None: normalized_name = self._normalize_filename(file_path.name) normalized_map[normalized_name] = file_path.name except PermissionError: print(f"错误：没有权限访问目录 - {directory}") except Exception as e: print(f"错误：扫描目录时发生异常 - {directory}: {e}") return files def scan_all_directories(self): """扫描所有目录中的JavaScript文件""" print("正在扫描目录...") print(f"项目根目录: {self.base_dir}") # 扫描js目录 print(f"扫描目录: {self.js_dir}") self.js_files = self._scan_directory(self.js_dir, self.js_normalized_map) print(f"找到 {len(self.js_files)} 个有效JS文件") # 扫描js_dr2目录 print(f"扫描目录: {self.js_dr2_dir}") self.js_dr2_files = self._scan_directory(self.js_dr2_dir, self.js_dr2_normalized_map) print(f"找到 {len(self.js_dr2_files)} 个有效JS文件") # 扫描js_dr2_old目录 print(f"扫描目录: {self.js_dr2_old_dir}") self.js_dr2_old_files = self._scan_directory(self.js_dr2_old_dir, self.js_dr2_old_normalized_map) print(f"找到 {len(self.js_dr2_old_files)} 个有效JS文件") def find_duplicates(self): """查找重复文件（基于标准化文件名）""" print("\n正在分析重复文件...") # 合并js和js_dr2目录的标准化文件名 source_normalized_names = set(self.js_normalized_map.keys()).union(set(self.js_dr2_normalized_map.keys())) # 查找js_dr2_old中与源目录重复的文件（基于标准化文件名） self.duplicate_files = [] for normalized_name, original_name in self.js_dr2_old_normalized_map.items(): if normalized_name in source_normalized_names: self.duplicate_files.append(original_name) print(f"发现 {len(self.duplicate_files)} 个重复文件（基于标准化文件名匹配）") def generate_report(self) -> Dict: """ 生成详细报告 Returns: Dict: 包含统计信息的报告 """ report = { 'scan_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S'), 'directories': { 'js': str(self.js_dir), 'js_dr2': str(self.js_dr2_dir), 'js_dr2_old': str(self.js_dr2_old_dir) }, 'file_counts': { 'js': len(self.js_files), 'js_dr2': len(self.js_dr2_files), 'js_dr2_old': len(self.js_dr2_old_files), 'duplicates': len(self.duplicate_files) }, 'duplicate_files': sorted(self.duplicate_files), 'unique_files_in_old': sorted(list(self.js_dr2_old_files - set(self.duplicate_files))) } return report def print_report(self): """打印详细报告""" report = self.generate_report() print("\n" + "=" * 60) print("JavaScript文件对比报告") print("=" * 60) print(f"扫描时间: {report['scan_time']}") print(f"项目根目录: {self.base_dir}") print(f"\n目录统计:") print(f" js目录: {report['file_counts']['js']} 个文件") print(f" js_dr2目录: {report['file_counts']['js_dr2']} 个文件") print(f" js_dr2_old目录: {report['file_counts']['js_dr2_old']} 个文件") print(f"\n重复文件分析:") print(f" 重复文件数量: {report['file_counts']['duplicates']} 个") print(f" js_dr2_old中唯一文件: {len(report['unique_files_in_old'])} 个") if self.duplicate_files: print(f"\n重复文件清单:") for i, filename in enumerate(report['duplicate_files'], 1): print(f" {i:2d}. {filename}") if report['unique_files_in_old']: print(f"\njs_dr2_old中的唯一文件（不会被删除）:") for i, filename in enumerate(report['unique_files_in_old'], 1): print(f" {i:2d}. {filename}") def delete_duplicates(self, confirm: bool = False) -> bool: """ 删除重复文件 Args: confirm: 是否已确认删除 Returns: bool: 删除是否成功 """ if not self.duplicate_files: print("没有发现重复文件，无需删除。") return True if not confirm: print(f"\n即将删除 {len(self.duplicate_files)} 个重复文件:") for filename in self.duplicate_files: print(f" - {filename}") response = input(f"\n确认删除这些文件吗？(y/N): ").strip().lower() if response not in ['y', 'yes', '是']: print("取消删除操作。") return False # 执行删除 deleted_count = 0 failed_files = [] for filename in self.duplicate_files: file_path = self.js_dr2_old_dir / filename try: if file_path.exists(): file_path.unlink() deleted_count += 1 print(f"已删除: {filename}") else: print(f"文件不存在: {filename}") except Exception as e: failed_files.append((filename, str(e))) print(f"删除失败: {filename} - {e}") print(f"\n删除完成:") print(f" 成功删除: {deleted_count} 个文件") if failed_files: print(f" 删除失败: {len(failed_files)} 个文件") for filename, error in failed_files: print(f" - {filename}: {error}") return len(failed_files) == 0 def main(): """主函数""" parser = argparse.ArgumentParser( description="JavaScript源文件对比工具", formatter_class=argparse.RawDescriptionHelpFormatter, epilog=""" 使用示例: python compare_source.py # 扫描并显示报告 python compare_source.py --delete # 扫描并交互式删除重复文件 python compare_source.py --delete --force # 扫描并强制删除重复文件（无确认） python compare_source.py --base-dir /path # 指定项目根目录 """ ) parser.add_argument( '--base-dir', type=str, help='项目根目录路径（默认为脚本所在项目根目录）' ) parser.add_argument( '--delete', action='store_true', help='删除重复文件' ) parser.add_argument( '--force', action='store_true', help='强制删除，不需要确认（需要与--delete一起使用）' ) parser.add_argument( '--quiet', action='store_true', help='静默模式，只显示关键信息' ) args = parser.parse_args() try: # 创建对比器实例 comparator = SourceFileComparator(args.base_dir) # 扫描目录 if not args.quiet: comparator.scan_all_directories() else: comparator.js_files = comparator._scan_directory(comparator.js_dir) comparator.js_dr2_files = comparator._scan_directory(comparator.js_dr2_dir) comparator.js_dr2_old_files = comparator._scan_directory(comparator.js_dr2_old_dir) # 查找重复文件 comparator.find_duplicates() # 显示报告 if not args.quiet: comparator.print_report() else: print(f"发现 {len(comparator.duplicate_files)} 个重复文件") # 删除重复文件 if args.delete: success = comparator.delete_duplicates(confirm=args.force) if success: print("\n重复文件清理完成！") return 0 else: print("\n重复文件清理失败！") return 1 else: if comparator.duplicate_files: print(f"\n提示：使用 --delete 参数可以删除这 {len(comparator.duplicate_files)} 个重复文件") return 0 except KeyboardInterrupt: print("\n\n操作被用户中断。") return 1 except Exception as e: print(f"\n错误：{e}") return 1 if __name__ == "__main__": sys.exit(main())