feat: py文件修改

Author: Taois

proxy/README.md

@@ -0,0 +1,196 @@
+# 代理服务器优化版本
+
+## 🚀 优化内容
+
+### 内存泄漏问题解决
+
+1. **连接池管理**
+   - 实现了全局HTTP客户端单例，避免重复创建
+   - 配置连接池限制：最大100个连接，保持20个活跃连接
+   - 设置连接过期时间：30秒自动清理空闲连接
+
+2. **资源自动释放**
+   - 自定义`ProxyStreamingResponse`确保流式响应正确关闭
+   - 实现`stream_response_with_cleanup`自动清理响应资源
+   - 应用生命周期管理，启动和关闭时正确初始化和清理资源
+
+3. **内存监控系统**
+   - 实时监控内存使用情况（每30秒检查一次）
+   - 内存使用超过500MB时自动触发清理
+   - 内存使用超过400MB时执行轻量级垃圾回收
+   - 提供手动清理接口：`POST /admin/cleanup`
+
+4. **超时和错误处理**
+   - 连接超时：10秒
+   - 读取超时：60秒
+   - 写入超时：10秒
+   - 连接池超时：5秒
+   - 详细的错误分类和处理
+
+## 📊 性能提升
+
+- **内存使用优化**：解决了无限内存增长问题
+- **连接复用**：减少连接建立开销
+- **自动清理**：防止资源泄漏
+- **监控告警**：实时掌握服务器状态
+
+## 🛠️ 安装和使用
+
+### 1. 安装依赖
+
+```bash
+cd proxy
+pip install -r requirements.txt
+```
+
+### 2. 启动服务器
+
+#### 方式一：直接启动
+```bash
+python proxy.py
+```
+
+#### 方式二：使用启动脚本（推荐）
+```bash
+python start_proxy.py --host 0.0.0.0 --port 8000
+```
+
+#### 方式三：使用环境变量配置
+```bash
+export PROXY_HOST=0.0.0.0
+export PROXY_PORT=8000
+export PROXY_MAX_MEMORY_USAGE=300
+python proxy.py
+```
+
+### 3. 健康检查
+
+访问 `http://localhost:8000/health` 查看服务器状态和内存使用情况。
+
+### 4. 手动清理内存
+
+```bash
+curl -X POST http://localhost:8000/admin/cleanup
+```
+
+## ⚙️ 配置选项
+
+### 环境变量配置
+
+| 变量名 | 默认值 | 说明 |
+|--------|--------|------|
+| `PROXY_HOST` | 0.0.0.0 | 绑定主机地址 |
+| `PROXY_PORT` | 8000 | 绑定端口 |
+| `PROXY_MAX_CONNECTIONS` | 100 | 最大连接数 |
+| `PROXY_MAX_KEEPALIVE_CONNECTIONS` | 20 | 最大保持连接数 |
+| `PROXY_KEEPALIVE_EXPIRY` | 30.0 | 连接保持时间（秒） |
+| `PROXY_CONNECT_TIMEOUT` | 10.0 | 连接超时（秒） |
+| `PROXY_READ_TIMEOUT` | 60.0 | 读取超时（秒） |
+| `PROXY_WRITE_TIMEOUT` | 10.0 | 写入超时（秒） |
+| `PROXY_MEMORY_CHECK_INTERVAL` | 30 | 内存检查间隔（秒） |
+| `PROXY_MAX_MEMORY_USAGE` | 500 | 最大内存使用（MB） |
+| `PROXY_CLEANUP_THRESHOLD` | 400 | 清理阈值（MB） |
+
+### 配置文件
+
+创建 `proxy_config.json` 文件：
+
+```json
+{
+  "host": "0.0.0.0",
+  "port": 8000,
+  "max_connections": 100,
+  "max_keepalive_connections": 20,
+  "keepalive_expiry": 30.0,
+  "connect_timeout": 10.0,
+  "read_timeout": 60.0,
+  "write_timeout": 10.0,
+  "memory_check_interval": 30,
+  "max_memory_usage": 500,
+  "cleanup_threshold": 400
+}
+```
+
+## 📈 监控和日志
+
+### 日志文件
+
+服务器运行日志保存在 `proxy.log` 文件中，包含：
+- 请求日志
+- 内存使用情况
+- 错误信息
+- 清理操作记录
+
+### 监控接口
+
+- `GET /health` - 健康检查和内存使用情况
+- `POST /admin/cleanup` - 手动触发内存清理
+
+### 示例监控脚本
+
+```bash
+#!/bin/bash
+# monitor.sh - 监控脚本示例
+
+while true; do
+    response=$(curl -s http://localhost:8000/health)
+    memory=$(echo $response | jq -r '.memory_usage_mb')
+    
+    echo "$(date): 内存使用 ${memory}MB"
+    
+    if (( $(echo "$memory > 400" | bc -l) )); then
+        echo "内存使用过高，触发清理..."
+        curl -X POST http://localhost:8000/admin/cleanup
+    fi
+    
+    sleep 60
+done
+```
+
+## 🔧 故障排除
+
+### 常见问题
+
+1. **内存使用仍然很高**
+   - 检查 `PROXY_MAX_MEMORY_USAGE` 和 `PROXY_CLEANUP_THRESHOLD` 设置
+   - 查看日志文件确认清理操作是否正常执行
+   - 考虑降低 `PROXY_MAX_CONNECTIONS` 值
+
+2. **连接超时**
+   - 调整 `PROXY_CONNECT_TIMEOUT` 和 `PROXY_READ_TIMEOUT`
+   - 检查目标服务器的响应时间
+
+3. **服务器无响应**
+   - 检查端口是否被占用
+   - 查看日志文件中的错误信息
+   - 尝试重启服务器
+
+### 性能调优建议
+
+1. **根据服务器配置调整连接数**：
+   - 低配置服务器：`MAX_CONNECTIONS=50`
+   - 高配置服务器：`MAX_CONNECTIONS=200`
+
+2. **根据网络环境调整超时**：
+   - 内网环境：较短的超时时间
+   - 外网环境：较长的超时时间
+
+3. **根据内存大小调整阈值**：
+   - 小内存服务器：降低 `MAX_MEMORY_USAGE`
+   - 大内存服务器：可以适当提高阈值
+
+## 📝 更新日志
+
+### v2.0.0 (当前版本)
+- ✅ 解决内存泄漏问题
+- ✅ 添加连接池管理
+- ✅ 实现内存监控系统
+- ✅ 优化资源释放机制
+- ✅ 添加健康检查接口
+- ✅ 完善错误处理
+- ✅ 添加配置管理
+
+### v1.0.0 (原始版本)
+- ❌ 存在内存泄漏问题
+- ❌ 缺乏资源管理
+- ❌ 无监控机制

proxy/config.py

@@ -0,0 +1,85 @@
+"""
+代理服务器配置文件
+可以通过环境变量或配置文件覆盖默认设置
+"""
+
+import os
+from typing import Optional
+
+class Config:
+    """配置类"""
+    
+    # 服务器配置
+    HOST: str = os.getenv("PROXY_HOST", "0.0.0.0")
+    PORT: int = int(os.getenv("PROXY_PORT", "8000"))
+    WORKERS: int = int(os.getenv("PROXY_WORKERS", "1"))
+    
+    # 连接池配置
+    MAX_CONNECTIONS: int = int(os.getenv("PROXY_MAX_CONNECTIONS", "100"))
+    MAX_KEEPALIVE_CONNECTIONS: int = int(os.getenv("PROXY_MAX_KEEPALIVE_CONNECTIONS", "20"))
+    KEEPALIVE_EXPIRY: float = float(os.getenv("PROXY_KEEPALIVE_EXPIRY", "30.0"))
+    
+    # 超时配置
+    CONNECT_TIMEOUT: float = float(os.getenv("PROXY_CONNECT_TIMEOUT", "10.0"))
+    READ_TIMEOUT: float = float(os.getenv("PROXY_READ_TIMEOUT", "60.0"))
+    WRITE_TIMEOUT: float = float(os.getenv("PROXY_WRITE_TIMEOUT", "10.0"))
+    POOL_TIMEOUT: float = float(os.getenv("PROXY_POOL_TIMEOUT", "5.0"))
+    
+    # 内存监控配置
+    MEMORY_CHECK_INTERVAL: int = int(os.getenv("PROXY_MEMORY_CHECK_INTERVAL", "30"))
+    MAX_MEMORY_USAGE: int = int(os.getenv("PROXY_MAX_MEMORY_USAGE", "500"))
+    CLEANUP_THRESHOLD: int = int(os.getenv("PROXY_CLEANUP_THRESHOLD", "400"))
+    
+    # 日志配置
+    LOG_LEVEL: str = os.getenv("PROXY_LOG_LEVEL", "INFO")
+    LOG_FILE: Optional[str] = os.getenv("PROXY_LOG_FILE", "proxy.log")
+    
+    # 安全配置
+    VERIFY_SSL: bool = os.getenv("PROXY_VERIFY_SSL", "false").lower() == "true"
+    ALLOWED_HOSTS: Optional[str] = os.getenv("PROXY_ALLOWED_HOSTS")  # 逗号分隔的主机列表
+    
+    # 性能配置
+    CHUNK_SIZE: int = int(os.getenv("PROXY_CHUNK_SIZE", "8192"))
+    ENABLE_COMPRESSION: bool = os.getenv("PROXY_ENABLE_COMPRESSION", "true").lower() == "true"
+    
+    @classmethod
+    def get_allowed_hosts(cls) -> list:
+        """获取允许的主机列表"""
+        if cls.ALLOWED_HOSTS:
+            return [host.strip() for host in cls.ALLOWED_HOSTS.split(",")]
+        return ["*"]  # 默认允许所有主机
+    
+    @classmethod
+    def load_from_file(cls, config_file: str):
+        """从配置文件加载配置"""
+        try:
+            import json
+            with open(config_file, 'r', encoding='utf-8') as f:
+                config_data = json.load(f)
+            
+            for key, value in config_data.items():
+                if hasattr(cls, key.upper()):
+                    setattr(cls, key.upper(), value)
+        except FileNotFoundError:
+            pass  # 配置文件不存在时使用默认值
+        except Exception as e:
+            print(f"加载配置文件失败: {e}")
+    
+    @classmethod
+    def save_to_file(cls, config_file: str):
+        """保存配置到文件"""
+        import json
+        
+        config_data = {}
+        for attr in dir(cls):
+            if attr.isupper() and not attr.startswith('_'):
+                config_data[attr.lower()] = getattr(cls, attr)
+        
+        with open(config_file, 'w', encoding='utf-8') as f:
+            json.dump(config_data, f, indent=2, ensure_ascii=False)
+
+# 默认配置实例
+config = Config()
+
+# 尝试加载配置文件
+config.load_from_file("proxy_config.json")