update:简化各个库并提高复用性。完成番茄小说爬虫示例。

Author: hjdhnx

README.md

@@ -9,3 +9,12 @@ todo:
 1. js里的源能否去除export开头，保持跟qjs一致
 2. js里的源，像一级这种异步js，里面调用未定义的函数，能否不通过函数参数传入直接注入调用
 3. 在源的各个函数调用的时候动态注入input、MY_URL等局部变量不影响全局。搞了半天没成功，有点难受，待解决
+
+
+写源的函数不可以使用箭头函数，箭头函数无法拿到this作用域就没法获取input和MY_URL变量
+
+精简去除的库:
+1. axios
+2. jsonpath
+3. underscore
+4. pino-pretty

drop_code/inject_var.js

@@ -0,0 +1,100 @@
+moduleObject.injectVars = (vars) => {
+    // 遍历 vars 对象，将其中的键值对转化为局部变量
+    for (let key in vars) {
+        let value = vars[key];
+
+        // 根据类型判断并转化值
+        if (value === undefined) {
+            value = 'undefined';  // undefined转为 'undefined'
+        } else if (value === null) {
+            value = 'null';       // null 转为 'null'
+        } else if (value === '') {
+            value = "''";         // 空字符串转为 "''"
+        } else if (typeof value === 'boolean') {
+            value = value ? 'true' : 'false';  // 布尔值转为 'true' 或 'false'
+        } else if (typeof value === 'object') {
+            if (Array.isArray(value)) {
+                value = JSON.stringify(value);  // 数组转为 JSON 字符串
+            } else if (value instanceof Date) {
+                value = `new Date("${value.toISOString()}")`;  // Date 对象转为日期字符串
+            } else if (value instanceof RegExp) {
+                value = value.toString();  // 正则表达式转为字符串表示
+            } else {
+                value = JSON.stringify(value);  // 普通对象转为 JSON 字符串
+            }
+        }
+
+        // 构造赋值代码，并通过 eval 动态执行
+        let _code = `moduleObject.${key} = ${value}`;
+        console.log(_code); // 打印每个注入的变量代码
+        eval(_code); // 使用 eval 在当前作用域中定义变量
+    }
+}
+moduleObject.injectMethodVars = async function (method, args, vars) {
+    async function _inner() {
+        let input;
+        let MY_URL;
+        // 遍历 vars 对象，将其中的键值对转化为局部变量
+        for (let key in vars) {
+            let value = vars[key];
+
+            // 根据类型判断并转化值
+            if (value === undefined) {
+                value = 'undefined';  // undefined转为 'undefined'
+            } else if (value === null) {
+                value = 'null';       // null 转为 'null'
+            } else if (value === '') {
+                value = "''";         // 空字符串转为 "''"
+            } else if (typeof value === 'boolean') {
+                value = value ? 'true' : 'false';  // 布尔值转为 'true' 或 'false'
+            } else if (typeof value === 'object') {
+                if (Array.isArray(value)) {
+                    value = JSON.stringify(value);  // 数组转为 JSON 字符串
+                } else if (value instanceof Date) {
+                    value = `new Date("${value.toISOString()}")`;  // Date 对象转为日期字符串
+                } else if (value instanceof RegExp) {
+                    value = value.toString();  // 正则表达式转为字符串表示
+                } else {
+                    value = JSON.stringify(value);  // 普通对象转为 JSON 字符串
+                }
+            }
+
+            // 构造赋值代码，并通过 eval 动态执行
+            let _code = `${key} = ${value}`;
+            console.log(_code); // 打印每个注入的变量代码
+            eval(_code); // 使用 eval 在当前作用域中定义变量
+        }
+
+        // 打印 inject 的变量值，确保它们在 eval 中被正确注入
+        console.log('=====inject vars=====');
+        console.log(input);   // 现在 input 应该是定义好的
+        console.log(MY_URL);  // MY_URL 应该被注入并可用
+
+        // 执行传入的 method
+        return await method(...args);
+    }
+
+    return await _inner();
+};
+
+
+const injectVars = {input: '你好', MY_URL: 'https://example.com'};
+const functions = ['class_parse', '预处理', '推荐', '一级', '二级', '搜索', 'lazy'];
+
+for (let func of functions) {
+    if (typeof moduleObject[func] === 'function') {
+        // 如果是箭头函数
+        if (moduleObject[func].toString().includes('=>')) {
+            const originalMethod = moduleObject[func];
+
+            // 包装箭头函数，将其改为闭包函数
+            moduleObject[func] = function (...args) {
+                const self = injectVars; // 动态注入 self
+                return (async (...innerArgs) => {
+                    // 调用原始的箭头函数
+                    return await originalMethod.apply(self, innerArgs);
+                })(...args);
+            };
+        }
+    }
+}

index.js

@@ -1,5 +1,5 @@
 import Fastify from 'fastify';
-import * as drpy from './libs/drpy.js';
+import * as drpy from './libs/drpyS.js';
 import path from 'path';
 import {fileURLToPath} from 'url';
 import {base64Encode, base64Decode, atob, btoa} from "./libs_drpy/crypto-util.js";
@@ -40,7 +40,7 @@ fastify.get('/api/:module', async (request, reply) => {
 
         if ('ac' in query && 'ids' in query) {
             // 详情逻辑
-            const result = await drpy.detail(modulePath, query.ids);
+            const result = await drpy.detail(modulePath, query.ids.split(','));
             return reply.send(result);
         }
 

js/test.js

@@ -43,13 +43,17 @@ var rule = {
             {vod_name: '测试电影2', vod_pic: '2.png', vod_remarks: '测试描述2', vod_id: 'http://www.2.com'},
         ]
     },
-    一级: async () => {
-        // await sleep(200);
-        sleepSync(200);
-        let html = await req('123');
-        console.log('title:', rule.title);
-        console.log('html:' + html);
-        return html + '\n' + '这是一级:' + rule.title
+    一级: async function(tid, pg, filter, extend) {
+        let {input,MY_URL} = this;
+        console.log({tid,pg,filter,extend});
+        console.log(`input:${input},MY_URL:${MY_URL}`);
+        console.log(rule.host);
+        console.log(rule.host.rstrip('/'));
+        // log(typeof jsonpath)
+        // log(jsonpath({path:'$.title',json:rule}))
+        log(MOBILE_UA);
+        log(jsonpath.query(rule,'$.title'));
+        return `input:${input},MY_URL:${MY_URL},host:${rule.host.rstrip('/')}`
     },
     二级: async () => {
         return '这是二级:' + rule.title