我在试着创造一个木偶手刮刀。它必须遍历存储在对象中的urls,并执行如下函数:
(async () => {const url = 'https://majestic.com/';
const browser = await puppeteer.launch({headless: true});
const page = await browser.newPage();
await page.setCookie(... cookies);
await page.goto('https://majestic.com/reports/site-explorer?q='+ newDataDomains[2]['Domain'] + '&oq=' + newDataDomains[2]['Domain'] + '&IndexDataSource=F');
const rootDomainTF = await page.evaluate(() => (document.querySelector("#trust_flow_chart > svg > g > g > text").textContent));
console.log('Root Domain TF = ' + rootDomainTF);
};它将转到一个通过url从域构建的url (例如,当前只有一个),并获得一些html的值。
对象newDataDomains有大约100个类似于
[
{ Domain: 'surfury.co.uk', 'Number of drops': 1 },
{ Domain: 'tal0ne.co.uk', 'Number of drops': 1 },
{ Domain: 'devonsfinest.co.uk', 'Number of drops': 2 }
]液滴变量的数量也很重要,每个迭代函数的值都会略有不同。
我已经为应该被抓取的内容编写了代码,但是现在我需要一种方法来告诉程序“遍历这个对象的urls并保留这两个属性的值。
发布于 2021-08-01 19:41:03
使用For循环迭代对象,并声明两个数组,一个用于URL,另一个用于删除次数(这就是如何遍历对象并存储其值)。若要访问对象值,请使用点方法示例:objectName.url.
https://stackoverflow.com/questions/68613710
复制相似问题