python网页挖掘 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

如何通过python填充文本并选择选项(select tag)和点击提交(input tag)？

python、form-submit

我使用python并对一些内容进行数据挖掘，我将这些内容分类为不同的类别。有没有一种方法可以自动化这个过程？我猜这是一个“表单-提交”线程，但我还没有在Python中看到任何相关的模块。你能给我推荐点什么吗？

浏览 1提问于2018-05-30得票数 0

1回答

使用Python在远程网站上触发Javascript事件

javascript、python、dom、web-scraping

我编写了一些基本的Python代码来抓取远程网页并获取一些数据。在我试图抓取的另一个页面上，数据从视图中隐藏，只有在更改<select>框的值后才会显示。在对远程网站的javascript进行清理和挖掘后，我确认它正在使用AJAX (我认为是原型的自定义实现)来切换我感兴趣的<table>的<tbody>。有没有办法使用Python (或通过Python使用Javascript )来触发该选择框的onChange事件，这样我就可以“刷新”DOM并获取新的超文本标记语言？

浏览 0提问于2012-01-20得票数 3

回答已采纳

1回答

Selenium--driver.execute_script()不能工作

javascript、html、selenium、selenium-webdriver、web-scraping

我用driver.execute_script执行javascript，但是当我这样做时什么都不会发生--系统只是转到下一个python代码行。有什么想法？在网页中进行网页抓取--使用控制台中的JavaScript进行数据挖掘。当jScript i将它放到web控制台时，它工作得非常好。

浏览 4提问于2022-01-06得票数 2

1回答

从网页中提取主题/关键字

python、web-scraping、keyword

我正在寻找一个系统，以提取主题或简单的关键字从一个网页，只有从指定的网页，没有跟随所包含的链接。我想使用Python，但欢迎任何建议。非常感谢。

浏览 5提问于2014-04-11得票数 0

1回答

在网站上“通过继续分享资源”意味着什么？

web-browser、bitcoin

当我得到“了解更多”，它重定向给我一个模糊的数字货币网页(我忘了名字)。有点像比特币。当我点击“继续”时会发生什么？ “共享资源”到底是什么意思？我知道比特币需要巨大的计算能力来挖掘一个硬币，但是我被重定向的网页没有提到比特币。如果它类似于比特币挖掘，当我不在网页上时，网页会使用我的资源吗？

浏览 0提问于2018-06-21得票数 4

1回答

尝试从配置单元创建Hbase表时NoClassDefFoundError(HBaseConfiguration)

hadoop、hive、hbase、hiveql

我在Hue中使用了一个简单的查询。STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'TBLPROPERTIES("hbase.table.name" = "test");java.lang.

浏览 3提问于2015-02-06得票数 0

3回答

我可以用Scrapy填充web表单吗？

python、web-scraping、scrapy、form-submit

我需要一个免费的库，并且我已经读到过Scrapy用于数据挖掘。我用它编程有点复杂，但钱的规则。我在上搜索了一下，但是没有找到任何关于表单提交的东西。

浏览 3提问于2014-02-21得票数 9

回答已采纳

2回答

兴趣度？

data-mining

谁能解释一下在数据挖掘中一个项目集的兴趣度意味着什么？谷歌的结果对理解并不都有帮助。谢谢。

浏览 2提问于2011-10-17得票数 1

2回答

意见挖掘-哪种数据库类型？

orientation、semantics、mining

我正在进入一个项目，进行意见挖掘(数据挖掘、网页挖掘、->意见挖掘)，以获得所包含的单词的语义方向。我们将使用爬虫来获取页面的意见。

浏览 0提问于2009-11-23得票数 1

回答已采纳

0回答

Node.js中有没有用于情感分析的web挖掘库？

javascript、node.js、package、sentiment-analysis、web-mining

我正在寻找在Node中清理网页的web挖掘包。Node中有没有像R tm.plugin.webmining包一样的用于web挖掘的内置包？谢谢

浏览 7提问于2017-06-19得票数 2

1回答

关于数据科学的距离的书(记不起名字)

metric、reference-request、books

我在某个地方看到一本书，其中列出了大量用于数据科学的数学距离函数(通常的欧氏范数、离散距离、hamming距离等)。这本书的名字可能类似于“数据科学的101个度量标准”。我找不到它。有人知道它(或类似的书)吗？谢谢!

浏览 0提问于2019-09-17得票数 1

2回答

Python文本挖掘

python

我有一个函数get_numbers( 'X‘)，它运行必应搜索来查找’X‘的联系号码，即get_numbers('Google')将返回一个客服联系号码。我想通过对公司名称的不同形式运行Bing搜索来扩展搜索。然后运行for循环，在该名称的所有版本上运行get_numbers。 etc =['','ltd','plc', 'inc'] names = [ '{} {}'.format(company,i) for i i

浏览 1提问于2015-06-15得票数 1

1回答

在python中从给定文本中挖掘关键字

python-3.x

待挖掘关键字列表：这是一个文本，上面的关键字必须挖掘出来： text = "***Python*** allows programmers to define their own typesusing classes and

浏览 9提问于2017-07-23得票数 1

3回答

python数据挖掘

python、nlp、data-mining

我对数据挖掘并不感兴趣，但我需要一些关于聚类的想法。让我先描述一下我的问题。谢谢

浏览 2提问于2011-04-04得票数 3

回答已采纳

1回答

输入web应用程序和服务器之间的数据。

javascript、php、jquery、encryption

但是黑客可以挖掘网页代码，模拟网页行为，对服务器造成伤害(例如，垃圾邮件)。我可以使用 JS代码，但我是否可以认为，对于那些不像银行那样安全的应用程序，它已经足够了？

浏览 3提问于2014-03-20得票数 1

回答已采纳

1回答

使用shell脚本从显示在网页顶部的弹出窗口中提取urls链接？

html、linux、shell、webpage

如何从出现在网页顶部的弹出窗口中提取url链接。我尝试使用wget，curl和lynx，但我们将获得原始页面的内容没有弹出窗口。寻找有效的解决方案，从网页中提取链接，并利用Shell脚本对其进行挖掘以搜索特定的模式

浏览 0提问于2016-02-25得票数 0

3回答

是否有基于过滤器的特征选择方法的在线实现？

matlab、classification、weka、feature-selection

我正在寻找的选择方法是基于子集评估的方法(即，不要简单地对单个特征进行排序)。我更喜欢在Matlab或基于WEKA的实现，但任何其他语言的实现仍然是有用的。我知道这是“太少”，因为我已经建立了大子集的

浏览 8提问于2014-09-01得票数 1

回答已采纳

4回答

使用python打开web浏览器(在windows上)，触发javascript操作，并获取html内容？

javascript、python、windows

我正在尝试从我们的内联网页面中挖掘数据。页面是安全的。当我尝试使用urllib.urlopen()获取内容时，连接被拒绝。因此，我想使用python打开web浏览器打开网站，然后单击一些触发javascript弹出窗口的链接，其中包含我想要收集的信息表。我知道页面的格式。

浏览 0提问于2012-01-26得票数 1

回答已采纳

1回答

无法安装带有apt ansible模块的包，但可以从shell安装

ansible、ubuntu-16.04、apt

当我从命令行运行时，它可以工作： sudo apt-get install python3.9 当我使用ansible运行时，它抛出错误： ansible edge -m apt -a 'name=python3.9=> changed=false msg: No package matching 'python3.9' is available Ubuntu xenial，python可执行文件python3.5我不知道在哪里挖掘，也许这是一些

浏览 38提问于2021-02-07得票数 0

1回答