使用Python读取和与HTML表交互

Question

我正在尝试从一个HTML表中抓取信息，该表具有交互能力，可以在不同的时间段中筛选信息。示例表位于这个URL：page=45750上。

我想在9:30开始，然后通过向前跳1分钟与桌子互动。我想将所有数据导出到DataFrame。我尝试过使用pandas.read_html()，也尝试过使用BeautifulSoup。这两种方法都不适合我，尽管我对BeautifulSoup缺乏经验。我的要求是可能的，还是网站保护这些信息免受网络抓取？任何帮助都将不胜感激！

Answer 1

页面是非常动态的(并且非常慢，至少在我这边是这样)，涉及到JavaScript和多个异步请求来获取数据。使用requests实现这一点并非易事，您可能需要通过selenium来使用浏览器自动化。

这里有件事让你开始吧。注意这里和那里使用的显式等待：

import pandas as pd
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Firefox()
driver.maximize_window()
driver.get("http://quotes.freerealtime.com/dl/frt/M?IM=quotes&type=Time%26Sales&SA=quotes&symbol=IBM&qm_page=45750")

wait = WebDriverWait(driver, 400)  # 400 seconds timeout

# wait for select element to be visible
time_select = Select(wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "select[name=time]"))))

# select 9:30 and go
time_select.select_by_visible_text("09:30")
driver.execute_script("arguments[0].click();", driver.find_element_by_id("go"))
time.sleep(2)

while True:
    # wait for the table to appear and load to pandas dataframe
    table = wait.until(EC.presence_of_element_located((By.ID, "qmmt-time-and-sales-data-table")))
    df = pd.read_html(table.get_attribute("outerHTML"))
    print(df[0])

    # wait for offset select to be visible and forward it 1 min
    offset_select = Select(wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "select[name=timeOffset]"))))
    offset_select.select_by_value("1")

    time.sleep(2)

    # TODO: think of a break condition

请注意，这在我的机器上运行非常非常慢，我不知道它在您的机器上运行得有多好，但是它在一个没完没了的循环中不断向前推进1分钟(您可能需要在某个时候停止它)。

Answer 2

此页面由JavaScript呈现，如果在浏览器中禁用JS，则此页面的输出如下：

​

​

请求或熊猫只处理HTML代码。