在解析网页数据之前，如何使用"Jsoup“登录网页？

Question

我编写了java程序来连接到https://www.valueresearchonline.com/funds/portfoliovr.asp?schemecode=26123，使用Jsoup和解析数据。

现在，该网站已授权先登录，然后才能显示全部数据。

https://www.valueresearchonline.com/login

有没有办法先用Jsoup登录一个网站，然后解析它呢？

Answer 1

pom.xml

<dependency>
              <groupId>org.jsoup</groupId>
              <artifactId>jsoup</artifactId>
               <version>1.15.3</version>
          </dependency>

导入java文件如下所示

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

以下工作代码

 Connection.Response res = Jsoup.connect("https://www.valueresearchonline.com/login").userAgent("Mozilla")
                .data("username", "your_username", "password", "your_password")
                .method(Connection.Method.POST)
                .execute();

    System.out.println(res.statusCode());

//这会给你带来饼干

Map<String, String> loginCookies = res.cookies();

//在这里解析所需的页面。将您在登录时看到的url放在

Document doc = Jsoup.connect("https://www.valueresearchonline.com/")
            .userAgent("Mozilla")
            .cookies(loginCookies)
            .get();

System.out.println(doc.baseUri());