- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python分享
分析Python招聘数据，可视化展示招聘信息详情
明确需求 明确采集网站以及数据内容 数据: 职位信息 网址: https://we.51job.com/pc/search? 职位信息代码实现 请求数据 上面的抓包分析已经说的很清楚，所以不再赘述 这里请求我们需加上 Cookie：用户信息, 常用于检测是否登陆账号 <登陆与否都有cookie> Referer：防盗链, 告诉服务器请求链接地址 , 是从哪里跳转过来 User-Agent：用户代理, 表示浏览器基本身份信息 # 模拟浏览器 headers = { 'Cookie': 'guid=54b7a6c4c43a33111912f2b5ac6699e2 E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B '公司性质', '公司规模', '公司领域', '标签', '职位详情页', '公司详情页', ]) csv_writer.writeheader() 数据可视化展示
90330编辑于 2023-09-02 - 来自专栏好奇心Log
招聘信息 | 微软气象团队招聘
我们的目标是让10亿用户每天消费天气和财经信息成为一种习惯。
2.3K30发布于 2020-12-23 - 来自专栏自学的专栏
某招聘网站招聘信息的爬取
目标网站：拉某招聘实现目标：爬取指定职业指定地区的岗位信息，以及薪资情况1、网页分析当我们打开网页以后，使用开发者工具，使用定位工具，查看我们所要获取的数据信息是动态加载的还是写在源码中的，我们随便选择一个职业 ，能够看到我们所要获取的基础信息是写在源码中的一个个div节点下的图片那么我们只需要找到正确的类和节点顺序就能用xpath爬取数据信息了url = 'https://www.lagou.com/wn/jobs 本文这样写是可以请求到数据的我们可以在代码的开头写入input函数，因为网页的链接有pn、city、kd三个参数，他们分别对应着页码信息、城市信息、职业信息，我们可以手动输入想要获取的职业或者城市，这样我们就能爬取到我们想要的数据了 ，后续会针对爬取到的信息进行数据分析。 /{city_name}招聘信息.csv','a',encoding='utf-8')as f: title_d = csv.writer(f) title_d.writerows
98040编辑于 2023-05-10 - 来自专栏Python分享
招聘信息太多，哪家职位才是适合你的？Python采集招聘信息
前言 在招聘信息上，会提及工作的职位，不过大多描述是笼统的，还需要我们去了解工作的具体内容和性质。要知道，在不同的公司，同样的职位做的事情也是不一样的，工作方法更是大相径庭。 拉勾招聘是专业的互联网求职招聘平台。致力于提供真实可靠的互联网招聘求职找工作信息。 今天我们一起使用 python 采集拉钩的 python 招聘信息，分析一下找到高薪工作需要掌握哪些技术。 requests.post(url, data=data, headers=headers, cookies=get_cookie()) data = response.json() 我们的需求是获取招聘的信息 positionName': r['positionName'], 'salary': r['salary'], 'workYear': r['workYear'] } 把爬取的信息写入 CSV文件 pprint.pprint(d) with open('拉钩职位信息.csv', mode='a', encoding='utf-8') as f: values
80110发布于 2020-09-15 - 来自专栏idba
【招聘信息】杭州51信用卡招聘MySQL DBA
负责本部门其他员工的数据库相关技术指导和培训； 5. 有互联网超大规模系统运维经验者优先； 3、熟悉MySQL集群、负载均衡、分库分表方案，了解相关高可用技术，有实施经验者优先； 4、熟悉NoSQL技术，如Redis、MongoDB、Cassandra等，并对集群方案也有一定的了解； 5、
84840发布于 2018-08-09 - 来自专栏成套网站
2026版基于python大数据的招聘信息推荐与可视化系统
而企业也渴望通过数据分析，洞察人才市场的动态趋势，优化招聘策略。在此背景下，基于Python大数据的招聘信息推荐与可视化系统应运而生。 2、研究意义在海量招聘信息充斥的当下，求职者筛选合适岗位犹如大海捞针。基于Python大数据的招聘信息推荐与可视化系统能为求职者带来极大便利。 同时，数据可视化技术在招聘领域的应用也日益广泛，为求职者打造出直观便捷的信息查询与决策支持环境。 4.3 Django框架Django是一个高级的Python Web框架，旨在帮助开发者快速、安全、可维护地构建网站[5]。 5、系统实现
66510编辑于 2025-10-31 - 来自专栏机器学习原理
爬虫篇（3）——招聘网站招聘信息的爬取流程
目的：爬取智联招聘上全国的所有职位信息 职位信息包括：职位名称、福利、待遇、薪水、工作地点、工作经验、学历要求等 流程 包括分析页面和编写代码两部分 分析页面 1.主页面由职业分类组成，找到对应 file.write("薪水："+salary+"\n") file.write("地点："+address+"\n") file.write("***"*25+"\n") 5. Safari/537.36' } #1.获取职位分类列表 url_list = main_Web(url) #2.获取职位列表 for x in range(5)
1.8K100发布于 2018-04-28 超越常规：用PHP抓取招聘信息
通过分析招聘网站上的职位信息，人力资源专员可以了解市场上的人才供给情况，以及不同行业和职位的竞争状况。这样的数据分析有助于企业制定更加精准的招聘策略，从而提高招聘效率和成功率。 自动化数据采集可以使招聘人员更加专注于筛选和面试合适的候选人，而不是花费大量时间在手动收集和整理职位信息上。这不仅提高了招聘效率，还能够为公司节省宝贵资源，提升整体竞争力。 因此，通过利用PHP语言进行招聘网站数据采集并将信息存储为CSV文件格式，可以为企业提供更加全面、及时的人才市场情报，为招聘和人才管理提供有力支持，助力企业实现人才战略与业务目标的有效对接。 在本文中，我们将使用PHP搭配爬虫代理IP技术来采集51job网站的招聘信息。细节采集过程中，我们将重点关注三个主要信息：公司信息、职位信息和待遇。 结论通过使用PHP和代理IP技术，我们可以有效地采集招聘网站的数据。这种方法不仅可以帮助我们获取最新的招聘信息，还可以为数据分析和市场研究提供支持。
61810编辑于 2024-04-09- 来自专栏kl的专栏
java使用Jsoup精准爬取招聘信息
前言 最近探究搜索引擎接触到爬虫，想做点什么有意思的事情，除了前面取了点CSDN的文章外，今天来爬一爬拉勾网的职位信息 认识JSOUP jsoup 是一款Java 的HTML解析器，可直接解析某个 名称查找元素，比如：.masthead [attribute]: 利用属性查找元素，比如：[href] [^attr]: 利用属性名前缀来查找元素，比如：可以用[^data-] 来查找带有HTML5 ); Elements position= page.select("dd[class=job_request]").first().getAllElements();//职位信息 String jobExperience=position.get(4).text();//经验要求 String jobEducation=position.get(5) 公司主页 Elements companyTwo=page.select("ul[class=c_feature]").last().getAllElements();//公司信息
70440编辑于 2023-11-18 - 来自专栏Python分享
【Python爬虫】拉钩网招聘信息数据采集
本文要点： 爬虫的基本流程 requests模块的使用 保存csv 可视化分析展示 环境介绍 python 3.8 pycharm 2021专业版 激活码 Jupyter Notebook pycharm 浏览器的基本标识 headers = { 'cookie': 'privacyPolicyPopup=false; user_trace_token=20211016201224-ba4d90f0-3db5- ; JSESSIONID=ABAAAECAAEBABIIE72FFC38A79322951663B5C7AF10CD12; WEBTJ-ID=20211016201225-17c89047f4293-0d7a7cd583dc83 2073600-17c8904800e765%22%7D; PRE_UTM=; PRE_HOST=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fjobs%2Flist%5Fpython f'------------------------正在爬取第{page}页-------------------------') time.sleep(1) 保存数据 f = open('招聘数据
1.2K20发布于 2021-10-26 - 来自专栏爬虫逆向案例
011：运用Scrapy爬取腾讯招聘信息
找到items.py文件 根据目标网页，我们来确定爬取的目标为 “职位名称”、 “职位详情连接”、 “职位类型”、 “招聘人数”、 “工作地点”、 “发布时间”。 = scrapy.Field() #职位详情链接 position_type = scrapy.Field() #职位类型 recruit_num = scrapy.Field() #招聘人数 /td[5]/text()').extract_first() yield item 我们已经成功提取了“腾讯招聘”网的第一页数据。下面，我们来分析网页，爬取全部招聘信息。 我们根据这个规律，便可得出爬取全部招聘信息的思路 编写管道文件，存储数据 双击“pipelines.py"，进入管道文件，进行编写。 即可成功实现获取腾讯招聘信息。
94820发布于 2021-11-22 - 来自专栏python3
Python3获取拉勾网招聘信息
为了了解跟python数据分析有关行业的信息，大概地了解一下对这个行业的要求以及薪资状况，我决定从网上获取信息并进行分析。 像拉勾这种网站他们的信息一般都是通过ajax加载的，而且在输入“python数据分析”敲击回车之后跳转的页面，招聘信息不是一开始就显示出来的，通过点击页码也只是招聘信息在变化甚至连network都没多大变化 点击preview可见详细信息以json形式保存着，其中‘salary’、‘workYear’、‘education’、‘positionID’（招聘信息详情页有关的id）是我们要的。 解决这个问题的关键在于，了解拉勾的反爬机制：在进入python数据分析招聘页之前，我们要在主页，不妨叫它start_url输入关键字跳转。 三、获取招聘详情 上面说了positionID 是为了获取详情页，详情页里面有要的任职要求。
97230发布于 2020-01-16 - 来自专栏云原生生态圈
轻松爬取拉勾网招聘岗位信息
，我们就需要到某个招聘网站上不断的刷页面，看数据，但是简单的想一下，可以通过Python脚本来批量的分析招聘网站上各个岗位在不同城市的需求，高效的快捷的方便我们掌握大致的方向。 ，大可放心，同时也是为了找工作的小伙伴们提供一下参考的方向： 注意： 脚本中获取的是通过指定的页的数量获取全国各城市的岗位信息，你可以修改FetchData方法中的referer和请求地址中城市的值，以便获取你需要的目标城市的岗位信息 /usr/bin/env python3.4 # encoding: utf-8 """ Created on 2020-06-26 @title: '爬取拉钩网站的招聘信息' @author: marionxue city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=", "Content-Type": "application city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=") content = ses.post(url=url
94420发布于 2020-07-02 - 来自专栏毕设源码
计算机毕业设计-基于Python的招聘信息可视化分析系统设计与实现
基于Python的招聘信息可视化分析系统项目背景随着互联网的普及和信息技术的发展，人才招聘逐渐从传统的报纸广告、面试等方式转向线上平台。 招聘信息的数量快速增长，企业和求职者需要更加高效地获取、分析和理解这些信息。因此，基于Python的招聘信息可视化分析系统应运而生。 基于Python的招聘信息可视化分析系统项目简介该系统通过采集、处理和分析各个招聘网站上的招聘信息，并将分析结果以直观的图表、图像和统计数据的形式展示出来。 可视化展示：分析结果通过图表（如折线图、柱状图、热力图等）和地图展示，以帮助用户更直观地了解招聘市场的情况。 基于Python的招聘信息可视化分析系统项目功能设计图片基于Python的招聘信息可视化分析系统项目截图图片图片图片图片图片图片图片图片图片
2.4K52编辑于 2023-08-18 - 来自专栏python3
Selenium 动态爬取51job招聘信息
爬虫实现的功能: 输入python,选择地点:上海,北京 ---->就去爬取上海,北京2个城市python招聘信息 输入会计,选择地址:广州,深圳,杭州---->就去爬取广州,深圳,杭州3个城市会计招聘信息 最后定位需要爬取的数据 岗位名,薪水,公司名,招聘信息,福利待遇,岗位职责,任职要求,上班地点,工作地点 这些数据，总之需要什么数据，就爬什么 需要打开岗位详细的链接，比如：https://jobs.51job.com 重庆 东莞 大连 沈阳 苏州 昆明 长沙 合肥 宁波 郑州 天津 青岛 济南 哈尔滨 长春 福州 只支持以上城市,输入其它则无效 最多可选5个城市 __doc__) select_city = input("输入城市信息,最多可输入5个,多个城市以逗号隔开:") # 找到51job首页上关键字输入框 self.logger.addHandler(self.logHand) self.logger.addHandler(self.logHandSt) # 日志的5个级别对应以下的
1.7K40发布于 2020-11-03 - 来自专栏前端加油站
Echarts统计拉勾网招聘信息（scrapy 爬取）
今天要做的就是用图表统计一下现在各公司的薪资状况（虽然很多公司不能按照招聘上他们给的薪资来给）。 数据爬取 本次使用scrapy来做数据爬取，这是一个python的框架。 仔细查看他的network发现，他的招聘信息都是在另外的ajax请求当中，并且还是整理好的。 ? 因为本人工作1年多，所以主要关注点是3年以下及3-5年，就提前选好了，城市和工作年限。 gj=3%E5%B9%B4%E5%8F%8A%E4%BB%A5%E4%B8%8B%2C3-5%E5%B9%B4&xl=%E6%9C%AC%E7%A7%91&px=default&city=%E6%88% px=default&gj=3%E5%B9%B4%E5%8F%8A%E4%BB%A5%E4%B8%8B,3-5%E5%B9%B4&city=%E6%88%90%E9%83%BD User-Agent company = scrapy.Field() 经过这几项配置，运行命令 scrapy crawl lagou -o a.json 就可以得到一份a.json，里面就是成都web前端相关，工作年限为0-5年的数据信息了
93830发布于 2019-07-02 - 来自专栏爬虫资料
实战案例：采集 51job 企业招聘信息
本文将带你从零开始，借助 Feapder 快速搭建一个企业级招聘信息数据管道。 基础概念”部分，我们先了解什么是数据管道和 Feapder；“生动比喻”用日常场景帮助你快速理解爬虫组件；“技术场景”介绍本项目中如何使用代理等采集策略；“实战案例”通过完整代码演示采集 51job 招聘信息并分类存储 四、实战案例：采集 51job 企业招聘信息下面我们以 https://www.51job.com 为例，演示如何用 Feapder 搭建完整的爬虫管道，采集岗位名称、职位信息、工作地址、薪资待遇，并分类存储到本地 Requestfrom pipelines import JobItemimport randomclass JobSpider(Spider): """ Feapder 爬虫：采集 51job 企业招聘信息 /data/ 目录下会出现以公司名命名的 JSON 文件，每行一条岗位信息。
41010编辑于 2025-05-14 - 来自专栏python3
Python 爬虫 招聘信息并存入数据库
新学习了selenium,啪一下腾讯招聘 1 from lxml import etree 2 from selenium import webdriver 3 import pymysql 4 def Geturl(fullurl):#获取每个招聘网页的链接 5 browser.get(fullurl) 6 shouye_html_text = browser.page_source zp_url_lost 12 zp_url_list.append(zp_url) 13 return zp_url_list 14 def Getinfo(zp_url_list):#获取每个招聘链接内部的内容
1.3K10发布于 2020-01-19 - 来自专栏爱写Bug
新手向-爬取分析拉勾网招聘信息
TOC 爱写bug（ID：icodebugs） 作者：爱写bug 前言： 看了很多网站，只发现获取拉勾网招聘信息是只用post方式就可以得到，应当是非常简单了。推荐刚接触数据分析和爬虫的朋友试一下。 B7%A5%E7%A8%8B%E5%B8%88? B7%A5%E7%A8%8B%E5%B8%88? 2、获取招聘数据 然后解析返回的 json 对象。 最后把所有 company_info 汇总在一起： result = parse_page(job_json) all_company += result # 所有公司招聘信息汇在一起 接着以CSV格式存储在本地
85640发布于 2019-07-05 - 来自专栏python3
Scrapy案例02-腾讯招聘信息爬取
编写yield需要的管道文件 3.4. setting中配置请求抱头信息 4. 最后结果 1. 目标 目标：https://hr.tencent.com/position.php? &start=0#a 爬取所有的职位信息信息 职位名 职位url 职位类型 职位人数 工作地点 发布时间 2. 网站结构分析 ? 3. 编写爬虫程序 3.1. /td[5]/text()").extract()[0] yield item if self.offset < 100: self.offset return item def close_spider(self, spider): self.filename.close() 3.4. setting中配置请求抱头信息
72810发布于 2020-01-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号