- 综合排序
- 最热优先
- 最新优先
- 来自专栏Python自动化测试
Selenum获取招聘数据
self.request_detail_page(link) 然后编写方法request_detail_page解析每个公司招聘详情页面的数据，这地方同时涉及到多窗口的操作（这部分的知识不做解释 ，招聘Title，职位要求，薪资范围，并且把这些数据放到一个字典中，见parse_detail_page方法的源码： def parse_detail_page(self,source): '' '对招聘详情页的数据进行解析''' #对详情页的数据进行分析 html=etree.HTML(source) #获取公司基本信息 infos=html.xpath('//div[ self.driver.window_handles[0]) self.parse_detail_page(source) def parse_detail_page(self,source): '''对招聘详情页的数据进行解析 ，这里对这些数据就不显示了，实在是数据太多。
1.2K60发布于 2018-10-24 - 来自专栏Python自动化测试
获取拉钩网招聘数据
平常在找工作的时候，经常会使用到拉钩网，比如搜索关键字“自动化测试工程师”，然后就会显示很多的招聘信息，那么如何批量的获取这些招聘信息并对这些信息进行整个的数据分析了？ 如果我们能够拿到批量的数据，并且对这些数据进行分析，比如最高薪资，最低薪资，招聘自动化测试要求必须掌握的工作内容等等。 那么获取到这些数据后，经过分析对我们还是很有参考价值的，那么今天晚上就先来实现第一部分，在拉钩网进行关键字搜索，搜索后，拿到自动化测试工程师招聘列表的信息，包含每一页的信息，以及总共多少页的信息，搜索后 请求方法：POST 在如上的信息中，可以得到它的请求方法是post，请求参数中pn是代表页数，kd是搜索的关键字参数，那么我们先来获取每一页它的招聘列表的数据，实现的源码为： def 在上面中实现了每一页的招聘数据，下来来实现关键字搜索后所有页数的招聘数据，“自动化测试工程师”搜索后得到的页面是30页，如下图所示： ?
92610发布于 2018-12-06 - 来自专栏Python分享
分析Python招聘数据，可视化展示招聘信息详情
数据来源分析 1. 明确需求 明确采集网站以及数据内容 数据: 职位信息 网址: https://we.51job.com/pc/search? 打开开发者工具: F12 / 右键点击检查选择network 暂时可能没有数据包或者数据包比较少 <数据不完整> II. 刷新网页: 让数据内容重新加载一遍 III. 发送请求, 模拟浏览器对于url地址发送请求 请求链接地址: 找到数据包链接 2. 获取数据, 获取服务器返回响应数据 开发者工具: response <所有数据内容> 3. 解析数据, 提取我们需要的数据内容 职位，公司，薪资，城市，经验，学历要求等 4. 保存数据, 把数据保存本地文件 csv Excel 数据库 文本... 招聘企业公司性质分布", "subtext": "民营', '已上市', '外资（非欧美）', '合资', '国企', '外资（欧美）', '事业单位'"} ) # 保存html文件 #
80030编辑于 2023-09-02 - 来自专栏python3
数据分析岗位招聘情况
本次主要围绕数据分析岗位的招聘情况, 进行一个简单的数据分析 环境 win8, python3.7, pycharm, jupyter notebook 正文 1. 明确分析目的 了解数据分析岗位的最新招聘情况, 包括地区分布, 学历要求, 经验要求, 薪资水平等. 2. 数据收集 这里借助爬虫, 爬取招聘网站的招聘信息, 进而分析出相关的薪资以及招聘要求. 2.1 目标站点分析 通过对目标站点的分析, 我们需要确定目标站点的请求方式, 以及网页结构. 2.2 新建scrapy (ID67897)知名500强法资公司招聘数据分析专员 5 (Senior)DataAnalyst 6 ', fontsize = 24) 招聘数据分析岗位的公司规模主要以50-500人为主 ?
1.8K40发布于 2020-01-20 - 来自专栏好奇心Log
招聘信息 | 微软气象团队招聘
我们正在寻找对天气预报的数据挖掘、机器学习和深度学习有强烈热情的优秀数据科学家，涵盖降水现在预报、每日预报等。 职责 气象数据的数据分析与处理。 天气预报机器学习模型的实验。 熟悉气象数据。 良好的沟通能力。 良好的快速学习能力。 有计算机视觉经验者优先。 有数据竞赛经验者优先。 有大数据和分析技能者优先。 计算机科学或相关专业的学士/硕士。
2.3K30发布于 2020-12-23 - 来自专栏大数据文摘
大数据将彻底颠覆招聘产业
决定招聘成败的关键，是对双方内在需求的把握！ 为什么要做极速推荐？研究别的招聘网站的产品你发现，所有的招聘产品，人们常说招聘的产品分为两个点，就像翘翘板，一边是求职者，一边是企业。 大数据技术服务将彻底颠覆招聘产业 既然，我们知道企业和求职者的那些内在需求，是干扰招聘最终成败的重要因素。对我们来说，这是一种信息不对称。 但是，传统招聘网站不愿意放弃这种落后的模式的原因，就在于它商业模式的僵化。它依靠收企业广告费就可以赚钱。内聘网就是做推荐，将来内聘网还想借助推荐得来的数据，进行数据深挖。 将来的话，这个里边将来最有价值的东西就是数据挖出来之后它的算法和模型是最有价值的东西。 未来，随着数据回笼越来越多，可以参考的参数标准会更加丰富，最终实现数据牵头，将招聘完成在眨眼之间。不过，我们认为数据模型的完善其实不容易，目前内聘网还有很多人工在里面了。内聘网上十人的规模三个客服。
60680发布于 2018-05-21 - 来自专栏nginx
招聘大数据的分析与预测
招聘大数据的分析与预测 招聘市场是劳动力供需的桥梁，在数字化时代，海量招聘数据通过招聘网站、求职平台等渠道被记录和存储。 如何分析这些数据，了解招聘趋势、岗位需求与人才分布，并对未来招聘形势进行预测，是企业人力资源优化与人才战略制定的核心课题。本文将基于招聘大数据展开分析与预测，探索其中蕴含的规律和洞察。 二、数据准备 2.1 数据来源 招聘数据通常来源于以下渠道： 招聘平台爬取数据：如拉勾网、前程无忧、智联招聘等，获取岗位需求、薪资范围、职位描述等； 开放数据集：如 Kaggle 或政府公开的就业数据； 企业内部数据：企业的人才流动数据、招聘记录。 未来，随着数据规模的进一步扩大与分析技术的不断进步，招聘大数据的应用将更加广泛，为智慧招聘与人才市场的良性发展提供更多可能。
56010编辑于 2025-11-14 - 来自专栏实用技术
python爬取招聘网站数据
language, city)) return urlList def getOnePageData(self): pass # MongoDB 存储数据结构 , # 公司级别（上市公司） "companySize": companySize, # 公司人数规模（150-500人） } # 获取网页源码数据 # language => 编程语言 # city => 城市 # collectionType => 值：True/False True => 数据库表以编程语言命名 self.getItemData(selector, language, city, collectionType) browser.close() # 解析一条 item 数据 ： # -*- coding: utf-8 -*- # 数据分析，数据可视化 from os import path from wordcloud import WordCloud, ImageColorGenerator
2.1K30编辑于 2022-02-10 - 来自专栏人力资源数据分析
各个招聘渠道招聘数量分析
在我们前几期做招聘数据分析的时候，我们讲到了招聘渠道的数据逆分析，在上一期我们通过各个部门维度来对招聘渠道进行数据分析，选择部门，出现这个部门招聘人数是由哪几个渠道提供的， ? 今天我们从另外一个维度来分析渠道招聘的有效性，就是从渠道的角度出发来对岗位招聘的数据和占比进行分析。 做这个分析的目的是我们想了解每个渠道在一定的周期内，找到了哪些岗位，这些岗位数量多少，做这个分析的目的是为了验证我们上个从部门维度做分析的数据，所以在筛选额维度上我们选择这个周期内招到人的各个招聘渠道， 在数据的呈现上，我们会显示每个渠道找到了多少人，以柱状图的形式呈现，同时通过数据透视表来做数据的辅助。 ? 通过这种数据互动的形式，我们就可以选择渠道进行数据的分析。
2.1K10发布于 2019-10-17 - 来自专栏python进阶学习
使用python爬取招聘网站数据
现在大家找工作都是通过各种招聘app,信息全部罗列出来，可是招聘信息有一些是错综复杂的。而且不能把全部的信息全部罗列出来,这样也让人很苦恼，所以今天我们就通过爬虫技术，为大家解决这个问题。 首先我们的爬取目标是获取招聘信息，并批量把地点、 公司名、工资 、等详细资料做成文档。这里我们就以boss直聘为例。在获取数据之前简单的对网站进行了分析，该网站上的反爬主要有两点。 1、 直接使用requests库，在不设置任何header的情况下，网站直接不返回数据。2、同一个ip连续访问多次，直接封掉ip。 为了解决这两个问题，最后经过研究，使用以下方法，可以有效解决。 targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text ```最后做个小的总结，在获取数据的过程中不建议抓取太多数据 本文分享的是爬取招聘网，在实际过程中出现的难点和重点，以及如何防止反爬，做出了相对于的解决方案。
71510编辑于 2024-06-08 - 来自专栏Python分享
【Python爬虫】拉钩网招聘信息数据采集
格式化输入模块 import csv >>> 保存csv文件 import re >>> re 正则表达式 import time >>> 时间模块 第三方模块: import requests >>> 数据请求模块 如果出现爆红，可能是因为，网络连接超时，切换国内镜像源 代码实现步骤: (爬虫代码基本步骤) 发送请求 获取数据 解析数据 保存数据 开始代码 导入模块 import requests # 数据请求模块 第三方模块 pip install requests import pprint # 格式化输出模块 import csv # csv保存数据 import time 发送请求 url = 'https 解析数据 json数据最好解析 非常好解析, 就根据字典键值对取值 result = response.json()['content']['positionResult']['result'] # f = open('招聘数据.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames
1.2K20发布于 2021-10-26 - 来自专栏SDNLAB
招聘 | 之江实验室招聘通道开启
岗位介绍 目前共有60余个岗位正在招聘，涵盖芯片、人工智能、网络安全、计算机、自动化、电子通信、软硬件等多个方向。 ＞新型网络类：多模态网络、软件定义网络、P4可编程网络、新型网络协议、智能网卡。
1.2K20编辑于 2022-07-19 - 来自专栏大数据文摘
透过10亿条招聘数据看大数据职位需求
美国人才招聘市场的数据分析领先者WANTED Analytics 最近给出报告：2014年计算机系统分析师和大数据专业人才的市场需求分别增加了89.9% 、85.4%； Python 编程技能的市场需求增加了 这份报告基于的WANTED Analytics的数据库，由从150多个国家，超过10亿条非重复独立的工作招聘条组成。 要点： 过去一年内很多职业对大数据专业知识的需求急速上升。 就2014年12月29日统计的数据来看,需要有大数据技能的工作的招聘比为76,平均每个职位的申请者为12人.招聘比例值越高,表示雇主越难找到职位的合适人选。 美国云计算方面的IT专业人士的平均招聘时间为47天 ? 大数据专业人士的年薪中位数为10.3万美金。 下图为WANTED Analytics公司提供的城市数据分布图,它展示了美国各地区工作数量,工资水平,人才供应,平均招聘时间以及招聘比例等信息, 并总结了美国前20名的大数据人才市场的信息。 ?
75380发布于 2018-05-21 - 来自专栏自学的专栏
某招聘网站招聘信息的爬取
目标网站：拉某招聘实现目标：爬取指定职业指定地区的岗位信息，以及薪资情况1、网页分析当我们打开网页以后，使用开发者工具，使用定位工具，查看我们所要获取的数据信息是动态加载的还是写在源码中的，我们随便选择一个职业 )company_name = html.xpath('//*[@id="jobList"]//span/div/div[2]/text()')这样我们就能获取一页岗位的信息了，那么我们如何实现多页的数据爬取呢当我们多浏览几页数据 本文这样写是可以请求到数据的我们可以在代码的开头写入input函数，因为网页的链接有pn、city、kd三个参数，他们分别对应着页码信息、城市信息、职业信息，我们可以手动输入想要获取的职业或者城市，这样我们就能爬取到我们想要的数据了 ，后续会针对爬取到的信息进行数据分析。 /{city_name}招聘信息.csv','a',encoding='utf-8')as f: title_d = csv.writer(f) title_d.writerows
94640编辑于 2023-05-10 - 来自专栏PPV课数据科学社区
大数据招聘，我就这样被算法选中
目前，关于使用大数据来进行招聘的想法有存在很多建设性的争议，同样存在的还有兴奋，尤其是在那些很难找到优秀人才的产业。 另一家旧金山的初创公司“人才回收站”（TalentBin），也在互联网上搜索有才华的程序员，根据该公司的网站介绍，TalentBin在程序员聚集的网站网络人才，收集“数据废气”，为雇主创建潜在的招聘名单 英国数据分析公司Altimeter Group的负责数据和分析产业的分析师苏珊•艾特琳（Susan Etlinger）表示，这样在招聘时应用大数据“绝对值得一试”。 大数据公司QUID的共同创始人和首席技术官肖恩•古尔利（Sean Gourley）表示，筛查数据可以为招聘提供信息，但前提是使用时要了解数据不能揭露的信息。“大数据有大数据的偏见，”他说。 大数据招聘，有多靠谱？
91250发布于 2018-04-18 - 来自专栏大数据动态
招聘 | 腾讯云大数据，期待您的加入！
信息时代，海量数据链接无限价值 腾讯云大数据平台邀您一起，探索数据的无限潜能！ 3.png 04大数据前端工程师 深圳/上海/北京 岗位职责： 1、负责腾讯云大数据（ES产品、流计算、数仓等）产品的功能设计和开发工作； 2、负责大数据、机器学习、深度学习、弹性推理等平台的工程化和服务化 ； 7.png 08大数据基础产品经理 深圳 岗位职责： 1、参与数据仓库、大数据平台相关的行业分析、竞品调研； 2、参与大数据平台的产品策划以及相关产品材料（PRD、白皮书、解决方案）的撰写； 3、 9.png 10大数据产品运营经理 深圳/上海/北京 岗位职责： 1、负责腾讯云大数据产品品牌运营，市场与媒体关系维系，通过市场和品牌推广增强大数据产品的曝光，提升产品在行业和市场的声量和口碑； 2、 10.png 11大数据生态运营经理 深圳/上海/北京 岗位职责： 1、主要负责腾讯云大数据生态产品运营工作； 2、熟悉大数据生态体系，根据业务需要，拓展大数据产品在基础平台层、数据应用层的生态产品能力
2.3K40发布于 2021-01-06 - 来自专栏Python分享
8月份Python招聘情况怎么样？Python爬取招聘数据，并进行分析
前言 拉勾招聘是专业的互联网求职招聘平台。致力于提供真实可靠的互联网招聘求职找工作信息。 今天我们一起使用 python 采集拉钩的 python 招聘信息，分析一下找到高薪工作需要掌握哪些技术 开发环境： 解释器：Python 3.6.5 | Anaconda, Inc. 需求 请求拉勾网 python 300条的招聘数据，并将信息写入到一个txt文本里面。 例如： 上海,上海沸橙信息科技有限公司,150-500人,本科,python,8k-12k,不限 Python爬虫爬取前300条数据 代码如下： ? 运行代码，效果如下： ? ?
1.1K10发布于 2020-09-15 - 来自专栏Python进阶之路
python爬虫 senlenium爬取拉勾网招聘数据
文章目录 一、基本思路 目标url：https://www.lagou.com/ 用selenium爬虫实现，输入任意关键字，比如 python 数据分析，点击搜索，得到的有关岗位信息，爬取下来保存到 [nwfsse82z7.png] [k2cnrejwth.png] 有30页，每个页面有15条招聘信息。 # 模拟点击下一页 翻页爬取数据 每爬取一页数据 休眠 控制抓取速度 防止被反爬 让输验证码 for i in range(29): browser.find_element_by_class_name search_product(keyword) wb.save('job_info.xlsx') if __name__ == '__main__': keyword = 'Python 数据分析 Excel，运行结果如下： [bxhefz30co.png] 三、查看数据 [1ga6fui77p.png] [dudlg93pcj.png] [5z6k9b8wz4.png] 作者：叶庭云 微信公众号
1.7K20发布于 2020-09-17 - 来自专栏python3
Python 爬虫 招聘信息并存入数据库
新学习了selenium,啪一下腾讯招聘 1 from lxml import etree 2 from selenium import webdriver 3 import pymysql 4 def Geturl(fullurl):#获取每个招聘网页的链接 5 browser.get(fullurl) 6 shouye_html_text = browser.page_source zp_url_lost 12 zp_url_list.append(zp_url) 13 return zp_url_list 14 def Getinfo(zp_url_list):#获取每个招聘链接内部的内容
1.2K10发布于 2020-01-19 - 来自专栏一些有趣的Python案例
【大数据实战】招聘网站职位分析
通过采集招聘网站大数据职位信息、利用数据清洗、数据分析、jieba分词、数据挖掘完成整体项目的开发工作。 任务包含爬取招聘网站大数据职位信息、使用BeautifulSoup清洗职位信息网页、使用PySpark对智联数据进行分析、对招聘职位信息进行探索分析、使用结巴分词对岗位描述进行分词并将关键词统计、利用Echarts 目录 1 爬取招聘网站大数据职位信息 1.1 知识前述 1.2 代码详解 1.3 完整代码 2 对招聘职位信息进行探索分析 2.1 知识前述 2.2 代码详解 2.3 运行结果 2.4 结果分析 3 建立职位模型对应聘人员进行相似度的计算 3.1 知识前述 3.2 代码详解 1 爬取招聘网站大数据职位信息 爬取智联招聘网页 1.1 知识前述 1.网络爬虫是捜索引擎抓取系统的重要组成部分。 公司性质为民营企业招聘的大数据岗位最多 经验要求大部分没有明确说明，剩下的基本上集中在1-5年之间 招聘公司主营行业主要集中在互联网、计算机、IT服务等行业 职位类别主要侧重于数据库开发，软件工程师等岗位
3K11编辑于 2022-01-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号