首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏用户6838338的专栏

    Python 口碑分爬虫

    Python 口碑分爬虫 需求 全系车型分(口碑)页面中的详细系评分数据 [请添加图片描述] 操作环境 win10 Google nexus5x(root) Python3.9 Charles 好像数据是通过这个js加载出来的,打开看了一下数据相当混乱,暂且先放一边,先从APP分析一波看能否直接拿到数据接口 PS:手机环境、抓包环境的配置在这不在赘述,有兴趣的可参考之前的文章 APP抓包环境配置 下载 APP,并安装至手机 [请添加图片描述] 手机开启Postern,pc打开charles 至此抓包工作准备完成,打开APP,随便找个车型进入分页面 [请添加图片描述] 拿到加载的数据包,和web id,修改此参数即可 获取全部系id 获取系id就很简单了,先拿到品牌id然后根据品牌id请求系信息,注意这是一个post接口 def get_series(self, brand_id): series_id, city): """ 获取系口碑分 series_id: 系id """ response = self.

    1.2K40编辑于 2022-04-03
  • 来自专栏用户6838338的专栏

    Python 综合口碑数据

    Python 综合口碑数据 需求 全系车型综合口碑 优点 缺点 统计数据 [在这里插入图片描述] 操作环境 win10 Google nexus5x(root) Python3.9 Charles PS:手机环境、抓包环境的配置在这不在赘述,有兴趣的可参考之前的文章 APP抓包环境配置 下载APP,并安装至手机 [请添加图片描述] 手机开启Postern,pc打开charles 至此抓包工作准备完成 ,打开APP,随便找个车型进入分页面 [在这里插入图片描述] 还是老套路先根据页面关键词搜索一波 [在这里插入图片描述] 明显看出来后两条数据不是需要的,前四条是同一个接口返回的,应该就是需要的数据 id,修改此参数即可 获取全部系id 获取系id就很简单了,先拿到品牌id然后根据品牌id请求系信息,注意这是一个post接口 def get_series(self, brand_id): [请添加图片描述] 获取系综合口碑评分 def get_score(self, series_id): """ 获取系综合评分 series_id

    78620编辑于 2022-04-04
  • 来自专栏全栈程序员必看

    idea 添加Tomcat_怎么添加

    使用 IDEA 编辑器开发项目十分便捷,这里介绍使用 IDEA 编辑器添加 Tomcat

    1.1K40编辑于 2022-11-02
  • 来自专栏刘旷专栏

    产业寒冬背后:汽车之家、易车网、的相爱相杀

    汽车之家的车型对比服务、易车网的报价服务、的智能识别汽车等也都用到了大数据。 汽车之家的两大劲敌:易车网、 不知不觉中,互联网汽车平台格局发生了变化,原本汽车之家、易车网双雄争霸的格局,加入了,而后形成了三足鼎立的局面。 诞生于2017年的来势汹汹,上线不到两个月的时间,用户活跃度、用户使用时长就超过了易车网,紧逼汽车之家。 在流量和内容方面,依托母公司今日头条、抖音等产品的流量支持,比汽车之家更不缺流量。 在数字化、智能化技术方面,背靠互联网巨头字节跳动,汽车之家的后面则是和互联网行业相交甚少的平安集团,携带技术基因具有先天优势。 而今,凭借字节跳动技术支持,持续技术层面加码。 利用字节跳动完善的推荐技术和大数据优势,深入分析用户需求,还增加智能识、智能选等功能,大大优化了用户选择体验,弃汽车之家择的用户也越来越多。

    86520发布于 2020-02-28
  • Python爬取汽车之家评论并做竞品分析

    和汽车之家作为国内领先的汽车垂直平台,积累了大量的用户评价数据。通过Python爬虫技术抓取这些评论,并进行竞品分析,可以帮助企、市场研究人员或数据分析师优化产品策略。 本文将介绍如何:使用Python爬取/汽车之家评论(涉及Requests、Selenium、反爬策略)数据清洗与存储(Pandas、MySQL/MongoDB)竞品分析(词频统计、情感分析、可视化 爬取/汽车之家评论2.1 目标分析:动态加载(Ajax/API),需分析接口汽车之家:部分静态HTML,部分动态加载,可能需要Selenium2.2 爬取汽车之家评论(静态+动态结合)方法1 (text): return SnowNLP(text).sentimentsdf["sentiment"] = df["comment"].apply(get_sentiment)# 按来源( 结论 vs 汽车之家评论差异:汽车之家评论更偏向技术讨论,更偏向用户体验情感分析显示,某车型在的评分略高竞品优化建议:针对负面评论优化产品(如“油耗高”、“内饰一般”)结合词云分析用户关注点

    86910编辑于 2025-08-04
  • 来自专栏数控编程社区

    凯恩数控G代码详解

    单位:牙/英寸 范围:0.060-254000.000 一般加工一根螺纹时,从粗到精,用同一轨迹要进行多次螺纹切削。 因为螺纹切削开始是从检测出主轴上的位置编辑器一转信号后才开始的,因此即使进行多次螺纹切削,零件圆周上的切削点仍是相同的,工件上的螺纹轨迹也是相同的,但是从粗到精,主轴的转速必须是一定的。 注6:每转进给在恒线速度控制方式下,G96也可使用。 注7:恒线速控制中指定的线速度是相对于编程轨迹的,即是刀具的刀尖点,而不是刀补后的位置的线速度。 例:用表G92指令加工圆柱螺纹图的程序如下,L为1.5mm 图4.1-6 程序: N10 M03 SXX; N20 T0101; N30 G00 X45 Z5 ; N40 G92 X29.2 Z-40 注6:指定1时,为英制螺纹指定,与G32,G92指定的相同。 注7:攻丝过程中,升降速可以由参数选择。 注8:当选择加减速控制时,如果主轴转速有变化,使得螺纹变化有延迟。

    6.6K40编辑于 2022-03-30
  • 来自专栏爬虫资料

    从零开始:用Python爬取网站的汽车品牌和价格数据

    场景:在一个现代化的办公室里,工程师小李和产品经理小张正在讨论如何获取网站的汽车品牌和价格数据。小张:小李,我们需要获取网站上各个汽车品牌的价格和评价数据,以便为用户提供更准确的购车建议。

    1K10编辑于 2025-02-12
  • 来自专栏罗超频道

    汽车“新卖场”:直播间里找增量,电商绑定促成交

    在“2021经销商引力峰会”上海站上,宣布2022年卖通将进行全面升级,产品端将卖通与抖音直播全线打通,深度集成直播+电商的生态和能力,利用“生态打通、一机双播(可同时在和抖音双端直播 从“1+6”升级可以看出,直播卖更被重视。经销商关注的线索获取、订单转化、资产沉淀和数据追踪等功能均得到大幅升级,这将进一步推动直播卖的普及。 通2022年“1+6”升级反映出其将直播卖打造成汽车行业销售必备功课的意志。 通过抓住移动与AI浪潮,后发而至的已成为汽车内容平台的头部玩家,在2021网销线索大盘中,同期线索占比超过31%。 在平台支持上,给直播卖提供全链路支持,2022年“1+6”升级进一步明确要大力发展直播卖

    1.7K10编辑于 2022-12-14
  • 来自专栏IMWeb前端团队

    vue2.x-仿SPA-爆炸足球

    vue2.x—爆炸足球 模仿移动端,欢迎各位童鞋star github地址:https://github.com/vqlai/vue2-football 技术栈 前端 es6 vue2.x vue-router2 axios better-scroll vue-lazyload stylus 后端 通过webpack 设置HTTP代理的方式请求官网api获取数据 项目截图 ?

    75850发布于 2017-12-29
  • 从今天起,“”要重新定义了

    当所有技术拼在一起:Inside The Game不只是一个产品,是NBA的新语言体系 NBA的部门负责人说: “我们不是为了创造酷炫的技术,而是为了让球迷更比赛。” 这句话太重要。

    17110编辑于 2026-01-13
  • 来自专栏Alter聊科技

    字节跳动进场,二手没等来新故事

    早在2017年的时候,今日头条的汽车频道就独立为APP,凭借算法推荐机制和优质内容,从汽车之家、易等平台那里分了一杯羹,同时也为字节跳动沉淀了足够的经销商资源,业务延伸到了汽车配件和整车销售。 2021年6月,字节跳动正式上线了“卖通”APP,主打的服务是“寻”能力,即在平台上注册认证的经销商、汽贸店等,可以根据品牌、外观和车辆手续等条件精确寻,悄悄完成了对汽车流通链条的渗透和布局。 要知道字节跳动最擅长的就是探索出一个路径,然后进行体系化的复制,今日头条到抖音、西瓜视频是如此,到“”等业务也是如此。 2021年的经销商“引力峰会”上,相关负责人宣布卖通2022年将与抖音直播全线打通,经销商可以在和抖音平台“一机双播”, 通过直播与电商的绑定,帮助经销商进行线上卖。 可以窥知一二的是,的线下体验店曾计划以直营的模式运营,但在当地经销商的联手抵制下,被迫将店面租给当地的经销商。 在挣快钱和做产业之间,字节跳动会选择哪一个?

    48930编辑于 2023-01-13
  • 来自专栏新智元

    AEB测试「霸榜」!理想如何靠全栈自研逆袭成功?

    2022年1月11日,《》公布了最新一期上百款车型的AEB测试成绩。 在这一百多辆车里,理想ONE位居第一。 李想对此给出了答案:全栈自研。 「在年度AEB(主动安全)测试中成为了冠军,也是进入决赛组里唯一有能力准确识别横向车辆和两轮的车型,自从能够开展全栈自研以后,团队在算法和控制的进步速度远远超过了我的想象。」 白突然并入,AEB发出警报,如果司机没反应,系统就直接触发紧急制动,最终避免了碰撞。 重新回到最开始的AEB测试,为了选出年度最强车型,分别以时速40,50和60公里进行了加测。 来源: 更细腻的画质和更优异的暗光环境可以让理想ONE的辅助驾驶系统能更早发现危险⽬标。 2022年1月,理想ONE在的测试中不仅进入了决赛,甚至还战胜了以安全著称的沃尔沃。 此次理想在AEB代表的智能驾驶辅助方面,不仅实现了对自己,也实现了对大家固有认知的「逆袭」。

    59330编辑于 2022-02-24
  • 来自专栏日常学python

    为了一窥国足输韩国之后人们的评论,我爬了APP

    app截图 文章链接为:https://m.dongqiudi.com/article_share/896482.html 在配置好抓包之后,点击下方的评论,可以看到 ? 评论截图 ?

    65250发布于 2019-09-25
  • 来自专栏爬虫资料

    用深度学习提升DOM解析——自动提取页面关键区块

    一、时间轴:一次“抓不到重点”的二手数据爬虫事故2025/03/18 09:00 产品经理希望抓取平台上“北京地区二手报价”作为竞品监测数据源。 2025/03/19 10:00 启动深度学习方案:利用预训练模型BERT对HTML做块级语义识别,自动提取“卡片”结构与核心字段。二、方案分析:XPath失效 vs 语义块提取1. 深度学习方案构思将完整HTML节点转为token序列(含标签结构+文本);使用BERT或LayoutLM模型对DOM节点进行语义分类,标注“卡片”、“车型名”、“报价”等字段;利用位置+标签结构配合抽取规则 await browser.close()asyncio.run(main())四、总结与优化建议 深度学习DOM解析优点:抗结构变化能力强,不再依赖脆弱的XPath;适合复杂网页(如 、汽车之家等)中提取卡片、列表、评论等区域;可结合小样本微调适应特定领域,如二手、新闻等。

    41810编辑于 2025-05-26
  • 来自专栏爬虫资料

    Headless Chrome 优化:减少内存占用与提速技巧

    行业案例: 汽车点评数据采集:利用本方案采集【】上用户对指定车型的点评数据,企业能够实时跟踪市场反馈。 代码中参考了爬虫代理的相关信息(请根据实际情况替换代理域名、端口、用户名和密码),并针对目标网站【】解析指定车型的用户点评和得分。 # 关闭浏览器,结束爬虫任务 driver.quit() 注:上述代码中的 HTML 元素选择器(如 review-class、score-class、comment-class)均为示例,需要根据【

    79710编辑于 2025-03-31
  • 6款MCP工具,让AI真正业务

    为了避免AI在项目里胡作非为,这里推荐6款能显著提升代码可用性的MCP工具。

    60610编辑于 2025-11-26
  • 来自专栏后厂村

    高合汽车:“欲戴王冠,必承其重”

    一石激起千层浪,此消息立刻在高合汽车的友群中炸了锅。 作为以70万元购买该款车型的车主,抖音网红“李老鼠说”在看到律师函中提到高合HiPhi X宣传时标明所用的音响为与捷豹、路虎等豪华品牌均有合作的世界高端知名音响品牌英国之宝(MERIDIAN),但有车主拆开后发现内部使用的是某国产品牌 在我买车之前,我以为音响硬件和软件都是英国之宝,甚至在专业的汽车媒体车型库上,(高合HiPhi X)扬声器品牌注明的也是英国之宝。” 而来源于的数据则表明:最便宜的高合HiPhi X是2022款智远版6座长续航版,指导价57万元,最贵的2021款旗舰版4座售价则高达80万元。 一直用高端、豪华、可靠的造实力来打破消费者对于国产低端、性价比的固有印象,当然也赢得了相当一部分用户的认可,然而,从今年7月开始,从行车记录仪的泄露隐私,到此次车主的集体维权,短时间内多起问题的爆发

    34010编辑于 2022-07-11
  • 来自专栏云计算linux

    基于python汽车数据分析大屏可视化系统,计算机毕业设计!实战全集教学

    java/spmvc ssm 2.csv文件,excel格式 3.存放到mysql,本地数据库sqlite3 4.djangoProject后台程序; 5.vue-data 数据展示; 准备工作: 打开:

    64510编辑于 2024-12-13
  • 来自专栏数据森麟

    硬核看球,数据分析足坛转会窗口各队表现

    本文转载自1024开发者社区 前言 各大联赛在7月初都打开了转会窗口,各路豪强纷纷出巨资对阵容进行补强,比如格列兹曼加盟巴塞罗那(文章图片源于): ? 本文通过爬取“”一个月来转会新闻,为您从数据角度分析转会市场波谲云诡的变化。 本文数据来源,只用于学习交流,不用于商业获利,如对任何公司,个人造成不利影响,请告知删除。 ? 一、数据获取 在APP中搜索“转会”关键字,可以获取转会相关的新闻列表,如图: ? 通过Fiddler 对APP数据进行抓取,获得新闻列表页的URL: ? 当然球迷的评论更是好看的地方,所以讲每篇新闻热评也爬取下来,看看谁是这一个月热评王者。代码原理相同,此处不具体贴出。 主要获取热评文本,点赞数: ? 下面开始我们的数据大餐。 ? 下面来看懂球新闻来源的分布: ? 由此看出,我消息来源还是比较丰富,自己也拥有大量的原创新闻。

    66510发布于 2019-09-27
  • 来自专栏终身学习者

    新手都能看得的 ES6 Iterators

    在ES6中登场的Iterators。因其可被广泛使用,并且已在多处场景派上用场, 我们将从概念上理解迭代器是什么,以及在何处使用它们和示例。我们还将看到它在JS 中的一些实现。

    70220发布于 2020-05-11
领券