首页
学习
活动
专区
圈层
工具
发布

好的工作想法从哪里来

提出论点 好的研究想法,兼顾摘果子和啃骨头。...两年前,曾看过刘知远老师的一篇文章《好的研究想法从哪里来》,直到现在印象依然很深刻,文中分析了摘低垂果实容易,但也容易撞车,啃骨头难,但也可能是个不错的选择。...初入团队,寻找自己的立足点,需要一个好的工作想法。每年末,抓耳挠腮做规划,想要憋出一个好的工作想法。很多同学,包括我自己,陆陆续续零零散散想到很多点,然后自己不断否掉。...人的三维+时间半维 具体如何找到好的想法,一时半会没有头绪。因此,回到最初的起点,从人的层面,我有什么?我想要有什么?...引用 好的研究想法从哪里来 杜跃进:数据安全治理的基本思路 来都来了。

13.8K40

非常好的协同过滤知识讲解

基于协同过滤的推荐 随着 Web2.0 的发展,Web 站点更加提倡用户参与和用户贡献,因此基于协同过滤的推荐机制因运而生。...基于用户的协同过滤推荐机制和基于人口统计学的推荐机制都是计算用户的相似度,并基于“邻居”用户群计算推荐,但它们所不同的是如何计算用户的相似度,基于人口统计学的机制只考虑用户本身的特征,而基于用户的协同过滤机制可是在用户的历史偏好的数据上计算用户的相似度...基于项目的协同过滤推荐机制的基本原理 同时协同过滤,在基于用户和基于项目两个策略中应该如何选择呢?...捆绑销售 (Frequently Bought Together): 采用数据挖掘技术对用户的购买行为进行分析,找到经常被一起或同一个人购买的物品集,进行捆绑销售,这是一种典型的基于项目的协同过滤推荐机制...本文将带你深入了解协同过滤的秘密,并给出基于 Apache Mahout 的协同过滤算法的高效实现。

1.2K80
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大数据开发:看了都说好的JVM分析

    图片1.png 二.关于JVM的总体概述 JVM总体上是由类装载子系统(ClassLoader)、运行时数据区、执行引擎、垃圾收集这四个部分组成。...运行时数据区 栈管运行,堆管存储。JVM调优主要是优化Java堆和方法区。 3....方法区(Method Area) 方法区是各线程共享的内存区域,它用于存储已被JVM加载的类信息、常量、静态变量、运行时常量池等数据。 4....平时我们写的类变量、引用类型变量、实例方法等等都是在函数的栈内存分配好。 图片3.png 4,程序计数器,是指方法区中的方法字节码由引擎读取下一条指令,它是一个非常小的内存空间。...图片4.png 6,堆(heap)它是Java虚拟机用来存储对象实例的,比我们在开发过程使用的new对象,只要通过new创建的对象的内存的对象都在堆分配,注意一点的是堆中的对象内存需要等待垃圾器(GC)

    1.2K40

    说好的面经来啦!! 数据挖掘大数据开发

    ,实习岗位是算法岗(所以有的公司算法也会做一些大数据的业务,毕竟算法建立在数据上,数据哪里来… 有的公司自己写任务抽取清洗… 有的公司别的岗位包办…),做的东西是spark,Python ,机器学习…...感受:标准大数据开发岗,无算法涉及 2.美团: 数据挖掘算法。3轮技术1轮HR。 美团把数据挖掘和算法放在一起了,应该也有单独的大数据岗。...感受:标准的数据挖掘,不涉及数据仓储,会有机器学习的问题,总体感觉只有美团这个岗位比较符合我的技术栈………诶心塞塞 3.头条: 大数据开发。...回答说没问题,进公司之后会按照个人技术进行划分… 然而offer并没有体现啊哭唧唧… 进了一个纯纯的大数据开发组,不过也可以理解,宇宙条从来不缺算法何况我这种半路出家的哈哈哈 4.京东: 大数据开发。...感受:京东数据挖掘是算在算法了,但是也多方打听了一下,很多做数据分析,大数据开发的都被归到数据挖掘了,进组之后做纯大数据开发的可能性更高。 5.网易: 大数据开发。

    2.6K10

    Python开发 的优势在哪里

    在面向过程的语言中,程序是由过程或仅仅是可重用代码的函数构建起来的。在面向对象的语言中,程序是由数据和功能组合而成的对象构建起来的。...它可以帮助你处理各种工作,包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI(图形用户界面)、Tk和其他与系统有关的操作...由于你只需要把你的Python程序拷贝到另外一台计算机上,它就可以工作了,这也使得Python程序更加易于移植。 6.应用领域 Python的应用领域主要在游戏开发、搜索引擎、图形图像处理等处理。...国随着时间的推移,很多国内软件公司,尤其是游戏公司,也开始规模使用他。 4、构架选择太多(没有像C#这样的官方.net构架,也没有像ruby由于历史较短,构架开发的相对集中。...RubyonRails构架开发中小型web程序天下无敌)。不过这也从另一个侧面说明,python比较优秀,吸引的人才多,项目也多。

    2.7K50

    数据质量监控好,数据开发背锅少

    在信息时代,数据已和资本、土地、技术,知识和管理同样重要的生产要素存在,同时,数据消费者对准确性和时效性数据迫切需求与日俱增,如何提升数据质量方法很多,以后另做分享,此篇讲解数据质量监控的重要性,因为大数据技术暴露出的问题有可能超出开发同学的认知...,有同学自信满满这写肯定没问题,实际上出现超出了其认知的问题出现了,就会发生数据故障,待发现时为时已晚,所以数据质量监控能不以人的意志为转移地识别超出认知的是否有数据质量问题,重要性不言而喻。...最后,作为数据部门,是数据集成、存储、汇总、分析、呈现和服务的统一出口,有责任和义务对自己提供的高质量的数据负责,同样需对数据入口的质量问题及时发现,推动上游及时改进的责任,共同提高数据质量。...,在不同的表内是否相同或一致的,如同一指标口径在不同报表是否是一致的,数值是否相等 18 表级别一致性检查 表级别 字段命名、comment是否为null、数据类型是否符合规范的表级别检查,通过与词根词组对比判断...可见数据质量好坏是数据最要的属性之一,数据质量监控能不以人的意志为转移地识别超出认知的是否有数据质量问题,数据质量监控好,数据开发背锅少。

    1.8K10

    数据可视化三步理论,好的图表会说话

    数据可视化,是目前非常热门的方向,所谓“文不如表,表不如图”,“一图胜千言”,在工作中,数据可视化变得越来越重要。 简单来说,数据可视化是借助图形化手段,更为清晰有效地传达与沟通信息。...---- 这就引出来了图表选择要考虑的两个方面: 1.数据想表达什么? 2.各个类型的图表特性是什么?...结合工作中遇到的图表类型和想表达的场景,以下“图形选择决策树”,一张图教你看懂如何选择合适图表类型。 ? 国外可视化专家Andrew Abela给出过图表选择思维导图。...随着发展,基础图形的扩充,有人总结出图形选择决策树,将数据的展示分成比较、序列、构成、描述四种。 比较又分成不同场景,如:和目标的比较,进度完成情况;项目与项目比较;地域间数据比较。...描述:关键指标描述;数据分组差异描述;数据分散描述;数据相关性描述;人物或是事物之间关系描述 图表选择是准确、有效传达信息非常重要的一步。

    1.9K20

    【学术分享】刘知远:好的研究想法从哪里来

    那么什么才是好的想法呢?我理解这个”好“字,至少有两个层面的意义。 学科发展角度的”好“ 学术研究本质是对未知领域的探索,是对开放问题的答案的追寻。...好的研究想法从哪里来 想法好还是不好,并不是非黑即白的二分问题,而是像光谱一样呈连续分布,因时而异,因人而宜。...那么,好的研究想法从哪里来呢?我总结,首先要有区分研究想法好与不好的能力,这需要深入全面了解所在研究方向的历史与现状,具体就是对学科文献的全面掌握。...看最近的BERT、GPT-2,我理解更多的是将深度学习对大规模数据拟合的能力发挥到极致,在深度学习技术路线基本成熟的前提下,大公司有强大计算能力支持,自然可以数据用得更多,模型做得更大,效果拟合更好。...所以不如提前考虑,哪些问题是纯数据驱动技术无法解决的。NLP和AI中的困难任务,如常识和知识推理,复杂语境和跨模态理解,可解释智能,都还没有可行的解决方案,我个人也不看好数据驱动方法能够彻底解决。

    13.9K20

    怎样使用git进行协同开发?git协同开发的完整示例教程

    一、概述 这篇文章是本系列的第 3 篇。通过前两篇,我们已经掌握了 git 的最常用的命令以及相关操作。在本篇文章,我们将学习企业开发中最常用的协同方式,那就是基于 git 分支进行协同开发。...分支的合并 通常情况下,需要单独建一个分支来开发功能,开发完成之后需要合并到主分支。...代码冲突解决办法 因为 git 主要是用来做协同开发的,所以一个项目中的一个文件,可能同时有多个人编辑,那么就可能产生文件的冲突。...输好提交备注信息之后,我们退出编辑器即可。...轻量标签很像一个不会改变的分支,它只是某个特定提交的引用。而附注标签是存储在 git 数据库中的一个完整对象。

    3.4K20

    想降低三维可视化项目开发成本,从哪里入手?

    一个三维可视化项目的完整成本由四块构成:建模、开发、联调、运维。...四个降本抓手:零代码程度:能否把程序员的开发工时换成业务人员的配置工时。这是最大的单项降本来源,配置效率通常是编码开发的三到五倍,而且配置人员的人力单价远低于开发人员,两项叠加降幅可观。...数据接入免开发:MQTT、Modbus、OPCUA等常见工业协议能否直接对接,视频流、数据库、API能否可视化配置接入,省掉数据中间层的开发费用。...怎么落地:第一步,选定一个小场景做试点,用本单位真实模型和真实数据,不另做演示环境;第二步,全程记录实际开发人天、遇到的问题与厂商响应速度,形成试点报告;第三步,将试点数据与历史项目传统模式对比,算出真实的降幅...试点花的钱很少,但买到的判断最值钱。降本还有一个经常被忽略的维度:减少项目数量本身。很多单位的痛点是同类场景重复建设,每个部门各做一个可视化系统,模型重复买、数据重复接、页面重复做。

    7410

    数据情景化 vs 数据可视化:别混淆!两者的区别与协同

    “首页布局(将理财入口移至首页显眼位置)+ 推送时机(改为工作日午间)”,最终新用户理财模块触达率提升 40%价值层级 数据传递价值(低层级) 业务驱动价值(高层级)二、再寻协同:数据可视化是数据情景化的...两者协同的核心逻辑是:用数据可视化工具,承载数据情景化的洞察结果,让场景意义更易理解、更易落地。1....协同工具选择:根据情景化复杂度匹配工具不同复杂度的情景化分析,需搭配不同的可视化工具:•轻量情景化(单一场景、数据量小):用 Excel、Google Sheets,快速制作 “图表 + 文字标注” 的简易报告...误区 2:只可视化 “结果数据”,忽略 “情景上下文”很多协同案例中,仅可视化 “最终结果数据”(如 “配送延误率 20%”),却未呈现 “情景化分析中的上下文数据”(如 “延误时段、延误路线”),导致业务人员无法理解洞察来源...无论是中小企业还是大型企业,只要抓住 “先情景化、后可视化,再协同落地” 的核心逻辑,就能让数据真正成为业务增长的 “助推器”。能让数据真正成为业务增长的 “助推器”。

    30010

    清华教授刘知远:AI领域好的研究想法从哪里来?

    那么什么才是好的想法呢?我理解这个”好“字,至少有两个层面的意义。 学科发展角度的”好“ 学术研究本质是对未知领域的探索,是对开放问题的答案的追寻。...好的研究想法从哪里来 想法好还是不好,并不是非黑即白的二分问题,而是像光谱一样呈连续分布,因时而异,因人而宜。...那么,好的研究想法从哪里来呢?我总结,首先要有区分研究想法好与不好的能力,这需要深入全面了解所在研究方向的历史与现状,具体就是对学科文献的全面掌握。...看最近的BERT、GPT-2,我理解更多的是将深度学习对大规模数据拟合的能力发挥到极致,在深度学习技术路线基本成熟的前提下,大公司有强大计算能力支持,自然可以数据用得更多,模型做得更大,效果拟合更好。...所以不如提前考虑,哪些问题是纯数据驱动技术无法解决的。NLP和AI中的困难任务,如常识和知识推理,复杂语境和跨模态理解,可解释智能,都还没有可行的解决方案,我个人也不看好数据驱动方法能够彻底解决。

    10.6K11

    微服务的优势在哪里,为什么别人都在说微服务好

    每一个团队开发的微服务都可以由自己的代码仓库、以及部署流水线等,互不相扰。...可以灵活的采用最新技术 传统的单体应用一个非常大的弊端就是技术栈升级非常麻烦,这也是为什么你经常会见到用 10 年前的技术栈做的项目,现在还需要继续开发维护。...服务的拆分 个人觉得,这是最大的挑战,我了解到一些公司做微服务,但是服务拆分的乱七八糟。这样到后期越搞越乱,越搞越麻烦,你可能会觉得微服务真坑爹,后悔当初信了说微服务好的鬼话。...用了分布式架构,多出了一堆问题:数据如何同步、主键如何产生、如何熔断、分布式事务如何处理......。 这个段子形象的说明了分布式系统带来的挑战。...多个研发团队的协调管理 传统的单体应用开发,一个团队管理好就行了,现在不同的团队开发不同的微服务,要协调多个团队共同配合,才能做好微服务开发,这对项目管理提出了挑战。

    15.3K00

    买域名哪里好?域名供应商的选择标准是什么?

    对于想要在网络上建设网站的用户而言,首先需要为网站购买一个合法的域名,不过很多人对于购买域名并没有实际的经验,因此往往不知道在哪里才能买到需要的域名。那么买域名哪里好?域名供应商的选择标准是什么?...买域名哪里好呢 域名是外部用户访问用户网站的地址,只有准确的地址才能够让别人进入自己的网站,并且域名和网址并不是相等的关系,域名需要经过解析才能够获得网址。...域名的选择标准 很多人在网络上查找后会发现,提供域名的域名供应商在网络上是非常多的,那么买域名哪里好?域名供应商如何来选择呢?...其实有心的用户会发现,网络上的域名供应商虽然多,但不少域名供应商的都只是代理的性质,所提供的域名种类相对比较少,因此在选择域名供应商时应当尽量挑选那些一级域名商,这样可以选择的域名种类会更加丰富。...买域名哪里好?如何挑选域名供应商?

    27.3K10

    大数据开发:Hadoop数据可视化展示

    在大数据时代,数据价值的挖掘非常重要,而挖掘出来的数据价值成果,需要展示出来,尤其是展示给相关业务人员,才能得到理解和下一步的运用,这也就是大家所说的数据可视化的问题。...那么在Hadoop框架当中,Hadoop数据展示主要是怎么来实现的呢,今天我们就来分享一些Hadoop数据可视化的知识。...Hadoop已经通过自身的发展来证明,它在大数据处理当中具有相当的潜力,随着越来越多的企业开始投入大数据,Hadoop在大数据平台开发上也就获得更多的支持,因为从目前来看,不管是运用现有的Hadoop组件来解决大数据问题...,还是在Hadoop框架上进行二次开发,Hadoop确实在大数据平台框架上成为企业的主流选择。...Spark基于Hadoop,也能实现一定程度上的数据可视化。Spark提供用于提交和执行作业的Web界面,在该界面上可以看到生成的执行计划,提供数据分析,提取以及发现,可视化和协作。

    3.4K20

    哪里有服务好的应用性能监控 监控告警的途径有哪些?

    否则在各种同类软件不断刷新的当今,一个无法给用户提供较好体验的软件自然会被淘汰。哪里有服务好的应用性能监控呢?...哪里有服务好的应用性能监控 对于哪里有服务好的应用性能监控这个问题,现在应用市场已经出了很多的类似软件。...一些大的软件制造商或者云服务器商家出产的应用性能监控,一般可信度和质量是比较高的,它们拥有的研发平台是高科技的技术团队,对系统的研发和细节设置肯定是一般的小厂家所不能比的。...上面已经解决了哪里有好的应用性能监控的问题,性能监控在对应用进行实时分析和追踪的过程当中,如果发现了问题,它的报警渠道都有哪些呢?...以上就是哪里有服务好的应用性能监控的相关内容,随便在搜索引擎上搜索一下就会有很多品牌正规的监控软件出现,用户们按需选择就可以了。

    12.5K30

    不懂设计的产品不是好开发

    通过这篇文章,我将向大家介绍下关于设计的一些基本知识,让广大开发者在平时的开发中,可以更好的和设计、产品合作(撕逼)。...1.2 Semantic Colors 当我们构建应用程序时,有时我们可能需要比primary和secondary color更多的颜色。一个例子是用图表实现数据的可视化。...有时我们需要比交通灯颜色更多的颜色。在不同的背景下挑选颜色通常是开发者失败的地方,或者说是感到压力很大的地方。在这种情况下,我们可以从色轮上的色彩调和中得到一点帮助。...因为一些Material组件可能会在阴影、边界等方面使用不同的primaryColor色调。 Material设计指南中给我们提供了这样一个工具,来方便开发者设置这些颜色。...Conclusion 在这篇文章中,我解释了主题属性和相应的Material设计指南。我开发了多年的应用程序,却不知道其中的一些细节。我在公司工作时,设计师同事负责这些细节并为我提供设计。

    4.1K20

    大数据开发和大数据分析哪个就业发展好?

    01 两大就业方向 1、大数据开发工程师 分两种: 第一是编写一些Hadoop、Spark的应用程序; 第二是对大数据处理系统本身进行开发。对理论和实践要求的都更深一些,也更有技术含量。...02 二者的不同 大数据开发: 开发类的岗位对工程能力有一定要求,意味着需要有一定的编程能力、语言能力、解决问题的能力,大数据开发会涉及到大量的开源的东西。...03 二者就业前景 大数据开发工程师的收入可达到了同类的顶级。在一二线城市,大数据开发的薪资基本上是10K+;拥有3-5年技术经验的人才可达到40K+。...大数据分析也是高收入技术岗位,拥有3-5年技术经验的人才薪资可达到30K。 从薪酬上看,一般情况下,开发类的薪酬会略高于与数据分析类的,这是由于岗位成本造成的。其实,任何领域的高端人才都是值钱的。...最重要的,是修炼好自己的技术!

    3.2K20

    不能满足办公场景的Banber不是好可视化

    一旦跟数据分析汇报打交道,就不可能不涉及到报表和可视化,时代在进步,单纯的可视化已经无法满足领导和业务的需求了。...不能满足办公场景的Banber不是好可视化,Banber数据可视化分析平台打造协同、批示、汇报办公新体验,为办公节能增效转型赋能!...一 数据编辑 在进行可视化编辑制作时,这些场景功能,让你立马成为别人家的打工人: 协同编辑 修改同步更新 下载打印存档 添加附件 移动驾驶舱 大屏演示汇报 01 协同编辑 数据协作沟通能力,系统内多用户跨部门协同编辑...02 DataBay数据门户 DataBay数据可视化门户中心,以领导及用户查阅、管理数据报告为主要媒介来推动和改进管理、决策的方式,旨在提升业务部门运行管理的决策效率以及决策科学性,解决“数据后”的可视化发行问题...延伸阅读: Banber助推零代码、低成本可视化开发 Banber智慧校园可视化决策系统 Banber智慧文旅综合平台,科技赋能文旅业 数字化疫情解决方案,助力疫情常态化防控 智慧城管大数据可视化决策系统

    2K20

    umap的单细胞可视化效果比tSNE好

    我就顺手下载了打开读了一下,发现他们的单细胞转录组数据降维聚类分群后的可视化选择的是tSNE,感觉看起来呢各个单细胞亚群之间的边界线有点不清晰。...所以想着下载作者提供的单细胞表达量矩阵自己走一遍流程使用umap可视化看看。...去除细胞效应和基因效应 06.单细胞转录组数据的降维聚类分群 07.单细胞转录组数据处理之细胞亚群注释 08.把拿到的亚群进行更细致的分群 09.单细胞转录组数据处理之细胞亚群比例比较 因为前面的例子:...第一次默认分群和简单的可视化基因如下所示: 简单的可视化基因 因为我这个是标准流程,所以主要是第一层次降维聚类分群,区分上皮细胞,免疫细胞,间质细胞即可。...我们直接看看默认命名后的结果: 我自己觉得,我们复现后的降维聚类分群结果,理论上比文章的好看一点,这就是我先表达的结论:umap的单细胞可视化效果比tSNE好 不知道你是否认同呢?

    1.5K21
    领券