- 综合排序
- 最热优先
- 最新优先
- 来自专栏云计算D1net
真正使用大数据的4个方法
大数据已经在媒体和IT企业中大量提及，但是有多少企业真正在使用大数据?又有多少企业从大数据中受益呢?真正使用好大数据是不容易的事情。 2014年，美国的中西部和东北部遭遇了最恶劣的气候。 慢慢地，一些公司发现了把这种数据的头疼变成一种资源。大数据其实就是企业和客户之间数字交互的洪流，一直也被炒作为新世纪的“原油”，表面上有巨大价值，如果不提炼，什么用也没有。 这个挑战就是先进的软件套件和分析专家必须大体明白这些每天收集的兆兆字节的原始信息的意义。 社交媒体正在不断提供普通公司进入大数据神秘世界的入场券。 但是通过使用社交媒体和分析工具，Dell能过滤出真正有用的信息：那种拥有成千上万粉丝的，有影响力的Twitter用户，贴在受人尊敬的博客和论坛上的故事，如果不被解决，就会扩散的紧急客户需求。 这些工具每个都使用自己专有的算法来实时确定最急迫的信息，考虑关键词、观点和其他定制化领域。最终的结果是社交媒体数据的洪水减少成可管理的溪流。
1K30发布于 2018-03-16 - 来自专栏写代码和思考
Redis 学习笔记4 - 数据结构的使用
数据结构的使用 1.1 时间复杂度 谈到数据结构，一定会谈到 “时间复杂度”。 在计算机科学中，算法的时间复杂度是一个函数，它定性描述该算法的运行时间。 时间复杂度常用大O符号表述。 时间复杂度可被称为是渐近的，即考察输入值大小趋近无穷时的情况。 在 Redis 中，用它来表示，基于我们处理的数据的数量，命令执行的速度将会如何。 O(1) 最快的应该是 O(1) ，一个常量。 通过使用这种类型的切分和处理方法，一个非常大的集合仅需要做几次迭代就会被迅速的分解。 zadd 是一个 O(log(N)) 命令，N 表示在有序集合中的元素个数。 这些额外的索引值的处理和内存开销会让人吓到，我们通过使用额外的查询次数降低性能开销。其实关系型数据库也有一样的开销。 1.5 事务(Transactions) Redis 所有的命令都是原子性的，包括那些一次可以执行多项操作的命令也一样。此外，在使用多命令的时候，Redis 支持事务。
53730发布于 2020-04-02 - 来自专栏Devops专栏
4. InfluxDB使用HTTP的API查询数据
参考官方开源文档 使用HTTP API查询数据https://docs.influxdata.com/influxdb/v1.7/guides/querying_data/ 使用HTTP的API查询数据 HTTP API是在InfluxDB中查询数据的主要方法（有关查询数据库的其他方法，请参阅命令行界面和客户端库）。 注意：以下示例使用curl命令行工具，该工具使用URL传输数据。学习的基础知识curl与HTTP脚本指南。 虽然这对于调试或直接使用类似工具查询很有用curl，但不建议将其用于生产，因为它会消耗不必要的网络带宽。 如果没有pretty=true，那么执行会是怎么样的结果呢？ 下面使用实操来演示一下分块的返回效果，首先查询一下数据如下：curl -G 'http://localhost:8086/query?
1.6K10编辑于 2022-01-14 - 来自专栏素质云笔记
R学习笔记(4): 使用外部数据
来源于：R学习笔记(4): 使用外部数据 博客：心内求法 鉴于内存的非持久性和容量限制，一个有效的数据处理工具必须能够使用外部数据：能够从外部获取大量的数据，也能够将处理结果保存。 () 2.3 scan()和cat() 3 使用连接（connection） 3.1 连接的类型 3.2 输出到连接 3.3 从连接输入 3.4 二进制连接 4 一些特定的文件格式 5 使用关系数据库 ——列表允许包含不同类型的元素，甚至可以把对象作为元素；数据框允许每列使用不同类型的元素。 4 一些特定的文件格式 DBF文件：使用read.dbf()和write.dbf()函数进行读写 XLS文件：最好转换成csv再导入，如果一定要直接使用XLS，可以用RODBC操作，参考后面的数据库部分 但是从外部获取的数据会被R放到内存中，在处理大数据时，就会遇到问题。在处理大数据时，可以采用一下的方法： 使用数据库 每次从数据库中读取一部分数据进行处理。
2.5K70发布于 2019-05-27 - 来自专栏DeepHub IMBA
使用🤗Transformers进行NLP的数据增广的4种常用方法
自然语言处理(NLP)项目面临的最常见问题之一是缺乏数据的标记。标记数据是昂贵并且耗时的。数据增广技术通过对数据进行扩充，加大训练的数据量来防止过拟合和使模型更健壮，帮助我们建立更好的模型。 在这篇文章中，我将介绍我们如何使用Transformers库和预训练模型，如BERT, GPT-2, T5等，以轻松地增加我们的文本数据。 我还想提一下谷歌研究人员关于无监督数据增广(UDA)的一篇有趣的论文，他们展示了只有20个标记的例子和与其他技术结合的数据增广，他们的模型在IMDB数据集上表现得比最先进的模型更好，同样的技术在图像分类任务上也显示了良好的结果 在下面的代码中，我使用 T5-base 进行英语到德语的翻译，然后使用 Bert2Bert 模型进行德语到英语的翻译 . ，但使用了不同的词和不同的顺序！
92320发布于 2021-09-15 - 来自专栏代码编写世界
osgEarth使用笔记4——加载矢量数据
结果 4. 问题 1. 概述 前面文章加载的底图数据是一种栅格数据，还有一种很重要的地理信息表现形式是矢量数据。在osgEarth中，这部分包含的内容还是很丰富的，这里就总结一二。 2. 基本绘制 在《osgEarth使用笔记1——显示一个数字地球》这篇文章中代码的基础之上，添加加载显示矢量的代码： #include <Windows.h> #include <iostream> #include 这里使用的是FeatureModelLayer，也就是将这个矢量当成模型来加载。运行这段程序显示结果如下： ? 4. 问题 osgEarth中矢量符号化的样式机制非常强大，甚至可以将面按照线绘制，线按照点来绘制。 如何修改矢量中某个或者某些特定要素的样式？最好是不重新加载数据。 这两个问题估计只能留待以后解决了。
4.5K52发布于 2020-10-10 - 来自专栏Python与算法之美
4，数据的获取
sklearn 数据集一览 类型 获取方式 自带的小数据集 sklearn.datasets.load_... 在线下载的数据集 sklearn.datasets.fetch_... 计算机生成的数据集 sklearn.datasets.make_... svmlight/libsvm格式的数据集 sklearn.datasets.load_svmlight_file(...) mldata.org 自带的小数据集： 鸢尾花数据集：load_iris() 可用于分类 和 聚类 乳腺癌数据集：load_breast_cancer() 可用于分类 手写数字数据集：load_digits() 可用于分类 二，计算机生成的数据集 使用计算机生成数据集的优点： 非常灵活：可以控制样本数量，特征数量，类别数量，问题难易程度等等。 无穷无尽：妈妈再也不用担心我没有数据集了。 可以在学习其他机器学习模块如tensorflow时使用sklearn的数据集 ? ? ? ? ? ? ? ? ? ?
98520发布于 2020-07-20 - 来自专栏Spider篇
Python beautifulsoup4解析 数据提取 基本使用
Python beautifulsoup4解析 数据提取 使用介绍&常用示例 ---- 文章目录 Python beautifulsoup4解析 数据提取 使用介绍&常用示例 前言 二、from bs4 教程细致讲解Beautiful Soup的深入使用、节点选择器、CSS选择器、Beautiful Soup4的方法选择器等重要知识点，是学好爬虫的基础课程。 对象类型介绍 BeautifulSoup4四大对象种类 bs4.element.Tag 通俗点讲就是HTML中的一个个标签，有很多属性和方法可以更加详细的提取内容 NavigableString 得到了标签源码 ---- 总结 小洲提示：建议把代码复制到编译工具中运行跑几次，认真看一下输出结果方便更好的理解, beautifulsoup4=4.11.1 以上就是今天要讲的内容，本文仅仅简单介绍了beautifulsoup4 解析web源码的使用，而beautifulsoup4提供了大量能使我们快速便捷地处理数据的函数和方法，后续有关于beautifulsoup4的常用代码会在这篇博客中持续更新。
2.2K20编辑于 2022-12-13 - 来自专栏不仅仅是python
Flask-4 数据库操作使用SQLAlchemy
提示：本篇文章内容建议使用电脑浏览器查阅。 1. 什么是Flask-SQLAlchemy ? SQLAlchemy是Python编程语言下的一款开源软件。 使用sqlalchemy，在Flask_Blog文件夹下打开cmd命令行，输入python，导入db实例： ? 接下来使用db实例进行一些数据库操作演示： #执行数据库site.db创建，user表，post表的初始化创建 >>> db.create_all() #我们在Flask_Blog文件夹下会看到生成了一个 site.db的文件 ? 2019-06-17 12:18:20.586947'), Post('Blog 2', '2019-06-17 12:18: 20.589947')] >>> 以上就是关于Flask-SQLAlchemy数据库工具包的使用
1.3K20发布于 2019-07-23 - 来自专栏学无止境
Python：bs4的使用
两个参数：第一个参数是要解析的html文本，第二个参数是使用那种解析器，对于HTML来讲就是html.parser，这个是bs4自带的解析器。 4、Comment Comment 一般表示文档的注释部分。 soup = BeautifulSoup("<! 如果一个 tag 仅有一个子节点，那么这个 tag 也可以使用 .string 方法，输出结果与当前唯一子节点的 .string 结果相同。 Tag 的有些属性在搜索中不能作为 kwargs 参数使用，比如 html5 中的 data-* 属性。 BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用，这个方法的执行结果与调用这个对象的 find_all() 方法相同，下面两行代码是等价的: soup.find_all('b')
3K10发布于 2019-09-11 - 来自专栏不知非攻
useCallback 使用的4个阶段
非 React 使用者估计看了都要摇头啊。一个破回调函数的运用，居然能折腾出来这么多事。一大堆文章都在探讨如何使用它更合理。 事实上确实如此，在 React 独特的单向数据流刷新机制下，对于 useCallback 认知的逐渐深入实际上也代表着对 React 本身这个机制的理解更进一步，因此在你彻底消化 React 刷新机制之前 02 阶段二：懂了 随着学习的深入，你逐渐开始深入理解了 React 的单向数据流机制，也对 React 的使用更加熟练，知道 React 经常会存在许多 re-render，你终于搞懂了 useCallback React.memo 也有不小的使用成本，有的时候他的损耗不一定比 re-render 更低，于是你懂得了如何在项目中合理的使用 useCallback + React.memo，一通优化下来，项目里的 你终于悟到了要结合实际使用的场景去考虑使用 useCallback 的准确时机，自此，融汇贯通成就达成
41610编辑于 2023-12-15 - 来自专栏呼延
Args4j的使用
背景介绍 项目中使用了Args4J来管理命令行参数.所以我来学习一下,做个Demo,了解其基本使用方式. 扩展 在使用spring的情况下这个其实是没有太多使用场景的,但是编程不止是spring.会有一些项目是手动管理的,或者日常我们写Demo的时候,希望动态的指定一些参数,可以使用这个jar包.算得上轻巧好用的小工具 一个使用的Demo 最近我有在写一个lucene的demo玩,本地和服务器上读取文件的目录不同,索引写入的目录也不同.出现过两次本地测试完毕之后打成jar包丢到服务器上因为目录不存在(或者不正确)二重新打 这时候可以使用args4j.每次启动的时候指定两个路径即可.避免了程序对路径的强依赖而出现上面那种尴尬的情况. 联系邮箱：huyanshi2580@gmail.com 更多学习笔记见个人博客——>呼延十 var gitment = new Gitment({ id: 'Args4j的使用', // 可选。
2.4K30发布于 2019-06-26 - 来自专栏机器学习实践二三事
Numpy使用4
上篇博客写到了numpy的索引与切片，这篇博客介绍numpy的一些数学统计上的使用和如何结合numpy实现对结构化文本的处理 通用函数 所谓的通用函数(ufunc)就是指元素级别的数组函数，你可以将其看做简单函数其接受一个或者多个标量值 利用numpy进行数据处理 利用numpy强大的数组（矩阵）能力，可以将很多的数据处理的问题转化为对数组的处理问题 比如对一个数组将其中大于0的值置为2，小于0的置为-2，这个怎么做？？？ ') ## 读入文件 In [115]: load_test Out[115]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 还可以使用np.loadtxt()，通过制定分隔符 (delimiter)来读取结构化的文本文件，这个我在博客Numpy使用1中介绍过，就不在多说了，需要的可以去看看 其它的特性还有些想关于线性代数方面的，这个大家自行百度。 其实存取结构化的数据(类似于表结构)numpy并不是很好的选择，之后我会写个介绍pandas的博客，这个对各种表结构的处理比numpy强大太多，numpy的强大之处在于其n-dim array的能力。
70850发布于 2018-01-02 - 来自专栏全栈程序员必看
db4o的使用
让我们先来了解一下 db4o 对象数据库引擎的主要包结构： com.db4o com.db4o 包含了使用 db4o 时最经常用到的功能。 Object Database Access），db4o 更推荐使用 NQ 进行查询。 NQ 方式提供了非常强大的查询功能，支持原生语言，也就意味着你可以使用 Java 来判断该对象是否符合条件，这是其他数据库查询语言无法比拟的。 SODA 就是一种与数据库通讯的对象 API。最终的目标是实现类型安全、对象复用、最小的字符串使用、与编程语言无关等特性。 SODA 是 db4o 最底层的查询 API，目前 SODA 中使用字符串来定义字段，这样将不能实现类型安全也无法在编译时检查代码，而且写起来较麻烦，当然要达到设计目标这个阶段是必须的。
55410编辑于 2022-09-14 - 来自专栏全栈程序员必看
使用HttpClient4,post提交multipartform-data数据
大家好，又见面了，我是你们的朋友全栈君。 问题由来： 在Vert.x的项目中，进行公众号开发的时候，发现回复用户图片的时候需要先上传图片，获取一个media_id，然后拿着这个media_id去发送数据。 发现组装一个这样的请求，并不简单 解决方案： 用HttpClient4可实现的，下面看看实现方法： 于是有代码： HttpClient httpClient = new DefaultHttpClient 也过时了，HttpClient4.5采用了MultipartEntityBuilder方法，可以看到“Fluent”的影子. 为了加深对Multipart/form-data的了解，放上一个链接：Multipart/form-data上传详解 现在就是缺少了异步的方式，如果找到了异步请求的方法，我再贴到这里补充。
1.8K10编辑于 2022-09-15 - 来自专栏java和python
python爬虫（三）数据解析，使用bs4工具
目录 1 BeautifulSoup4介绍 2 安装和文档： 3 简单使用： 4 四个常用的对象： 4.1 Tag： 4.2 NavigableString： 4.3 Comment： 5 遍历文档树 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 Beautiful Soup 3 目前已经停止开发，推荐现在的项目使用Beautiful Soup 4。 2 安装和文档： 1. 安装：`pip install bs4`。 2. 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 3 简单使用： from bs4 import BeautifulSoup 但有时候使用css选择器的方式可以更加的方便。使用css选择器的语法，应该使用select方法。
1.3K10编辑于 2022-06-06 - 来自专栏大道七哥
Neo4j使用Cypher查询图形数据
type=1&id=e5a7ca6d4e801e88790cc85b94e1f405 作者：jstarseven Neo4j使用Cypher查询图形数据，Cypher是描述性的图形查询语言，语法简单， 功能强大，由于Neo4j在图形数据库家族中处于绝对领先的地位，拥有众多的用户基数，使得Cypher成为图形查询语言的事实上的标准。 本文作为入门级的教程，我不会试图分析Cypher语言的全部内容，本文的目标是循序渐进地使用Cypher语言执行简单的CRUD操作，为了便于演示，本文在Neo4j Browser中执行Cypher示例代码 ,Key2,Value2})，实际上，每个节点都有一个整数ID，在创建新的节点时，Neo4j自动为节点设置ID值，在整个数据库中，节点的ID值是递增的和唯一的。 n; 在图形数据库中，有三个节点，Person标签有连个节点，Movie有1个节点 点击节点，查看节点的属性，如图，Neo4j自动为节点设置ID值，本例中，Forrest Gump节点的ID值是5，
3.7K20发布于 2019-08-23 - 来自专栏全栈程序员必看
exe4j的使用_使用方法
大家好，又见面了，我是你们的朋友全栈君。 exe4j的使用 在这里选择exe 填写你的exe名字和存放路径 对软件的设置 如果电脑是64位需要勾上 防止软件乱码 -Dfile.encoding=UTF-8 导入jar包 jdk版本 允许最小和最大的jdk版本 选择jre 然后就一直点击next等待生成 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/167248.html原文链接：https
1.4K30编辑于 2022-09-20 - 来自专栏PPV课数据科学社区
数据挖掘系列（4）使用weka做关联规则挖掘
前面几篇介绍了关联规则的一些基本概念和两个基本算法，但实际在商业应用中，写算法反而比较少，理解数据，把握数据，利用工具才是重要的，前面的基础篇是对算法的理解，这篇将介绍开源利用数据挖掘工具weka进行管理规则挖掘 @data下一行后为数据记录，数据为矩阵形式，即每一个的数据元素个数相等，若有缺失值，就用问号?表示。 arff稀疏数据集 我们做关联规则挖掘，比如购物篮分析，我们的购物清单数据肯定是相当稀疏的，超市的商品种类有上10000种，而每个人买东西只会买几种商品，这样如果用矩阵形式表示数据显然浪费了很多的存储空间 16469个，一个购物的商品数目远少于商品中数目，因此要用稀疏数据表，weka支持稀疏数据表示，但我在运用apriori算法时有问题，先看一下weka的稀疏数据要求：稀疏数据和标准数据的其他部分都一样， 如果设置为-1，最后的属性被当做类属性。3. delta 以此数值为迭代递减单位。不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。4.
3.1K60发布于 2018-04-23 - 来自专栏办公魔盒
B4A 使用JDBC连接MySQL数据库
jdbcSQL.xml • mysql-connector-java-5.1.49-bin.jar 关键点注意 需要把 mysql-connector-java-5.1.49-bin.jar 驱动文件,放到 B4A 安装目录下的 Libraries 内部类库文件夹下 码代码 #Region Project Attributes #ApplicationLabel: JDBC连接mysql #VersionCode Password) Wait For EventMysql_Ready (Success As Boolean) If Success = False Then ToastMessageShow("数据库连接失败 ",False) Button1.TextColor=Colors.Red Else ToastMessageShow("数据库连接成功",False) tf=True rs.Close Else Log(LastException) End If Else ToastMessageShow("未连接数据库
2K40编辑于 2023-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号