首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏田飞雨的专栏

    Docker 使用指南 (四)—— 数据使用

    一.数据使用 有时候需要使用数据库,但是又希望它数据能保存在本地,Docker中提供了数据卷可以供你方便操作数据数据卷是一个可供一个或多个容器使用特殊目录,它绕过 UFS,可以提供很多有用特性: 数据卷可以在容器之间共享和重用 对数据修改会立马生效 对数据更新,不会影响镜像 数据卷默认会一直存在,即使容器被删除 注意:数据使用,类似于 Linux 下对目录或文件进行 mount,镜像中被指定为挂载点目录中文件会隐藏掉,能显示看是挂载数据卷。 提示:使用 –volumes-from 参数所挂载数据容器自己并不需要保持在运行状态。 如果要删除一个数据卷,必须在删除最后一个还挂载着它容器时使用 docker rm -v 命令来指定同时删除关联容器。

    5.5K11发布于 2016-07-20
  • 来自专栏webman

    webman数据使用

    webman框架专栏地址https://cloud.tencent.com/developer/column/103665一,实际操作1.安装数据库组件,进入框架根目录,在终端里输入下面的指令,进行安装 5.配置完成后,我们就可以开始来使用了,首先打开上一篇文章,我们创建php文件,也是/app/controller/TimeControl.php文件,如果没有看过上篇文章小伙伴,可以在文章顶部进入专栏 需要记住这个代码,我们需要用到数据时候,就得引用它use support\Db;7.我们先给数据库创建一个表吧,然后填充一下资料。 11.这样的话,数据库就连接成功了,也可以查询使用了。如果你还想尝试更深层次使用方法,可以访问webman官网继续调试。 三,结语相当于来说webman数据使用,还是挺简单,我在写完这篇文章后,也会对其查询方法进行深度化学习,动起手来吧。

    62410编辑于 2024-09-10
  • 来自专栏python-爬虫

    redis数据使用

    二.在服务中管理redis服务器开启关闭 redis-server.exe redis.windows.conf redis-cli.exe -h 127.0.0.1 -p 6379 三.命令行简单使用 redis支持 字符串、字典、列表、集合、有序集合 https://www.runoob.com/redis/redis-tutorial.html 五.特点 可持久化、单线程单进程并发 六.python中使用 依赖 pip3 install redis 直接使用 import redis r = redis.Redis(host='127.0.0.1', port=6379) 连接池使用 import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379) r = redis.Redis(connection_pool=pool) 库选择 import redis r = redis.Redis(db=0) #第几个库总共有15个库 七.django中配置与CACHES联用 缓存使用 # 1.将缓存存储位置配置到redis中:settings.py

    59320发布于 2020-06-19
  • 来自专栏爱编码

    《Spark使用》--- 大数据系列

    二、Spark架构 ? Spark架构图 1.Spark Core 包含Spark基本功能;尤其是定义RDDAPI、操作以及这两者上动作。 其他Spark库都是构建在RDD和Spark Core之上 2.Spark SQL 提供通过Apache HiveSQL变体Hive查询语言(HiveQL)与Spark进行交互API。 每个数据库表被当做一个RDD,Spark SQL查询被转换为Spark操作。 3. Spark Streaming 对实时数据流进行处理和控制。 Spark Streaming允许程序能够像普通RDD一样处理实时数据。 4.MLlib 一个常用机器学习算法库,算法被实现为对RDDSpark操作。 这个库包含可扩展学习算法,比如分类、回归等需要对大量数据集进行迭代操作。 5.GraphX 控制图、并行图操作和计算一组算法和工具集合。

    1.1K10发布于 2019-07-03
  • 来自专栏代码即数据

    使用DjangoJsonResponse返回数据

    request): # 获取当前页码数 num = request.GET.get('num', 1) n = int(num) # 1.查询stu_student表中所有数据 stus = Student.objects.all() # 获取所有的 # django 分页 pager = Paginator(stus, 2) # 获取当前页面的数据 return JsonResponse({'code': 200, 'data': students}) perpage_data = pager.page(n) # 返回第一页数据 except PageNotAnInteger: perpage_data = pager.page(1) # 返回最后一页数据 except EmptyPage

    1.7K40编辑于 2022-08-04
  • 来自专栏算法与编程之美

    JavaScript|数据类型使用

    问题描述 每一种计算机语言都有自己数据结构和数据类型,JavaScript脚本语言中则是采用弱数据类型方式,即一个数据不必首先做声明,可以在使用或赋值时再确定其数据类型,接下来就介绍一下JavaScript 数据类型使用。 DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>javascript数据类型使用 DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>javascript数据类型使用 图1.5 String类型使用 7 Object类型使用 前面介绍几种数据类型是JavaScript原始数据类型,而Object是对象类型,该数据类型中包括Object、Function、Number

    90310发布于 2020-06-24
  • 来自专栏码客

    Echarts中数据使用

    前言 从 ECharts4 支持数据集开始,更推荐使用数据集来管理数据。 https://echarts.apache.org/handbook/zh/concepts/dataset 数据集最大特点就是数据数据展示配置分离。 以前我们都是在系列(series)中设置数据。 }, { type: 'bar', name: '2017', data: [97.7, 83.1, 92.5, 78.1] } ] }; 使用数据集后 ,序列中只需要设置x,y展示列即可。

    1K20编辑于 2023-10-19
  • 来自专栏hrscy

    使用 Charles 获取 https 数据

    使用 Charles 版本是 3.11.2,获取下载地址可自行百度,我下面要说使用 Charles 获取 https 数据。 1. 钥匙串 系统默认是不信任 Charles 证书,此时对证书右键,在弹出下拉菜单中选择『显示简介』,点击使用此证书时,把使用系统默认改为始终信任,如下图: ? 简书发现页面接口数据 此时还是获取不到 https 数据,各位童鞋不要着急,下面还有操作,接着还是进入 Charles ,如下图操作: ? 设置 如果还抓不到数据,检查你手机是不是 iOS 10.3 及以上版本,如果是的话还需要进入手机设置->通用->关于本机->证书信任设置,如下图,证书选择信任就可以了: ? iOS11 设置完成后,就可以抓取数据啦,如下图: ? 抓取数据 如果有问题,欢迎留言。?

    2K20发布于 2018-08-30
  • 来自专栏foochane

    Sqoop数据迁移工具使用

    文章作者:foochane 原文链接:https://foochane.cn/article/2019063001.html Sqoop数据迁移工具使用 sqoop简单介绍 sqoop数据到HDFS 用于数据导入和导出。 [图片上传失败... (image-93b332-1561888166313)] 导入数据:MySQL,Oracle导入数据到HadoopHDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop文件系统中导出数据到关系数据库 3.3 导入表数据子集 有时候我们并不需要,导入数据表中全部数据,sqoop也支持导入数据部分数据。 这是可以使用Sqoopwhere语句。where子句一个子集。 4 Sqoop数据导出 将数据从HDFS把文件导出到RDBMS数据库,导出前目标表必须存在于目标数据库中。默认操作是从将文件中数据使用INSERT语句插入到表中。

    4K30发布于 2019-07-01
  • 来自专栏生信修炼手册

    使用TCGAbiolinks下载TCGA数据

    TCGAbiolinks是一个分析处理TCGA数据R包,通过GDC API来查询和下载TCGA数据,同时提供了差异分析,生存分析,富集分析等常见分析功能,网址如下 http://bioconductor.org 除此之外,还有几个重要参数,legacy参数默认值为FALSE,表示从harmonized database进行查询,TRUE表示从 GDC legacy archive进行查询;barcode参数用于选择其中部分样本数据 这里分成了两个步骤,第一步从GDC下载原始数据,可以使用API或者gdc-clinet进行下载, API速度相对快一点;第二步对原始数据结果进行整理,从GDC下载原始数据是每个文件单独分开,需要先对结果进行整理 以表达谱数据为例,需要进行样本合并,样本ID转换等,所有这些都可以通过GDCprepare完成。 整理好结果存放在data对象中, 样本信息可以通过如下方式进行查看 ? 结果示意如下 ? 表达量矩阵信息查看方式如下 ? 结果示意如下 ? 数据下载并整理好之后,就可以进行分析了。不同类型数据对应分析方法也不同,具体分析方法请参考官方文档。

    1.6K21发布于 2019-12-19
  • 来自专栏数据库相关

    vector 数据采集工具使用

    vector 官方介绍如下: vector是使用rust编写高性能可观测性数据管道,使组织能够控制其可观测性数据。 Vector 可以在您需要地方(而不是在供应商最方便地方)实现显着成本降低、新颖数据丰富和数据安全。开源,比任何替代方案快 10 倍。 / 生产级别大规模数据处理流: json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模数据采集,也可以不用kafka: json文件 - 我们下面演示这种是小规模场景下使用案例: 1 创建vector缓存目录和日志文件路径 mkdir -pv /var/lib/vector 2 编写主配置文件 $ cat main.toml data_dir 将各自机器上业务日志采集并简单处理后发送到kafka,然后由第二层vector(单机或集群)消费kafka数据,并写到ES集群中。

    2.5K10编辑于 2023-12-19
  • 来自专栏马拉松程序员的专栏

    数据存储:MySql数据基本使用

    比起本地数据文本,数据优势在于提供了共享性,并发性。在后面数据可视化章节中,不仅仅是一次可视化分析,还将搭建一个web服务,进行可多人使用可视化处理。 所以为了提供更多并发支持服务,先了解下数据使用,这里以轻量化MySQL数据库为例。 是最流行开源、可免费使用数据库系统,功能强大,足以应付web应用。 MySQL底层是使用C和C++编写,支持包括window、Linux 在内等多种操作系统上运行。 不过现在很多云服务器厂商都推出许多云数据相关产品,提供直接在线使用数据库服务,方便快捷,免去了自己搭建数据繁琐步骤,当然是根据相应配置付费,对于新用户体验来说,并不是一笔很大支出,所以为了快捷使用 MySQL数据库,直接购买一个体验数据使用,读者也可以自行选择一家合适厂商产品使用,也可在本机主机中自建一个数据库。

    92230编辑于 2023-09-02
  • 来自专栏云计算linux

    UML 数据建模EA基本使用——《用例图使用

    在需求分析阶段,系统分析与设计阶段,系统开发及部署等方面有着强大支持,同时加上对10种编程语言正反向工程,项目管理,文档生成,数据建模等方面。可以让系统开发中各个角色都获得最好开发效率。 它覆盖了系统开发整个周期,除了开发类模型之外,还包括事务进程分析,使用案例需求,动态模型,组件和布局,系统管理,非功能需求,用户界面设计,测试和维护等。 3.主要包括: 结构图表:类、对象、合成元素、包、组件、布局; 行为图表:使用案例、通信、序列、交互概述、行为、状态、时序; 扩展:分析(简单行为)、定制(需求、变动和UI设计)。 二、用例图使用步骤: 1、打开EA后,点击文件,新建项目,如图: 2、命名好,点击“保存“,弹出选择模型对话框,如图: 这些模型名字如下: *Business Process 业务流程模型 Requirements 需求分析模型 Use Case 用例模型 Domain Model 领域模型 Class 类设计模型 Database 数据库设计模型 Component 组件模型 Deployment

    1.3K10编辑于 2024-12-19
  • 来自专栏加米谷大数据

    数据使用5种主要数据挖掘技术

    关联通常用于销售点系统,以确定产品之间共同趋势。 应用领域包括物品实物摆放组织、市场营销和产品交叉销售和上销。 2 分类 我们可以使用多个属性来标记特定类别的项。 例如,一家信贷公司可以使用分类模型来确定贷款申请人低、中或高信用风险。其他组织将当前和目标受众分为不同年龄和社会团体进行营销活动。 在这个例子中可以使用聚类将市场细分为客户子集。然后,每个子集可以根据簇属性来制定特定营销策略,例如在一个簇中与另一个簇中客户购买模式对比。 例如,父结点中数据记录总数等于其两个子结点中包含记录总和。 如果你需要针对可能流失客户提供一份市场营销方案,则该模型非常易于使用。 成都加米谷教育,专注于大数据人才培养,9月下旬数据分析与挖掘培训班新课正在火热咨询报名中,活动好礼可叠加使用

    98830发布于 2019-01-09
  • 来自专栏程序萌部落

    使用flume完成数据接收

    使用flume完成数据接收 场景:source是通过tcp发送,chnnel处理过滤字段,sink存在集群中 适合①[注意,syslog需要特定环境,也可用telnet发送数据] source[syslogtcp sources.r1.channels = c1 # Describe the sink a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 ###HDFS数目路径 [hadoop@hadoop01 flume]$ [hadoop@hadoop01 flume]$ 适合②[使用telnet来发送数据] source[netcat],sink[hdfs] # Describe sources.r1.channels = c1 # Describe the sink a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 ###HDFS数目路径 [hadoop@hadoop01 flume]$ hadoop fs -ls flume [hadoop@hadoop01 flume]$ [hadoop@hadoop01 flume]$ 适合③[使用

    87820发布于 2019-08-08
  • 来自专栏AllTests软件测试

    使用Python对数据操作转换

    使用Python对数据操作转换 在Python中,将列表值转换为字典键可以使用以下代码: #! ,然后使用循环和字典推导式来创建字典,其中列表中每个值对应于字典中一个键和一个值。 2、字典键新增值数据 根据上面的代码,对每个键又新增了2条数据,该如何操作 如果想要在已经存在字典中为每个键添加多个值,可以将值存储在列表中,然后将列表作为键对应值,例如: #! 然后使用 for 循环遍历原始数据每个字典。 在循环中,使用 item['key'] 和 item['value'] 分别获取当前字典键和值,并使用 new_dict[key] = value 将其存储到新字典中,最后输出新字典即可。

    78510编辑于 2023-09-11
  • 来自专栏python3

    Django | 页面数据缓存与使用

    为什么要使用缓存? 一个动态网站基本权衡点就是,它是动态。 每次用户请求页面,服务器会重新计算。 从开销处理角度来看,这比你读取一个现成标准文件代价要昂贵使用缓存,将多用户访问时基本相同数据先缓存起来;这样当用户访问页面的时候,不需要重新计算数据,而是直接从缓存里读取,避免性能上开销 使用Redis数据使用redis数据库存储缓存,首先redis是key-value类型数据库,NoSQL,且也是内存型数据库,redis是将数据加载到内存中,进行操作,并异步将数据备份到硬盘里。 例子 在视图类或视图函数中,首先先别急着计算页面数据;而是先向缓存读取该页面的数据;若返回一个None;说明没有缓存或缓存数据已经过期;此时才需要进行数据库查询等计算服务 并将更新后数据写入缓存中, 查询数据等   cache.set(‘index_data’,content,timeout) # 设置缓存 # 渲染页面 缓存设置了过期时间timeout,单位为秒,当到达过期时间之后,该缓存数据将不会被使用

    2.2K40发布于 2020-01-16
  • 来自专栏技术向

    使用python存储多键值数据

    本文由腾讯云+社区自动同步,原文地址 http://blogtest.stackoverflow.club/python-store-dict/ 尝试使用hdf5存储,但是出现下述错误 TypeError : Object dtype dtype(‘O’) has no native HDF5 equivalent 字典保存为.h5文件, 尝试使用.json存储, 失败 代码如下, 参考 #保存 dict_name dict_name)) f.close() #读取 f = open('temp.txt','r') a = f.read() dict_name = eval(a) f.close() 但是600M数据文件保存后只有 [-0.00779554, -0.00781637, -0.00401967, ..., 0.01032196, 0.00841506, 0.00544548]], 尝试使用 pandas保存,近似失败 多键值时,保存为csv后格式如下: 无可奈何,使用scipy.io中savemat方法,不同键值保存为不同表 具体方法在这篇笔记里面。

    2.4K10发布于 2019-11-20
  • 来自专栏凯哥Java

    使用dbcp作为数据

    应用程序:   使用java程序连接,现象和客户端很类似。第一次连接,需要等待。之后就正常了。 数据库都是用默认配置: 这种情况怎么解决? 问题例二:     以前还使用Sybase数据库,由于某种原因,数据库死了后重启、或断网后恢复。     等了约10分钟后,DBCP连接池中连接还都是不能使用(断开),访问数据应用一直报错,最后只能重启Tomcat问题才解决 。 数据源配置在context.xml文件中, 要在tomcatlib目录中放jdbc 驱动包 数据源配置在server.xmlhost中,不需要在tomcatlib目录中放jdbc 驱动包,只使用工程中 指的是该Resource 配置使用是哪个数据源配置类,这里使用是tomcat自带标准数据源Resource配置类,这个类也可以自己写,实现javax.naming.spi.ObjectFactory

    3.3K20发布于 2019-06-30
  • 来自专栏码猴小明

    MySQL数据高级使用

    : alter table 语句,多个修改字段之间使用逗号分隔 PyMySQL使用 1、思考 如何实现将100000条数据插入到MySQL数据库 答案: 如果使用之前学习MySQL客户端来完成这个操作 ,那么这个工作量无疑是巨大,我们可以通过使用程序代码方式去连接MySQL数据库,然后对MySQL数据库进行增删改查方式,实现10000条数据插入,像这样使用代码方式操作数据库就称为数据库编程。 3、事务使用使用事务之前,先要确保表存储引擎是 InnoDB 类型, 只有这个类型才可以使用事务,MySQL数据库中表存储引擎默认是 InnoDB 类型。 中索引优点和缺点和使用原则 优点 加快数据查询速度 缺点 创建索引会耗费时间和占用磁盘空间,并且随着数据增加所耗费时间会增加 使用原则 通过优缺点对比,不是索引越多越好,而是需要自己合理使用 对经常更新表就避免对其进行过多索引创建,对经常用于查询字段应该创建索引 数据量小表最好不要使用索引,因为由于数据较少,可能查询全部数据花费时间比遍历索引时间还要短,索引就可能不会产生优化效果

    2.2K10编辑于 2022-01-20
领券