- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据猿
投稿 | 大数据服务还是那个大数据服务吗？
大数据服务的现在及未来：智能+生态模式 未来人工智能+大数据生态模式将更多的应用于在商业场景下。HCR慧辰TMT研究部认为，大数据服务未来将有以下四种模式： 一是形成数据资源和计算资源提供平台。 PaaS服务将数据处理能力作为模块开放出来，使得数据挖掘技术的使用门槛和成本大幅降低，更多企业有能力利用云端数据服务创造附加价值。 另外也会形成基于数据存储、处理及挖掘技术的整体服务解决方案提供商，企业可以将数据服务完全外包给第三方机构，第三方机构也可以通过这种方式在云端整合资源并优化技术，提高准确率，同时产生推动行业发展的效果。
1.1K70发布于 2018-04-19 - 来自专栏张善友的专栏
承载WCF 数据服务
WCF 数据服务默认使用IIS 作为 Data Service 宿主，很显然这是个极好的选择，我们可以利用 IIS 强大的基础功能。
96550发布于 2018-01-22 - 来自专栏Linyb极客之路
数据服务开发经验
有状态服务或者说数据服务，上线遇到问题很棘手，回滚无济于事；而且数据加载通常都很慢，部署时间长；最终导致不敢修改代码，谨小慎微；服务质量也是能忍就忍，不愿意深度优化。 在我负责顺风车LBS以来，感受愈加强烈；区别于无状态服务，数据服务的几个方面需要格外关注。（此处假设数据服务类似redis基于内存，数据量大到需要磁盘存储，关注点会有所不同。） 对应数据服务，把锁分散在各层，尽量减少锁等待。 ? 以一个多级hash+跳表结构为例，操作跳表时，锁粒度已经可以非常细。 持久化方法 内存数据和binlog哪个先写？binlog文件多久刷盘？ struct Data { Header header; int dsize; void* data; }; 最后 还有两个无状态服务也会面临的重点，功能边界划分和线下环境搭建：内部数据服务不同于开源项目 自研数据服务听起来非常高大上，高性能数据存储、分布式架构设计、解决业务痛点，对外宣传的一把好手；实际上只要根据业务场景，合理分析，完成稳定高效的数据服务非常简单。
1.2K40发布于 2019-03-07 - 来自专栏SmartSi
Hive元数据服务MetaStore
元数据服务客户端通过该配置连接远程元数据。
10.7K42发布于 2020-09-21 - 来自专栏大数据文摘
金融数据服务创业机会
金融数据服务的机会在哪里？
1.5K50发布于 2018-05-22 - 来自专栏EAWorld
详解数据服务共享发布
目录： 1.数据服务共享发布核心场景 2.数据服务共享发布技术架构 3.数据服务共享发布关键设计 4.数据服务共享发布安全考虑 5.结束语 1.数据服务共享发布核心场景 按功能划分核心场景 ? 核心场景主要包括四个环节：资源目录生成、数据服务发布、数据服务消费、数据服务监控。 场景四 ：从全局了解企业数据服务应用情况 ? 通过数据服务监控自动形成数据监控链路，提供数据服务共享的全貌地图，帮助企业了解数据共享交换的全貌及系统间数据关系，从全局了解企业的数据服务应用情况。 2.数据服务共享发布技术架构 支撑流水线式的数据服务共享发布核心架构 ? 3.数据服务共享发布关键设计 数据服务共享发布设计主要从数据服务发布、故障告警、数据质量核检、数据服务监控四个层面去考虑。
2.8K52发布于 2019-09-04 - 来自专栏EAWorld
普元数据服务监控解密
如何有效的管理数据、高效的提供数据服务的其中一个关键就是提供对数据服务的统一监控。 目录： 一、数据服务监控 二、数据采集 三、数据格式化 四、数据存储 五、数据展示 一、数据服务监控 为提供统一、标准、安全、高效的数据服务，我们需要做好一点那就是统一数据运行监控，那么统一数据服务运行监控需要做哪些事情呢 我们可以在网关处添加对数据服务的采集功能。 网关拦截器手动埋点 ? 所以我们只需要极少的代价在数据服务总入口也就是网关进行数据埋点，收集数据详情即可。 异步落日志 ? All线程任务会将每一笔的数据服务记录到案 Top线程任务用来统计数据服务调用访问时长TopN的调用详情。 数据分析线程解析 ?
89010发布于 2019-07-08 - 来自专栏HuggingFists
HuggingFists数据服务发布--功能闭环
最近，HuggingFists隆重推出了新的功能模块-“数据服务”模块。该模块可以有效的解决HuggingFists算子能力不足时的扩展问题。 为打通这一扩展壁垒，HuggingFists推出了“数据服务”模块。支持以配置的方式添加一个第三方的WebAPI接口，并可使用系统内置的“数据服务调用”算子在流程中调用此接口。 HuggingFists数据服务模块的功能示意图如下： 数据服务中的远程接口管理模块负责集成第三方的Web API接口。允许配置Web接口的请求方法以及接口参数的各类提交方式。 除此外，数据服务还支持将HuggingFists中的数据流程包装成一个API接口对外提供服务，供第三方应用访问。如图中的服务接口管理所示。
39400编辑于 2024-09-28 - 来自专栏大数据文摘
华尔街甘心购买的数据服务！
在以毫秒为计算单位的交易市场，高频交易似乎已经笑傲江湖难逢对手，但是华尔街的武器库远不止如此，还有一种可以窥探市场走势的“神器”也受到了交易员的热捧。 这些“神器”包括直升飞机、热感摄像机、传感器等等，虽然并不罕见，但他们有一项特殊的任务：专门为华尔街收集情报。 据华尔街日报报道，美国有一家叫做Genscape的公司专门从事此项业务，他们的分析员乘坐直升飞机，手拿热感摄像机，在一个石油小镇成片的工业厂房上空飞过，拍摄的主要对象是那些大型的储油罐。 通过分析这些石油“重镇”的储油情况，他们可以在政府石油报告
2K20发布于 2018-05-23 - 来自专栏大数据和云计算技术
大数据服务上云的思考
因此I层最好将物理硬盘直接提供出来给大数据服务可见，让用数据的人直接管理数据效率最高。
1.6K80发布于 2018-03-08 - 来自专栏一个会写诗的程序员的博客
统一数据服务架构
大数据服务化架构 关键技术一：配置即开发 平台用户分为两类角色：其一是数据服务生产方，其二是数据服务调用方。 数据服务平台支持了多种模式API，很好满足了多元化需求。此外数据服务平台也支持服务权限、API市场等丰富功能，进一步赋能业务。 大数据服务化平台未来进一步发展方向主要包括： 贴近业务需求：数据服务平台本身是为业务服务，通过赋能业务而对企业带来价值，业务本身在不断发展，未来也会有更多的需求出现，因此数据服务平台本身会不断抽象和沉淀出公共数据服务能力 深耕数据资产：数据资产是数据服务之根本，如果没有完善的数据资产建设，上面就很难构建出结构化的统一的数据服务，针对数据资产有较多内容，包括资产注册和审核、资产地图、资产标签、资产管理、资产开放和服务。 大数据服务平台的能力建设会朝着统一的 OneService 体系前进。主要包括三个方面： 支持丰富的数据源：包括大宽表、文本文件、机器学习模型（模型也是一种数据资产），来构建完善的数据服务。
2.3K30编辑于 2021-12-16 - 来自专栏数据D江湖
“数据服务+自助”产品化实践
来源：虎牙 & DataFun 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
92420编辑于 2022-12-08 - 来自专栏ThoughtWorks
在线系统数据服务的迁移策略
成都办公室的张耀丹是去年毕业的，只是他的职业生涯一开始就面对一个复杂的遗留系统。好在遗留系统的复杂并没有让他退却，而是从中学习到了解决遗留系统的思考之道。 他写了篇《在线系统数据&服务的迁移策略》。 如果不说，嘿，还真看不出这个内容出自一个毕业生的文笔。 当需要在正在运行的在线系统中进行数据或服务的迁移时，有很多问题需要考虑，如何设计迁移策略以保证数据正确迁移，如何处理系统间的依赖，如何保证服务持续可用等等。本文将从一个服务提供者的角度，讨论如何进行数据迁移才能保证对外提供的服务接口前后一致且持续可用，
1.2K70发布于 2018-04-18 - 来自专栏存储公众号：王知鱼
【存储100问】元数据服务（Metadata）
本文基于Andy前些天发布的数据存储元数据服务的趋势一文，文章主要分析海外独立存储厂商产品的元数据服务设计，整理思维导图过程中，产生了若干关于元数据服务的疑问，一并汇总。 从图中的厂商元数据服务方案来看，绝大部分的元数据和数据存储都是分离设计的，元数据在存储过程中发挥了什么作用，又有何等重要性？ 如何理解元数据服务在数据存储过程的作用和重要性？ 理解元数据服务在数据存储过程中的作用和重要性，可以将其比作图书馆的图书目录和档案馆的档案索引。 二、 元数据服务的作用 元数据服务是负责收集、存储、管理、查询和维护元数据的系统或平台。 随着数据量的持续增长和数据应用场景的日益复杂，元数据服务的重要性也日益凸显，成为现代数据管理体系中不可或缺的关键组成部分。 厂商在设计元数据服务引擎过程中，通常会经历哪些过程？哪些是核心要点？
65610编辑于 2025-04-11 科普---肿瘤驱动基因、乘客基因、抑癌基因
癌症是以基因突变导致细胞异常和失控生长为特征的一系列疾病。驱动基因（Cancer Driver Gene, CDG）是指对肿瘤进展有重大影响的基因。 根据在癌症进展中的作用，驱动基因可分为两大类：原癌基因（Oncogenes）和抑癌基因（Tumor Suppressor Genes）。 癌基因成瘾（oncogene addiction）是指某些肿瘤维持其恶性生物学表型依赖于某个或某些活化癌基因的现象，这些癌基因也称为驱动癌基因（driver oncogenes）。 重复一遍癌症是一类基因疾病。基因对细胞生长的调控就像开车，有两大类基因进行调控，分别是“加油基因”和“刹车基因”。 某些“加油基因”或者“刹车基因”突变后就会对癌症的发生和发展过程起到推动作用且影响显著，这类基因就是肿瘤驱动基因（driver gene），而不会直接导致癌症发展的基因叫做乘客基因（passenger
2.4K20编辑于 2024-09-26- 来自专栏生信喵实验柴
宏基因组基因预测
一、基因预测 Prokka: rapid prokaryotic genome annotation，prokka 是一个命令行软件工具，可以在一台典型台式机上在约 10 分钟内充分注释一个细菌基因组草图 它产生标准兼容的输出文件以进行进一步分析或者在基因组浏览器中查看。 J.err sh prokka.sh 选项参数： --outdir：输出结果目录 --prefix ：输出结果前缀 --metagenome：标记，输入数据为宏基因组序列 ，包括 gff 和序列，可用 igv 直接查看 gbk Genebank 格式，来自 gff fna 输入 contig 核酸文件 faa 基因的氨基酸序列 ffn 基因的核酸序列 sqn 用于提交的序列 sqn 的描述，用于 tbl2asn 生成 sqn 文件 tbl 特征表，用于 tbl2asn 生成 sqn 文件 err 软件运行错误日志 log 软件运行日志 txt 统计结果 tsv 所有注释基因特征表格
1K30编辑于 2023-02-24 - 来自专栏肉眼品世界
大数据服务平台架构方案(ppt)
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
1.7K31发布于 2021-06-08 - 来自专栏微生态与微进化
（宏）基因组编码基因预测
基因预测是指通过对组装的基因组序列进行分析，根据已知生物的基因结构知识或数据库序列来识别其所包含的基因等功能区域。 编码基因预测，就是识别基因组序列上所包含的蛋白质编码区域（Coding sequence，CDS），通过在基因组序列上寻找开放阅读框（Open Reading Frame，ORF）实现。 基因的从头预测方法依据人们对已知基因结构特征的认识，如启动子区的TATA box、密码子偏好性等，采用统计学方法，如隐马尔可夫模型、决策树方法、神经网络分析法等，对基因组作基因预测。 基因组分析中使用了GeneMarkS预测编码基因，在宏基因组则使用MetaGeneMark。 需要注意的是，真核生物基因结构与原核生物完全不同，其基因预测原理也不相同，通常我们使用原核生物基因预测工具预测宏基因组序列，获得的均为原核生物基因。 END
3.5K20编辑于 2022-05-05 - 来自专栏知了一笑
数据服务基础能力之元数据管理
一、业务背景 1、应用场景 在多变的数据服务场景中，应用中常见如下的业务需求，通过对多种数据结构的灵活组合，快速实现业务模型构建，整体示意图如下： 像常用的画图工具，左边提供基础图形库，中间是画布，右边是组件的控制细节 服务API生成：在数据服务中，直接通过配置，生成API服务能力，并控制参数的响应结构，这种情况通常会以实时查询的方式处理。 这里是简述相对单一的应用服务，如果把这里的流程分段放大，在整个数据服务体系下，就是围绕元数据管理的复杂的基础系统：围绕数据结构映射，进行元数据标准化管理，在此基础上二次组织数据，快速响应业务需求。 数据成本分析：基于元数据中链路，分析各个节点数据的生产维护管理等成本，为数据服务中商业定价提供参考，可能直接影响服务是否可提供的决策。 配置可视化：在数据服务平台中，最忌讳的一点就是靠手动去维护各种作业，不管在什么场景下，都要考虑可配置化管理，保证动作可追溯。
1K20发布于 2021-10-20 - 来自专栏小鑫同学编程历险记
前端如何快速为App搭建数据服务
Dear，大家好，我是“前端小鑫同学”，😇长期从事前端开发，安卓开发，热衷技术，在编程路上越走越远～ 前言： 作为一个Coder虽然主要在做前端方面的开发，但是为了可以更好的协作开发，还是很有必要学习后端的一些知识，最起码你可以了解到什么东西是真的实现不了😏。 技术栈： 基础项目：eggjs 时间处理：dayjs 数据加密：md5 UID生成：uuid 鉴权处理：jsonwebtoken 参数校验：egg-validate 跨域限制：egg-cors 数据存储：egg-mongoose选择Eggjs原因：
1.7K30编辑于 2022-12-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号