- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源心路
dslinkis数据开放平台报错01
cloudera/parcels/CDH-5.16.2-1.cdh5.16.2.p0.8/lib/tez/*:/opt/cloudera/parcels/CDH-5.16.2-1.cdh5.16.2.p0. 8/
57810编辑于 2023-06-30 - 来自专栏人人都是极客
Apollo的数据开放平台介绍
前段时间百度自动驾驶事业部杨凡对Apollo数据开放平台进行了介绍，介绍内容大纲如下： Apoll能力开放简介 Apoll的“云+端”研发迭代新模式 数据开放平台与训练平台实战 本文的大部分内容转载于微信群的文字交流 数据开放平台与训练平台实战 数据平台概要 Apollo数据集： ? 6部分数据集：激光点云障碍物检测分类，红绿灯检测，Road Hackers，基于图像的障碍物检测分类，障碍物轨迹预测，场景解析； 除开放数据外，还配套开放云端服务，包括数据标注平台，训练学习平台以及仿真平台和标定平台 点击Github可以查看Apollo车端开放能力的源代码。 在顶部菜单栏的“开发者”菜单中，选择“数据平台”即可进入Apollo数据开放平台。推荐使用PC打开使用，效果更佳。 ? 从上图可以看出数据开放平台的首页由几个小节构成，分别是仿真场景数据、标注数据、演示数据、相关产品与服务、上传我的数据。
7.3K61发布于 2018-03-16 - 来自专栏腾讯研究院的专栏
星图数据发布国内首个“大数据开放平台”
2015年6月16日，标志性的DaaS（数据即服务）大数据公司“星图数据”宣布上线国内首个大数据开放平台—“蜂巢”。 “蜂巢（DataComb）”大数据开放平台将开放星图数据自有的大数据体系，并引入第三方数据源和数据开发者，面向各行业提供更丰富更优质的“大数据+”应用服务，实现多方共赢的大数据商业化生态圈。 谷熠提到了打造开放平台的原因时说，“此次星图数据推出国内首个大数据开放平台，就是希望能联合更多具有优势资源的合作伙伴把稀缺的数据资产开放出来，让数据资产的开发与应用如“蜂巢”一般热火朝天。” “蜂巢”大数据开放平台将面向创业团队、科研院所、高校以及个人开发者提供开放的数据集市，提供海量的高质量数据资源，以促进大数据产品和行业数据应用的生产与研发；并在平台上打造数据应用商店，引入大数据产品和行业应用服务 见36大数据：星图数据发布国内首个“大数据开放平台”
1.1K100发布于 2018-01-31 - 来自专栏cloudskyme
开放平台之安全
什么是开放平台 开放平台就是将企业中的业务的核心部分经过抽象和提取，形成面向企业或者面向用户的增值系统，为企业带来新的业务增涨点。 因为是企业的核心业务能力，所以平台的安全性就成为重中之重。 签名的设计一般是通过用户和密码的校验，然后针对用户生成一个唯一的Token令牌， 用户再次获取信息时，带上此令牌，如果令牌正确，则返回数据。 需要带上如下参数： 时间戳：timestamp Token令牌：token jwt JWT(json web token)是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准 根据用户的信息和服务器的规则生成JWT Token 服务器将该token以json形式返回（不一定要json形式，这里说的是一种常见的做法） 用户得到token，存在localStorage、cookie或其它数据存储形式中 总结 关于开放平台其实还有很多需要切入的点，此处给出的安全方案只是一个示例，可以在此基础上进行二次开发，实现企业级的安全方案。
3.8K80发布于 2018-04-17 - 来自专栏大数据和云计算技术
开放平台技术浅析
1、什么是开放平台？ 淘宝开放平台（Taobao Open Platform）是基于淘宝各类电子商务业务的开放平台，提供外部合作伙伴参与服务淘宝用户的各类原材料，例如API、账号体系、数据安全等。 3、谷歌开放平台能干什么？ 列表，更在开放平台方面发力，推出开放的手机平台Android和云计算平台App Engine服务。 4、开放平台使用的技术 当前开发平台都是开放API的方式来提供服务。API:应用程序编程接口，开放API就是开放编程接口。 将平台能力抽象成业务API，然后提供给第三方编程。
3.1K60发布于 2018-03-08 - 来自专栏入门到放弃之路
那个爬虫不被封 -- 数据开放平台之POI
在做爬虫的时候，不免都有爬取这个数据是不是合法的这种担忧，程序中也有加代理、UA、控制爬取频率等手段来避免被网站识别。但是从一些数据平台开放的接口中爬取数据就不需要有这种考量。 每个POI包含四方面信息，名称、类别、坐标、分类，那时候就打算从一些公示网站爬取，数据更新缓慢导致不准确不说，而且因为数据量太大，爬取效果也不理想，后来就找到了高德的一个poi数据开发平台，完成了数据采集 高德开放平台通过API来提供poi数据，通过参数可以控制地区、类别等信息。 登录高德账号 点击 高德开放平台入口 进入页面，没有注册的homie先注册一个账号，注册登录之后点击申请key。 高德开放平台URL如下： https://lbs.amap.com/api/webservice/guide/api/search/ 注册密钥 1 进入注册页面的首页，点击新建应用 2 填写配置，选择 结果数据 这就是从接口中获取的poi数据，可用于地图打点等方面 日常结语 这个接口的调用也是有限制的，点击查看调用量，一般每天可以free调用3W次，一次25个poi，这样一天也能获取70W个poi，
98030编辑于 2022-05-09 【能力比对】K8S数据平台VS数据平台
一、K8S数据平台VS数据平台能力对比 1.1 K8S数据平台（CloudEon）-功能描述 K8S数据平台基于开源项目CloudEon建设，简化Kubernetes上大数据集群的运维管理，一款基于Kubernetes K8S数据平台（CloudEon）将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注。 二、功能对比总结三、 功能模块对比 3.1.1 K8S数据平台-功能定位 定位：K8S数据平台（CloudEon）作为数据基础设施核心引擎，通过容器编排将数据库、大数据及AI框架标准化为云原生资源，解决传统架构弹性 3.1.2 K8S数据平台-功能特点 01 云原生数据服务编排支持MySQL、PostgreSQL、Redis、Kafka、Spark、Flink等主流数据组件的K8s Operator封装，实现“声明式 四、 K8S数据平台VS数据平台-应用场景适配K8S数据平台（CloudEon）高实时性、弹性需求行业：互联网用户行为分析、金融反欺诈、AI模型推理等场景需支撑千万级QPS查询与GPU资源动态调度，其流批一体计算引擎
55510编辑于 2025-05-07- 来自专栏Frank的专栏
借开放平台连接时代
而开放技术平台，是集成了物联网、云计算、大数据及移动技术的平台，由此成为互联网+时代企业转型与变革的最佳利器。 传统企业面临的技术困境与挑战 传统企业互联网技术运营相对缺位。 开放技术平台的优势与价值 开放技术平台具备天生的互联网技术基因。目前市场上的开放技术平台均衍生于大型互联网企业。如腾讯、阿里、百度、360、YY等开放技术平台。 前面讲过，传统企业往往对顾客的积累和挖掘做得不够，有了分布式数据处理技术与平台，就可以尽可能地收集并积累产品与顾客的数据，进行大数据分析。如腾讯云分布式数据处理的开放技术平台。 典型的大数据处理平台架构拓朴见下： 例如：腾讯云大数据处理平台支持支持Flume、Tube、Kafka的数据实时接入；支持Mysql、Postgre、Oracle等主流关系数据库高效导入，支持文本类日志数据离线导入 chapter=8_1 4、开放搜索。开放技术平台服务商将搜索引擎组件化、平台化、服务化，形成的一套成熟的搜索开放能力，为企业提供数据处理、检索串识别、搜索结果获取与排序，搜索数据运营等搜索相关服务。
6.3K20发布于 2017-09-14 - 来自专栏坚毅的PHP
开放平台接口调用测试
console.log("Got error: " + e.message); }); 使用weibo的nodejs sdk的公共key去做访问，打印body无误，但是想解析chunk为json数据时出错 JSON全局对象在nodejs中是封装实现在v8引擎里的 http://code.google.com/p/v8/source/browse/trunk/src/json.js。 error 尝试方法3：文本保存为json文件，通过fs分析 var fs=require('fs'); var data = fs.readFileSync('package.json', 'utf8' ，拷贝weibo json复杂数据，结果出错 尝试去掉 json数据的某个属性，使用nodejs server 发送数据，然后客户端去解析打印属性，可行。 p=801，发现了自己的问题，不应该在 response的 data事件中去处理（数据可能正在发送中），而应该是end事件中再去做解析。
3.2K60发布于 2018-03-20 - 来自专栏JMCui
小米开放平台逆向工程
前言 最近在调研 小米开放平台 API 的能力，发现能力支持的实在有点少，没办法只能另辟蹊径去逆向 Consule UI 的能力。 逆向工程最重要解决的就是“认证”。 逆向工程-认证 首先，抓到小米开放平台登录接口：/pass/serviceLoginAuth2 curl 'https://account.xiaomi.com/pass/serviceLoginAuth2 逆向工程-鉴权 有了以上信息后，我们就能直接通过 username + password 的方式登录小米开放平台了，返回信息如下： &&&START&&&{ "qs": "? %2BHk7Gb399N1houCp9gqcaZEeDfsWMu1%2BBgs8iPsQcQ8DpL8Peay8%3D&m=1&_group=DEFAULT&tsl=0&p_ca=0&p_ur=CN&p_idc "desc": "成功" } 然后直接访问返回的 location 地址，在 reponse 的 header 的 set-cookie 信息里面就能找到 serviceToken 的信息，这个就是开放平台的鉴权信息
2.1K30编辑于 2022-11-12 - 来自专栏博客专栏
接入bilibili直播开放平台
在前几天，无意间看到了b站直播互动平台开放了开发者接入的功能，所以继接入qq和baidu登录授权功能后决定研究一下b站的直播互动平台接入有哪些不同。 回顾开发的总结 先来对这些天开发的内容进行一个总结和比较 qq互联 baidu网盘开放平台 bilibili直播开放平台 接口功能 登录与基本信息 登录与基本信息 直播弹幕、礼物、舰队时时信息 审核 严格，需要网站提前准备好各项功能、开放授权即能使用，否则不予通过。 利用code再次向获取token的url发起请求，即可获得token，其余数据获取携带该token即可成功得到。 当然，我也成功的通过接入该开放平台，实现了全民弹幕互动扫雷的项目，虽然没啥人来测试（；´д｀）ゞ 哦，还有，springboot切换数据库真的是非常方便，我一开始连接的mysql，配置依赖时候用的是
8K30编辑于 2022-12-26 - 来自专栏空空裤兜
添加微信开放平台
在微信开放平台刚出来的时候，就申请了一个号码，并热乎乎的发布了出来，也关注了几个公共号码，一时间微信消息此起彼伏，好不热闹，不过空空裤兜只是注册了号码，并没有发布消息，所以这个所谓的平台是一片冷清。 最近，微信开放平台升级后，很多公共号码的更新急剧减少。偶然又跑进开放平台去看了看，并且试着发布了一条图文消息，效果还是很不错的，虽说还是欠缺专业水准，但是可以先自我陶醉一下。 屁颠颠的在侧栏放上了空空裤兜的开放平台二维码，有兴趣交流的童鞋也可以搜索kongkudou添加。 PS：搜索结果会读取文章中的图片，没有配图的文章就会很丑，以后要多找找美图配上，咔咔咔。
3.9K10编辑于 2023-03-03 - 来自专栏大数据文摘
澳大利亚：开放数据平台和公共服务大数据战略
【大数据国家档案】 姓名：澳大利亚 数据开放计划：开放地理空间数据 大数据国家战略：澳大利亚公共服务大数据战略 发布时间：2013年8月 主导机构：澳大利亚联邦政府 核心内容：通过发布公共服务大数据战略 、澳大利亚研究理事会、澳大利亚财政与解除管制部门 国家战略 2013年8月，澳大利亚政府信息管理办公室（AGIMO）发布了公共服务大数据战略。 Data.gov.au是政府信息目录的开放数据平台，用户可以在该网站上简便地搜索、浏览和利用澳政府国家、地区政府的公共数据，政府鼓励所有用户通过更新工具和应用从信息中得到实惠。 在数据中心建设方面，2013年8月，隶属于澳大利亚财政与解除管制部门的ICT采购部发布了《数据中心结构最佳实践指南》草案，供公众审议。 财政部收集的数据通常是结构化数据，但数据量却在急剧增加。目前，该部门在Odysseus平台上有一批微软数据提取和分析工具来处理大数据，并需要不断地寻找更多的技术方案来解决大数据。
3.5K110发布于 2018-05-22 - 来自专栏云云众生s
信任GenAI需要一个开放数据移动平台
基于开源的数据移动平台是确保所有正确的数据都能轻松供人工智能模型访问的唯一途径，而人工智能模型将指导影响深远的决策，推动您的业务向前发展。 那么，组织如何确保能够覆盖其所有 自定义数据源 并信任其数据？尤其是在数据动态且不断更新的情况下。 在几乎所有情况下，内部完成所有工作并跟上所有更改都被证明是一种不可持续的 模型——来自太多不同来源的太多数据，无法以可信赖的数据完整性进行维护。 然后，选择成为封闭或开放的商业选项。 一个开放源代码 数据移动平台，它可以轻松构建和维护自定义数据源，在透明度方面提供了最高程度的信任。 基于开源的数据移动平台是确保所有正确的数据都能轻松供人工智能模型访问的唯一途径，这些模型将指导影响深远的决策，推动您的业务向前发展。任何低于此标准的做法都是不可接受的。
26110编辑于 2024-06-05 - 来自专栏sofu456
微信开放平台配置
https://developers.weixin.qq.com/miniprogram/dev/framework/
4.6K10编辑于 2022-12-30 - 来自专栏PPV课数据科学社区
普及、开放与平台：大数据价值运营之路（上）
围绕社会、企业与个人，我觉得有三个事情是需要重点关注的：即社会需要关注大数据概念的普及、个人需要以分享的心态迎接数据的开放、企业则要走平台化的战略让自己基业长青，我会分三篇文章表达下个人的看法。 ? 上面4种是当前大数据变现的一些典型形式，因此说阿里是个大数据帝国一点不假。你看，我列的所有变现模式它都有份，从广告 到金融、从产品到技术平台，现在它还在疯狂的拓展它的边界，医疗、文化、IP等等。 所以大家不要仅把它当成一个卖商品的平台公司， 马云不是说了吗，我们本质上是个数据公司，一点不假。 PPV课-国内领先的大数据学习社区和职业培训平台 ? 6、回复“答案”查看hadoop面试题题目及答案 7、回复“爱情”查看大数据与爱情的故事 8、回复“笑话”查看大数据系列笑话 9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载
65360发布于 2018-04-23 - 来自专栏架构之家
历经8年双11流量洗礼，淘宝开放平台如何攻克技术难关？
淘宝开放平台（open.taobao.com）是阿里系统与外部系统通讯的最重要平台，每天承载百亿级的API调用，百亿级的消息推送，十亿级的数据同步，经历了8年双11成倍流量增长的洗礼。 本文将为您揭开淘宝开放平台的高性能API网关、高可靠消息服务、零漏单数据同步的技术内幕。 高性能API网关 阿里巴巴内部的数据分布在各个独立的业务系统中，如：商品中心、交易平台、用户中心，各个独立系统间通过HSF（High-speed Service Framework）进行数据交换。 如何将这些数据安全可控的开放给外部商家和ISV，共建繁荣电商数据生态，在这个背景下API网关诞生。 总体架构 API网关采用管道设计模式，处理业务、安全、服务路由和调用等逻辑。 基于这样的场景，开放平台推出了消息服务技术，提供一个实时的、可靠的、异步双向数据交换通道，大大提高API调用效率。目前，整个系统日均处理百亿级消息，可支撑百万级瞬时流量，如丝般顺滑。
3.6K10编辑于 2022-07-12 - 来自专栏JAVA高级架构
历经8年双11流量洗礼，淘宝开放平台如何攻克技术难关？
作者｜风胜 来源｜阿里技术 淘宝开放平台（open.taobao.com）是阿里系统与外部系统通讯的最重要平台，每天承载百亿级的API调用，百亿级的消息推送，十亿级的数据同步，经历了8年双11成倍流量增长的洗礼 本文将为您揭开淘宝开放平台的高性能API网关、高可靠消息服务、零漏单数据同步的技术内幕。 高性能API网关 阿里巴巴内部的数据分布在各个独立的业务系统中，如：商品中心、交易平台、用户中心，各个独立系统间通过HSF（High-speed Service Framework）进行数据交换。 如何将这些数据安全可控的开放给外部商家和ISV，共建繁荣电商数据生态，在这个背景下API网关诞生。 总体架构 API网关采用管道设计模式，处理业务、安全、服务路由和调用等逻辑。 基于这样的场景，开放平台推出了消息服务技术，提供一个实时的、可靠的、异步双向数据交换通道，大大提高API调用效率。目前，整个系统日均处理百亿级消息，可支撑百万级瞬时流量，如丝般顺滑。
4.1K20发布于 2018-08-03 - 来自专栏图南科技
开放平台技术实践-开放生态与授权服务
文本基于 大型互联网企业平台开放技术实践 整理，原文值得收藏，多次阅读。 文章从开放生态、开放网关、开放授权和开放安全四个方面阐述了开放平台的建设路径。 开放生态 开放生态包含四个角色，开放平台，开发者（ISV），商家和用户。 ? image.png “ISV 通过企业的开放平台可以开发出商家所需要的 SAAS 软件。 每个大的开放平台下，总会有许多依附于这个平台下的软件开发商，合作伙伴和自由软件者。 我找了一张阿里云合作伙伴的介绍文案如下 ? pin，OpenID 和 unionID 仅仅是开放场景下的用户标识 开放安全 数据归属判断 数据安全的数据归属判断 获取到资源 Id 之后，进行数据更新删除修改之前，做一步判断资源是否属于当前用户的操作 接口提供方数据归属判断.png 原文中有这么一句话 “开放网关的时候开放网关将 accestoken 置换成了 pin 这句话展开来说，消息及数据在系统之间传递时用的是 token 票据，过了网关，在每个服务内部交互时
2.9K10发布于 2020-02-20 - 来自专栏测试开发干货
数据工厂平台-8：首页统计功能
想简单请直接跳转到第13章内容】 注意我们当前做的平台是数据构造平台，既然是数据，那么首页我们要弄成什么样呢？ 当然，每个工具被使用的时候，我们都要在统计表中记录好它被使用的次数，这样才能更加刺激其他同学在平台上创造数据构造小工具。 目前的设计主要会有四大模块： 大型数据工具 模块，此模块负责构造过程非常复杂且繁多，需要调用各种支撑服务的超大数据构造。 小工具类模块，此模块负责较小的脚本、数据构造、小工具等的模块。 设置管理模块，包括平台的各种设置，架构等等。 首页统计模块，方便使用者对当前整体有个概念 和力量展示。 下节课我们用vue和该统计图连接起来，控制它的展示数据等等。
75130编辑于 2022-05-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号