- 综合排序
- 最热优先
- 最新优先
- 来自专栏物联网智慧生活
工业数据采集上传云端工业网关应用
工业网关+云平台，实现工业数据采集上云。 工业5G网关对设备开关、模拟量及其他上报数据进行采集，通过配置传感器，还可以实现对设备温度、震动及环境湿度等多种数据进行采集;通过配套计讯物联云平台系统，用户既可以在工控机上实现数据监测和设备控制，也可以通过手机 图片1.png 工业数据采集上传云端工业物联网网关http://www.top-iot.com/list-55-1.html 1、通过直接连接设备或部署传感器，实现工业制造业检测环节的环境信息、设备信息的检测 图片3.png 工业数据采集上传云端优势 1、降低存储成本：从设备传感器上采集的数据点往往是时序连续的过程量，随着采集频率的提高和周期延长，数据量是非常大的，如果考虑对海量的数据的存储、备份和还原全生命周期的管理 4、数据共享更便利：企业应该把自身看成“大数据”价值链中的一部分，那么企业既是贡献者也是受益者，工业大数据的价值可以共享给企业上下游使用，采用统一的公有云平台，促进数据资源的融会贯通，使得数据共享更方便
1.6K20发布于 2021-07-08 - 来自专栏PLC
TRICONEX 3700 工业数据方面为工业4.0
TRICONEX 3700 工业数据方面为工业4.0图片由Softing Industrial开发的新edgeConnector系列使客户能够将其生产集成到全面的工业4.0环境中。 )和MQTT(消息队列遥测传输)作为数据传输和集成的主要通信协议。 西门子边缘连接器支持访问西门子SIMATIC S7-300/400和SIMATIC S7-1200/1500控制器，用于生产数据采集、制造参数分析和预测性维护。 边缘连接器840D供SINUMERIK 840D Solution Line和Power Line CNC控制器从NC区域读取过程参数(轴、刀具和程序数据等。) PLC区域(状态、程序段、报警)和驱动数据(转矩、电流、rpm)。
51920编辑于 2023-04-23 - 来自专栏数据科学与人工智能
【数据】工业大数据应用
小编邀请您， 先思考： 1 如何用数据？ 工业大数据的九个方面的应用。 第一是加速产品创新设计，传统的产品设计模式是基于设计师的灵感和经验，揣摩消费者的需求喜好，设计产品，针对性不强，不精确。 案例一是波音公司，案例二也不展开了，案例三是宝钢大数据应用。 三是供应链的分析和优化，产品电子标识、物联网、移动互联网等技术能帮助工业类企业获得完善的产品供应链的大数据。 基于大数据技术，利用销售数据、产品的传感器数据和供应商数据库的数据，企业可准确地预测全球不同区域的需求，通过跟踪库存和销售价格，可以在价格下跌时买进，从而可节约大量的成本。 大数据将带来仓储、配送、销售效率的大幅提升和成本的大幅下降，实现供应链的优化。这是宝钢大数据应用的一个例子。 四是产品销售预测与大数据营销。 在工业类企业对产品进行管理与分析时会产生大量的数据，利用传统的分析方法难以发现数据之间复杂的隐性关联关系。
71000发布于 2018-07-30 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据项目之数据采集
export \ --数据库连接参数 --HDFS或者Hive的连接参数 --配置参数 数据库参数 –connect jdbc:mysql://hostname:3306 –username –password Oracle数据量不符 原因 sqoop以文本格式导入数据时，默认的换行符是特殊字符 Oracle中的数据列中如果出现了\n、\r、\t等特殊字符，就会被划分为多行 Oracle数据 id name ，压缩比不如Orc，但是查询性能接近，支持的工具更多，通用性更强 SparkCore缺点：RDD【数据】：没有Schema SparkSQL优点：DataFrame【数据 + Schema】 Schema ：列的信息【名称、类型】 Avro格式特点 优点 二进制数据存储，性能好、效率高 使用JSON描述模式，支持场景更丰富 Schema和数据统一存储，消息自描述 模式定义允许定义数据的排序 特点：既导入新增的数据也导入更新的数据 场景：一般无法满足要求，所以不用 代码 sqoop import \ --connect jdbc:mysql://node3:3306/sqoopTest \
89920编辑于 2023-02-03 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之工业大数据之油站维度设计【十四】
01：油站维度设计 目标：掌握油站维度的需求与设计 路径 step1：需求 step2：设计 实施 需求：构建油站维度表，得到油站id、油站名称、油站所属的地理区域、所属公司、油站状态等 设计 数据来源 公司名称】 select ygcode, companyname from one_make_dwd.ciss_base_baseinfo group by ygcode, companyname; 数据有重复 油站维度表' PARTITIONED BY (dt STRING) STORED AS TEXTFILE LOCATION '/data/dw/dws/one_make/dim_oilstation'; 抽取数据
28610编辑于 2023-06-10 - 来自专栏大数据和云计算技术
工业4.0和大数据
工业4.0概念和起源 工业1.0是机械制造时代，工业2.0是电气化与自动化时代，工业3.0是电子信息化时代。 工业4.0中大数据的应用 工业4.0核心是将大数据，云计算以及物联网等新技术应用到工业生产中，从而提高企业，行业的整体效率和竞争力。 在实现智能制造，设备和生产过程中产生的大量数据需要有效的加以利用，这里面就需要构建现金的制造云平台，提供生产数据的大数据分析和处理，优化生产流程，保证产品质量，提高生产效率和生产安全。 随着智能化程度的越高，生产过程中产生的数据会越来越多，大数据应用的需求会越来越强。 举例几个可以想到的大数据应用有： 智能工厂：工厂选址决策，生产任务智能调度 智能生产：KPI监控，生产提前预测 智能物流：发货预测，智能仓储，物流优化等等。
1.2K130发布于 2018-03-08 - 来自专栏物联网wtblnet.com
数据采集网关|工业数据采集网关
数据采集网关|工业数据采集网关 随着数据量的不断增速，数据价值也逐步被许多公司所关注，尤其是偏重于业务型的企业，许多数据的发生，在未被挖掘整合的进程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估计 近段时刻有幸参与负责了一个大数据项目，今日主要对收集体系做一次简单的复盘： 数据收集体系故名思意就是将数据从数据源收集到能够支撑大数据架构环境中，从而实现数据的收集以便后期对数据的二次加工树立数据仓库。 ，都需求获取哪些数据，获取到后要收集存储到哪个数据仓库的表中，终究被运用到。 数据源办理 数据源一般会分为许多种类型，因而，咱们需求树立数据源类型；如ORECAL、mysql、hive等。 个人方面 对数据仓库的了解和认识上有所提高，对SQL的学习也算是一次稳固，一起在做的进程中对自己曾经遇到过的数据需求也有了一些新的思考思路和总结复盘。总之是收成满满。
2.4K40发布于 2019-12-03 - 来自专栏最新最全的大数据技术体系
【补充】助力工业物联网，工业大数据之AirFlow安装
【补充】助力工业物联网，工业大数据之AirFlow安装 直接在node1上安装 1、安装Python 安装依赖 yum -y install zlib zlib-devel bzip2 bzip2-devel 通常只用于测试 # LocalExecutor是多进程本地执行任务使用的 # CeleryExecutor是分布式调度使用（可以单机），生产环境常用 # DaskExecutor则用于动态任务调度，常用于数据分析 executor = CeleryExecutor #30行:修改元数据使用mysql数据库，默认使用sqlite sql_alchemy_conn = mysql://airflow:airflow redis://localhost:6379/0 #743 result_backend = db+mysql://airflow:airflow@localhost:3306/airflow 初始化元数据数据库
59120编辑于 2023-09-06 - 来自专栏Spark学习技巧
工业数据安全治理参考框架
随着工业企业数字化进程不断深化，工业数据作为新的生产要素，贯穿于工业全流程，其地位和重要性不言而喻。 因此，通过对工业数据安全治理探索，帮助工业企业实现数据全生命周期的安全防护，释放工业数据潜在价值，有着重要的意义。 1 工业数据安全治理概述 工业数据作为国家基础性战略资源，是驱动工业数字化转型发展的核心，是构建数字经济的基石。 构建工业数据安全治理体系，对工业数据在跨系统、跨地域、跨行业间的安全流动、应用有着重要的数据价值。 2.2.4 数据防泄漏 根据工业数据分类分级清单，定义敏感数据，形成工业敏感数据清单和重要数据、核心数据保护清单。
1.9K31编辑于 2023-03-21 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之脚本开发【五】
Shell：Linux原生Shell脚本，命令功能全面丰富，主要用于实现自动化Linux指令，适合于Linux中简单的自动化任务开发 Python：多平台可移植兼容脚本，自身库功能强大，主要用于爬虫、数据科学分析计算等 获取表名 b.构建Sqoop命令 c.执行Sqoop命令 d.验证结果 脚本目标：实现自动化将多张Oracle中的数据表全量或者增量采集同步到HDFS中 实现流程 脚本选型 单个测试 添加执行权限 chmod ：Sqoop解析出来的MR的Java程序等输出文件输出的文件 增量采集 cd /opt/sqoop/one_make sh -x incr_import_tables.sh 脚本中特殊的一些参数 工单数据信息 、呼叫中心信息、物料仓储信息、报销费用信息等 HDFS路径 /data/dw/ods/one_make/incr_imp/表名/日期 Oracle表：组织机构信息、地区信息、服务商信息、数据字典等 HDFS 进行上传到HDFS上，归档并且备份 Avro文件本地存储 workhome=/opt/sqoop/one_make --outdir ${workhome}/java_code 小结 了解如何实现采集数据备份
74520编辑于 2023-02-17 - 来自专栏钱塘大数据
数据是工业4.0的核心驱动，工业大数据两个案例剖析
而工业大数据通过360度全景的数字视角，为制造业带来了新的优势，它将提供预测自主维修决策支持分析，打造智能化供应链。大数据是工业4.0的核心驱动。 ? 工业大数据的核心支撑力 工业大数据的实践中，宏观与微观、规模与定制、个性与共性必然成为主要的几个矛盾。 所以工业大数据对工业链的管理能为企业带来价值。 那么工业数据来源于内源数据和外源数据。企业内部在运行中，积累了大量的内源数据。互联网的今天，外源数据更多。事实上，很多企业不缺数据，主要问题是数据质量低下以及采集手段不科学。 工业数据到底在哪里？ 工业数据湖针对工业工作量优化设计包括：关键任务优化，解决工业互联网软件安全性等关键SLA问题；快速获取与储存数据，其中包括设备数据；支持多种模式与数据类型；高性能分析，使用大规模并行处理架构；数据治理和融合
2.4K50发布于 2018-02-28 - 来自专栏决策智能与机器学习
工业大数据 OR 工业互联网到底有什么价值
大数据神话 大数据带来了无穷的想象力和无所不能为的信心，随着消费、政府、物流等大数据行业的快速发展，工业领域内，数字设计、数字工厂、数字制造等概念也一哄而上，仿佛工业大数据已经成为拯救实体经济的 “大力丸”，中国有着规模庞大的各型工业设备、丰富的设备使用场景，中国的工业大数据随处都是。 对那些有着厚重的工业技术体系和知识转化的GE、西门子而言，当他们在说工业大数据的时候，他们有着一个我们很多企业没有的隐含条件。不要将无数的现场数据等同于工业大数据。 ? 数据密集型的核心是数据科学家的密集型 就工业大数据而言，最重要的就是对它进行密集型的分析——工业知识断不能缺位。GE在谈及工业互联网的时候，给与了“专业知识”以高度的重视。 在工业领域，“无知识，不数据”。没有工业经验的线性化指引，数据就不会高速转化，工业大数据的价值，就不会产生。
76720发布于 2020-08-04 - 来自专栏决策智能与机器学习
基于工业大数据的工业智能发展 | 机器智能 | 趋势研判
工业智能的基础：工业大数据 工业大数据是工业智能的基础，通过数据驱动实现工业智能是目前较为可行的途径，随着工业数字化、网络化的进程不断加快，工业领域收集的数据维度不断扩大，主要体现在三个方面 经过多年的生产经营，积累下来历年的产品数据、工业数据、原材料数据和生产设备数据； 二是数据范围不断扩大。 企业经营的视角来看待这些工业数据。 大数据在工业企业的应用 企业所积累的数据量以越来越快的速度在增加，很多企业也就顺势将大数据技术引入企业的生产经营中。大数据在工业企业的应用主要体现在三方面： 一是基于数据的产品价值挖掘。 商业模式创新主要体现在两个方面，一是基于工业大数据，工业企业对外能提供什么样的创新性商业服务；二是在工业大数据背景下，能接受什么样的新型的商业服务。
55340发布于 2020-08-04 - 来自专栏数据猿
明略数据工业大数据专家葛利鹏：大数据驱动的工业人工智能初探
数据猿导读 工业在我国经济中占比较重要的地位。近年来，我国经济的快速发展，进入了一个中高速增长的新常态。工业在中国经济中的比重依然在不断增强。同时，工业和我们日常生活是息息相关的。 4月24日，《魔方大数据系列应用圆桌论坛之智能工业创新应用论坛》活动在美丽的江苏盐城大数据产业园顺利举行。 秘书长 周曦民 明略数据工业大数据专家 葛利鹏 数之联CTO 方育柯 苏州无限愿景联合创始人 陈春雨 泰瑞数创科技COO 王睿 以下是由数据猿精编整理发布的 明略数据工业大数据专家葛利鹏 的精彩分享 我是明略数据的葛利鹏。今天非常高兴可以跟大家一起分享明略数据在工业大数据方面的一些项目实践和典型案例。 工业在我国经济中占比较重要的地位。近年来，我国经济的快速发展，进入了一个中高速增长的新常态。 这样，就可以把海量的数据在非常快的时间内（几秒钟之内）计算出来，就可以使数据反应能力非常准。 大数据这个"大"体现在工业处理的海量数据上。 有的工业企业并不具备非常大量数据。
79390发布于 2018-04-24 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之分层总体设计【六】
行业：工业物联网 项目：加油站服务商数据分析平台 需求 提高服务质量：安装、维修、巡检、改造工单分析，回访分析 合理规划成本运算：收益分析、报销分析、物料成本 一站制造项目的技术选型是什么？ 数据来源：Oracle【CRM系统、客服系统、报销系统】 数据采集：Sqoop 数据存储：Hive数据仓库 数据计算：SparkSQL【离线+实时、DSL + SQL】 数据应用：MySQL + Grafana ODS：原始数据层/操作数据层，最接近与原始数据的层次，数据基本与原始数据保持一致 DW：数据仓库层，实现数据的处理转换 DWD：实现ETL DWM：轻度聚合 DWS：最终聚合 ADS 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的I/O吞吐 成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本 效率：良好的数据模型能极大地改善用户使用数据的体验 、基本事实指标等数据 数据来源：对DWD层的数据进行清洗过滤、轻度聚合以后的数据 存储设计：Hive分区表，orc文件格式存储，保留所有数据 ST 数据内容：存储所有报表分析的事实数据 数据来源：
70421编辑于 2023-02-17 - 来自专栏决策智能与机器学习
基于决策树的工业数据分类——数据智能
1 决策树 在机器学习这个层面，将所要处理的数据看做是树的根，相应的选取数据的特征作为一个个节点（决策点），每次选取一个节点将数据集分为不同的数据子集，可以看成对树进行分支，这里体现出了决策 2 构建决策树 在构造决策树首先需要选取特征将原始数据划分为几个数据集，那么第一个问题就是当前数据的哪个特征在划分数据分类时起决定性作用，所以必须评估每个特征。 进而通过特征将原始数据就被划分为几个数据子集，这些数据子集分布在第一个决策点的所有分支上，如果分支上的所有数据为同一类型，则划分停止，若分支上的所有数据不是同一类型，则还需要继续划分，直到所有具有相同类型的数据均在一个数据子集中 划分数据时是根据某一原则进行划分，使得划分在同一集合中的数据具有共同的特征， 据此，我们可以理解为划分数据的原则就是是无序的数据变得有序。 首先，我们按照给定特征划分数据集并进行简单的测试： ###划分数据集（以指定特征将数据进行划分） def splitDataSet(dataSet,feature,value):##传入待划分的数据集
90230发布于 2020-08-04 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之事实主题指标划分【十八】
网点物料事实指标：零配件的个数 …… 小结 掌握一站制造中的业务主题划分及主题指标的设计 02：呼叫中心事实指标需求分析 目标：掌握DWB层呼叫中心事实指标表的需求 路径 step1：目标需求 step2：数据来源 实施 目标需求：基于基础的时间、受理方式、来电类型等事实维度统计工单数量、电话数量、回访数量、投诉数量等 数据来源 ciss_service_callaccept：客服中心来电详情表 eos_dict_type 其他业务单据数量') partitioned by (dt string) stored as orc location '/data/dw/dwb/one_make/fact_call_service'; 构建数据字典表
36720编辑于 2023-07-31 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据项目介绍及环境构建【三】
01：业务系统结构 目标：了解一站制造中的业务系统结构 实施 数据来源 业务流程 油站站点联系呼叫中心，申请工单 呼叫中心分派工单给工程师 工程师完成工单 工程师费用报销 目标：熟悉业务系统核心数据表 实施 切换查看数据库 查看数据表 CISS_BASE：基础数据表 报销项目核算、地区信息、服务商信息、设备信息、故障分类、出差补助信息 熟悉业务系统核心数据表 03：全量与增量分析 目标：了解全量表与增量表数据采集需求 实施 全量表 所有维度数据表 场景：不会经常发生变化的数据表，例如维度数据表等 数据表：组织机构信息、地区信息 、服务商信息、数据字典等 表名：参考文件《full_import_tables.txt》 增量表 所有事务事实的数据表 场景：经常发生变化的数据表，例如业务数据、用户行为数据等 数据表：工单数据信息、 呼叫中心信息、物料仓储信息、报销费用信息等 表名：参考文件《incr_import_tables.txt》 小结 了解全量表与增量表数据采集需求
90220编辑于 2023-01-04 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据项目介绍及环境构建【一】
文章目录 工业大数据项目介绍及环境构建 01：专栏目标 02：项目背景 03：项目需求 04：业务流程 05：技术选型 06：Docker的介绍 07：Docker的网络 08：Docker的使用 01：专栏目标 项目目标 项目1：在线教育 学习如何做项目，项目中大数据工程师要负责实现的内容和流程 学习数仓基础理论：建模、分层 项目2：工业大数据 企业中项目开发的落地 、快递机器人 …… 工业物联网：IIOT（Industrial Internet of Things） 定义：指数以亿计的工业设备，在这些设备上装置传感器，连接到网络以收集和共享数据 发展 实施 项目行业：工业大数据 项目名称：加油站服务商数据运营管理平台 中石化，中石油，中海油、壳牌，道达尔…… 整体需求 基于加油站的设备安装、维修、巡检、改造等数据进行统计分析 支撑加油站站点的设备维护需求以及售后服务的呼叫中心数据分析 工业化大数据平台 行业：加油站服务商运营数据分析平台 为什么要做这个项目？
1.1K20编辑于 2022-12-02 - 来自专栏最新最全的大数据技术体系
助力工业物联网，工业大数据之服务域：项目总结【三十九】
12：项目总结：背景需求 目标：掌握一站制造的项目背景及项目需求 路径 step1：行业背景 step2：项目需求 实施 项目行业：工业互联网大数据：物联网 项目名称：加油站服务商数据运营管理平台 ：业务数据库系统 Oracle：工单数据、物料数据、服务商数据、报销数据等 数据采集 Sqoop：离线数据库采集 Sqoop怎么采集Oracle数据 数据存储 Hive【 ：存储不同部门所需要的不同主题的数据 数据来源：对DW层的数据进行聚合统计按照不同部门划分 DWS：维度数据层：类似于以前讲解的DIM：存储维度数据表 数据内容：存储所有业务的维度数据：日期、地区、油站 -2021年9月） 项目架构： spark2.4+hive2.1+hadoop2.7+sqoop1.4+oracle11g+mysql5.7+airflow2.0 项目简介： 一站制造项目基于工业互联网行业 在石油制造行业存在大量运营、仓储物料数据，通过大数据技术架构解决这种复制业务情况下的数据存储和分析以及数据可视化问题。主要基于hive数据分层构建存储各个业务指标数据，基于sparksql做数据分析。
53720编辑于 2023-08-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号