- 综合排序
- 最热优先
- 最新优先
- 来自专栏韩曙亮的移动开发专栏
【商务智能】数据预处理
商务智能系列文章目录 【商务智能】数据预处理 ---- 文章目录 商务智能系列文章目录 前言 一、数据预处理主要任务 二、数据规范方法 1、z-score 规范化 2、最小-最大规范化 三、数据离散方法 1、分箱离散化 2、基于熵的离散化 总结 ---- 前言 在进行数据分析之前 , 先要对数据进行预处理操作 , 本篇博客简要介绍常用的数据预处理方法 ; 一、数据预处理主要任务 数据预处理主要任务 因为属性取值范围不同 , 在数据分析过程中导致分析结果出现误差 ; 如 : 时间属性的数值 , 有用秒作为单位的 , 有用小时作为单位的 , 必须统一成同一个时间单位 ; ③ 数据清洗 : 识别 和 处理 【数据挖掘】决策树中根据 信息增益 确定划分属性 ( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 ) 博客 ; ---- 总结 本博客主要讲解数据预处理需要进行的操作
4.6K30编辑于 2023-03-29 - 来自专栏数据科学与人工智能
【智能】自然语言处理概述
2 什么是自然语言处理？ 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究人与计算机之间用自然语言进行有效通信的理论和方法。融语言学、计算机科学、数学等于一体的科学。 其中包括数据清洗，停用词处理，分词，词频统计，排序等常用方法。真题算是结构化数据，有一定规则，比较容易处理。 此过程其实就是数据清洗过程）最后把所有单词集中汇总，再去除如：a/an/of/on/frist等停用词（中文文本处理也需要对停用词处理，诸如：的，地，是等）。 事先收集处理数据集（涉及网络爬虫和中文切词，特征选取） 2. 预处理：（去掉停用词，移除频数过小的词汇【根据具体情况】） 3. 特征处理是特征工程的核心部分，特征处理方法包括数据预处理，特征选择，降维等。 2 特征提取：特征提取是指将机器学习算法不能识别的原始数据转化为算法可以识别的特征的过程。
1.9K50发布于 2018-04-18 - 来自专栏全栈程序员必看
智能车图像处理-阳光算法
感谢大家的留言和指正，首先，这个算法经过实践，确实存在问题，因为当时毕业比较忙，我在智能车上试验了一下，觉得效果可以就没再深入发掘，后来一些车友们给我留言，有两个问题：一是在反光特别强烈的情况下，算法效果大打折扣
1K21编辑于 2022-08-27 - 来自专栏用户5909132的专栏
智能存储 | 极速高清媒体处理能力
在这样的环境下，数据万象 CI 推出了 COS+音视频一站式的视频质量优化方案，数据万象在数据工作流中提供了极速高清能力，极速高清媒体处理能力通过智能场景识别、动态编码，精准的码率控制模型，为点播等场景以更低码率 (平均节省45%)提供更低码率的服务，综合实时视频画面质量评估分析，使用反交错、去噪、USM、CDEF、ROI 等画质增强处理技术，强化纹理细节，给您带来全新的高清视野。 01 极速高清处理流程 如图所示，视频特征分析采用基于深度学习的方法分析出视频中画质差、噪声多的位置。 这里着重给大家介绍一下全流程中最重磅的视频前处理。 、软模糊、反交错、去块、降噪、色阶补偿、降帧等前置处理，使画面效果在无参考模型中画质评分有大幅度提升，这就是所谓的千人千面处理。
1.7K40编辑于 2021-12-16 - 来自专栏腾讯云存储
智能存储|极速高清媒体处理能力
在这样的环境下，数据万象 CI 推出了 COS+音视频一站式的视频质量优化方案，数据万象在数据工作流中提供了极速高清能力，极速高清媒体处理能力通过智能场景识别、动态编码，精准的码率控制模型，为点播等场景以更低码率 (平均节省45%)提供更低码率的服务，综合实时视频画面质量评估分析，使用反交错、去噪、USM、CDEF、ROI 等画质增强处理技术，强化纹理细节，给您带来全新的高清视野。 01 极速高清处理流程 1.png 如图所示，视频特征分析采用基于深度学习的方法分析出视频中画质差、噪声多的位置。 这里着重给大家介绍一下全流程中最重磅的视频前处理。 、软模糊、反交错、去块、降噪、色阶补偿、降帧等前置处理，使画面效果在无参考模型中画质评分有大幅度提升，这就是所谓的千人千面处理。
1.6K10编辑于 2021-12-15 智能文档处理(IDP)技术深度解析
有了智能文档处理（IDP）管道，合同在一小时内被解析、关键条款被提取、偏差被标记，义务被推送到CLM系统中。曾经手动、易出错且缓慢的过程变得近乎实时、结构化和可审计。 该分析将指导您选择确定性规则、适应性智能还是混合模型是最佳选择。什么是智能文档处理？其核心在于，智能文档处理是企业文档向结构化、已验证、系统就绪数据的AI驱动转换。 IDP与其他方法的边界智能文档处理（IDP）不是OCR、RPA或自动文档处理（ADP）的替代品。相反，它充当使它们变得智能的协调者，通过做它们不能做的事情来补充它们：学习、泛化和解释超出模板的文档。 IDP实践：真实用例与业务成果智能文档处理（IDP）在合同、发票、索赔和患者记录的混乱现实中证明其价值。 IDP：提供自适应的大脑——处理非结构化和可变格式的机器学习。“没有ADP的确定性，IDP无法扩展。没有IDP的智能，ADP会在可变性下崩溃。”
37810编辑于 2026-01-19- 来自专栏数据科学与人工智能
【自然语言处理】自然语言处理与人工智能
对目前这个主流的基于统计的浅层自然语言处理，有两点我认为是需要高度肯定的： 第一是使用正确的手段解决了语言边界这样一个典型的非良定义的人工智能的问题。 第一是我们做自然语言处理的，不指望人工智能的天上掉下语言处理的馅饼，还是靠自己认识语言，真正地在这个语言上做文章，而不要在其他的地方做文章，其他的地方没有出路。 第二是不指望语言处理的这个方向，如果突破了的话，会导致人工智能领域出现什么样的飞跃或者奇迹，这也是不现实的，因为语言这个东西就是刚才说的许多类别的知识领域之一，就是一个边角的东西，虽然很重要，虽然躲不开 ，但是对人工智能那边没有太大的影响，那边该怎么研究就怎么研究。 最后说与人工智能的关联。虽然我是这样的题目，结论是自然语言处理和人工智能并没有强关联，而自然语言处理可以为人工智能的进步做一点点贡献，但是是比较微弱的。谢谢。
2.7K111发布于 2018-02-27 深度分析：多媒体数据处理与智能视频处理技术
媒体处理服务（Media Processing Service, MPS） 产品介绍 媒体处理服务（MPS）是一款面向多媒体数据处理的云服务产品，专为满足现代媒体产业中对视频和音频内容处理的需求而设计。 这些技术使得MPS能够提供高质量的音视频转码服务，同时通过AI技术实现视频内容的智能分析和处理，提升媒体内容的整体质量和观看体验。 AI视频处理 产品介绍 AI视频处理是指利用人工智能技术对视频内容进行分析、编辑和增强的过程。这项技术可以自动识别视频中的内容，并进行相应的处理。 功能亮点 AI视频处理能够提供智能剪辑、内容识别、场景分割等功能，使得视频内容更加丰富和吸引人。它还可以通过智能分析来提升视频质量，如通过AI技术进行视频增强和色彩校正。 总结 在多媒体数据处理领域，Media Processing Service（MPS）以其强大的音视频转码能力和AI视频处理技术，为企业提供了一个全面、智能且高效的解决方案。
39210编辑于 2025-07-28合合信息智能图像处理技术，让你的设备更智能
这种情况下，要得到高质量的图像，我们需要算法模型的处理：调整滤镜效果，切除多余的边框、重新调整矫正图片，增亮、锐化文字、去除阴影，使黑白更清晰、色彩更鲜明。 图像增强技术指的是通过各种算法和处理技术改善图像质量的一系列方法，目标是通过提高图像的可视性或转换图像的形式，使其更适合特定的应用。图像增强可以包括对比度增强、噪声去除、锐化处理、去模糊等多种技术。 去摩尔纹技术通过数学算法或滤波器处理来减少或消除这种干扰，从而提高图像的质量和清晰度。集成图像处理算法，能让打印机这样的设备更加聪明。我们的技术发展至今，服务于生活，就是为了一个图省事儿。 试试图像处理技术在你拍摄的文件上效果如何？
39010编辑于 2024-12-04- 来自专栏音视频技术
快手智能视频图像编码处理服务架构
与此同时，它也支撑了视频剪辑和视频制作工具“快影”和企业级视频智能生产云平台“OnVideo”，以及其它新业务的大量视频分析、处理和制作需求。 除了基本的编解码处理能力，Atlas也提供基于内容的智能处理与编码 (CAPE，Content Aware Processing & Encoding)，在后面的部分我们也会给出一个视频CAPE的应用实例 音频处理方面，Atlas包含音频美学，响度均衡，智能降噪，智能音效等功能。快手平台通过应用响度均衡处理技术和标准，能够有效规范平台的音频响度和动态范围平衡，避免切换不同视频时，声音响度忽大忽小。 而智能降噪技术已经应用在快手直播，视频会议及快手K歌等多个业务场景。Atlas除了提供上述对音频的处理能力，也支持智能化的音频压缩算法，例如内容自适应音频编码 (CAE)等 。 4 Atlas实际应用 下面将介绍两个Atlas实际应用的例子，分别是CAPE（基于内容的处理与编码）和视频AI智能增强。
3.1K30发布于 2021-09-01 - 来自专栏mathor
“达观杯”文本智能处理挑战赛
1.比赛地址及数据来源 "达观杯"文本智能挑战赛 2.代码及解析 """ @简介：tfidf特征/ SVM模型 @成绩： 0.77 """ #导入所需要的软件包 import pandas as pd ====================================================================== # @代码功能简介：从硬盘上读取已下载好的数据，并进行简单处理 # @知识点定位：数据预处理 #==================================================================================== ) #========================================================== # @代码功能简介：将数据集中的字符文本转换成数字向量，以便计算机能够进行处理
89920发布于 2018-09-19 - 来自专栏ocr
移动端多种证件识别图文智能处理
服务器多种证件识别： 说移动端多种证件识别图文智能处理技术之前，先说说服务器端的多种证件识别图文智能处理服务程序。 一、移动端多种证件识别图文智能处理的应用背景 可以预见未来几年60%以上的业务将会逐渐转移到智能终端系统上来。在这种背景下，北京易泊推出基于Android平台的身份证识别软件。 二、移动端多种证件识别图文智能技术的解决方案 移动端多种证件识别图文智能处理，是利用OCR识别技术，通过手机拍摄身份证图像或者从手机相册中加载证件图像，过滤身份证的背景底纹干扰，自动分析证件各文字进行字符切分 三、移动端多种证件识别图文智能处理的优势 1、在移动端多种证件识别图文智能处理行业中，快证通的字符分割算法源于清华，尤为出色。
2.7K30发布于 2020-05-28 - 来自专栏blog-技术博客
人工智能_2_特征处理.py
# 特征处理 # 特征预处理:通过统计方法将数据转换为算法需要的数据 # 数值型数据:标准缩放 # 规依法,标准化(常用,适用于当前大数据),缺失值处理(删除,填补中位数平均数,通常按照列填补 ) # 类别型数据:ont-hot编码 # 时间类型:时间的切分 # 特征处理API sklearn.preprocessing # ================================== [90,2,10,9000], [60,4,15,45], [75,3,13,46], ] def mm(): """ 归一化处理 =============== # 标准化(常用):使得某一特征不会对结果造成太大影响 # new=(old-平均)/标准差 对每一列来说 # 标准差 = 方差开平方 # 方差:考量数据的稳定性 # 处理后每个特征平均为
43130发布于 2020-05-08 - 来自专栏音视频技术
快手智能视频图像编码处理服务架构
与此同时，它也支撑了视频剪辑和视频制作工具“快影”和企业级视频智能生产云平台“OnVideo”，以及其它新业务的大量视频分析、处理和制作需求。 除了基本的编解码处理能力，Atlas也提供基于内容的智能处理与编码 (CAPE，Content Aware Processing & Encoding)，在后面的部分我们也会给出一个视频CAPE的应用实例 音频处理方面，Atlas包含音频美学，响度均衡，智能降噪，智能音效等功能。快手平台通过应用响度均衡处理技术和标准，能够有效规范平台的音频响度和动态范围平衡，避免切换不同视频时，声音响度忽大忽小。 而智能降噪技术已经应用在快手直播，视频会议及快手K歌等多个业务场景。Atlas除了提供上述对音频的处理能力，也支持智能化的音频压缩算法，例如内容自适应音频编码 (CAE)等 。 4 Atlas实际应用 下面将介绍两个Atlas实际应用的例子，分别是CAPE（基于内容的处理与编码）和视频AI智能增强。
5.3K20发布于 2021-02-20 利用YashanDB实现智能数据流处理
数据频繁变动的背景下，如何确保系统能够高效且准确地处理实时流数据，成为了推动业务发展的关键因素。YashanDB作为一个高性能数据库，其设计能够显著提高智能数据流处理的能力，从而提供切实的解决方案。 逻辑架构中的SQL引擎、PL引擎和存储引擎各司其职，在数据流处理上相辅相成。物理架构则涉及分布式存储和计算，使得数据处理能够扩展至更高的水平。 这对于实时数据流处理尤为重要，因为它能够使得数据读写同时进行，避免了因排队造成的延迟。数据流处理的智能化借助于YashanDB的强大功能，智能数据流处理得以实现。 当处理大规模数据时，列式存储能够极大提升数据的读取性能，而行存表则适用于频繁的写操作。通过合理配置表和索引结构，YashanDB可以在智能数据流处理的场景中提供卓越的性能。 结论本文介绍了YashanDB在智能数据流处理方面的架构设计及功能优势，包括分布式高可用性、MVCC支持、实时数据分析和事件驱动触发机制等。
19500编辑于 2025-07-15- 来自专栏超级架构师
「自然语言处理」使用自然语言处理的智能文档分析
什么是智能文档分析? 智能文档分析(IDA)是指使用自然语言处理(NLP)和机器学习从非结构化数据(文本文档、社交媒体帖子、邮件、图像等)中获得洞察。 智能文档分析技术 以下是7种常见的IDA技术。将提供示例用例来解释每种技术。 1. 关系提取可用于处理非结构化文档，以确定具体的关系，然后将这些关系用于填充知识图。 例如，该技术可以通过处理非结构化医学文档来提取疾病、症状、药物等之间的关系。 7. 智能文档分析任务的复杂性 机器学习在非结构化文本上要比在结构化数据上复杂得多，因此在分析文本文档方面要达到或超过人类水平的性能要困难得多。 1. 如何处理智能文档分析项目?
3.3K30发布于 2020-08-28 - 来自专栏《C++与 AI：个人经验分享合集》
《人工智能与自然语言处理：开启智能交流新时代》
那么，人工智能究竟是如何进行自然语言处理的呢？ 一、自然语言处理的基本概念 自然语言处理是指让计算机理解、生成和处理人类语言的技术。 自然语言处理的任务包括但不限于文本分类、情感分析、机器翻译、问答系统等。 二、人工智能进行自然语言处理的方法 1. 词法分析 词法分析是自然语言处理的第一步，它主要是对文本中的单词进行分析和处理。 这些算法可以通过对大量的文本数据进行学习，自动提取文本的特征和规律，从而实现对自然语言的处理和理解。 三、人工智能自然语言处理的应用 1. 机器翻译 机器翻译是自然语言处理的一个重要应用领域。 随着人工智能技术的不断发展，机器翻译的质量和效率也在不断提高。目前，机器翻译已经广泛应用于旅游、商务、外交等领域。 2. 智能客服 智能客服是利用自然语言处理技术实现的一种自动化客户服务系统。 随着人工智能技术的不断发展，自然语言处理的应用领域也在不断扩大。相信在不久的将来，人工智能与自然语言处理将为我们的生活带来更多的便利和创新。
41710编辑于 2024-12-09 - 来自专栏应兆康的专栏
OpenCV+TensorFlow 人工智能图像处理 (1)
它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 Tensorflow 初识 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。 TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 3. features2d： 图形焦点相关，如图像匹配的时候需要使用 flann： 聚类相关 highgui： 图形交互界面 imgcodecs, imgproc： 非常重要 图形处理相关 ，如滤波器，直方图统计，均衡化，集合变换，颜色处理 ml： 非常重要 机器学习模块 objdetect： 物体检测 photo： 非常重要 图片处理，如，图片修复
3.8K20发布于 2018-09-14 - 来自专栏应兆康的专栏
OpenCV+TensorFlow 人工智能图像处理 (2)
[[1, 0, 100], [0, 1, 200]] 转变为2个矩阵： [[1, 0], [0, 1]] 和 [[100], [200]] 分别对应A和B矩阵，原图像为C[x, y] A * C + B = [[1x+0y], [0x+1y]] + [[100], [200]]
96320发布于 2018-09-14 - 来自专栏算法与编程之美
人工智能|卷积及其图像处理的运用
2 图像处理的特征 图像在做处理和分析时，往往是根据图像的高阶特征，很多低级特征是不需要的。 例如，在做图像的识别时，我们往往是根据轮廓颜色等特征来识别，其实电脑处理图像时也是运用这些特征，不同的是人的大脑中存在天生的傅里叶变换，我们可以很简单的分辨出图像，而电脑只能根据图像的一些特征来做出分析 ，所以，图像处理时保留图像的高阶特征对于提高图像处理精准度十分重要。 3 卷积用于图像处理 卷积在函数方面的表现是一种连续的，可以用积分来表示，其实在初识积分的时候，我们就知道积分是通过离散数据求和得来的，这也决定了图像处理也可以运用到卷积的原理。 这里卷积的操作的卷积核是已经确定的，在一般的图像处理中，卷积核是根据深度学习自己求出来的，需要不断地对模型进行训练，直到处理效果理想。 END
80410发布于 2020-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号