- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户6296428的专栏
有赞算法平台之模型部署演进
文｜三余 一、前言 模型部署作为算法工程落地的最后一公里，其天然对算法团队而言具有较高的复杂性，不仅要考虑如何高效地部署、管理不同框架模型，还需要考虑分布式服务的负载均衡、故障容错、可扩展性、资源隔离、 这些都极大的依赖于工程团队的能力，不是算法团队的强项，如何解决这最后一公里，让焦点聚焦在模型开发上，是模型部署服务模块需要解决的问题。 二、原有架构 2.1 架构设计 在有赞算法平台Sunfish包含算法训练和模型部署两部分， 模型部署的模块称为ABox（小盒子）。 manager, 心跳包含本机上的算法服务的健康状态 负责算法模型的本地拉取， 由 tf-serving 服务加载模型 manager: 负责服务器（master 和 worker）的注册和下线 负责算法和模型的创建 HDFS-Intializer 用于 Reusable Model Server 中的 hdfs:// 协议的 modelUri 基于腾讯云的 GpuManager 方案实现GPU的虚拟化和共享 通过在算法平台集成
1.5K33编辑于 2022-02-09 智能进化·算法觉醒：AI 平台算法训练系统重塑模型生产新范式
算法训练进入自动化、规模化时代在模型复杂度指数级增长与产业落地需求迫切的双重驱动下，传统算法开发模式面临数据治理低效、调参依赖经验、算力资源浪费等系统性瓶颈。 AI 平台算法训练系统通过构建从数据准备到模型部署的全链路自动化流水线，实现了算法生产的标准化、规模化和智能化，推动 AI 研发从"手工作坊"迈向"现代化工厂"。 ，资源利用率达 90% 以上实验管理平台：全生命周期实验追踪，参数与结果可视化对比一键部署系统：训练完成的模型自动打包为标准化服务接口功能模块效能对比分析核心模块传统训练模式平台化训练系统效能提升数据准备人工处理 、元学习能力构建模型终身学习体系长期愿景（3-5 年）实现完全自主的模型设计训练构建企业级模型持续进化生态推动人工智能民主化普及 典型客户成效某自动驾驶公司：平台支撑千卡并发训练，模型迭代周期从月级缩短至周级某医疗 AI 企业：通过自动超参优化，模型准确率提升 12.5%，调参时间减少 90%某互联网巨头：年训练成本降低 40%，算法工程师人效提升 3 倍AI 平台算法训练系统正在重塑算法研发模式，为各行业提供标准化
28610编辑于 2025-10-30- 来自专栏全栈程序员必看
构建算法模型_模型与算法有什么不同
情感倾向点互信息算法（SO-PMI）算法 点互信息算法 PMI 情感倾向点互信息算法 SO-PMI 3. 构建情感词典 1. 导入项目 2. 构建情感种子词 3. 情感倾向点互信息算法（SO-PMI）算法 这个算法比较直白：包含两个部分，一个是PMI，一个是SO-PMI 点互信息算法 PMI w o r d 1 word1 word1， w o r d 2 PMI < 0 表示两个词语是不相关的，互斥的 PMI算法用一句话形容就是：两个词同时出现的概率越大，其相关性越大 情感倾向点互信息算法 SO-PMI P w o r d P_{word} Pword 构建情感种子词 在SO-PMI算法中提供基准词 P w o r d P_{word} Pword 的词称为情感种子词，需要自定义，种子词的构建直接决定了最后的效果。 TF-IDF的算法这里就不展开了，直接上代码： import jieba # 分词器 import jieba.analyse import pandas as pd def tfidf_ana(
84010编辑于 2022-09-23 - 来自专栏机器学习AI算法工程
挖掘算法&模型
，即使用什么算法与模型去解决这个问题；进而进行模型评估，即采用一些指标评价模型的好坏程度；然后，进行模型发布，即当模型的效果达到设定值之后，我们将模型进行上线发布；最后，进行模型更新，即使用后面的新生数据对模型进行更新 常用的数据挖掘与机器学习模型包括分类模型、回归模型、聚类模型、预测模型、关联挖掘模型等。它们分别解决不同的任务以及不同的数据处理方式，并且每种模型中有着众多不同的算法，每种算法都适应不同的场景。 不同的分类算法适应着不同的应用场景。在选择分类算法是，需要考虑它们的有缺点。比如特别关注分类准确度，那么可以分别使用上述的分类算法，然后使用交叉验证选择最好的分类算法。首先，要考虑模型的训练集有多大。 常用的算法包括自回归积分滑动平均模型(ARIMA)、灰度预测模型、循环神经网络以及深度学习模型等。 基于模型的聚类算法 基于模型聚类是假定每一个类簇都是一个模型，然后去寻找能够拟合这个模型的簇，每一个模型反映的是数据对象在样本空间中的密度分布，其潜在假定就是：目标数据集是由一系列的概率分布所决定的
1.3K70发布于 2018-03-13 - 来自专栏计算机视觉
突出最强算法模型——回归算法 ！！
从以下4个方面概括： （1）提高模型性能：通过选择最相关的特征和对特征进行适当的工程处理，可以提高模型的性能。过多的不相关特征会增加模型的复杂性，降低模型的泛化能力，导致过拟合。 最后训练了一个线性回归模型并在测试集上评估了其性能。 通过特征选择和特征工程，在实际的算法建模中，可以更好地理解数据，提高模型的性能。 在线性回归中，最常见的损失函数是均方误差，其公式是： 其中： 是样本数量 是第 个样本的实际观测值 是第 个样本的模型预测值 （3）梯度下降 梯度下降是一种优化算法，用于最小化损失函数。 使用梯度下降算法进行参数优化的Python代码： import numpy as np class LinearRegression: def __init__(self, learning_rate 0.37869152 0.65891856] # Intercept: 0.5604540832879905 # Predictions: [6.07796379 7.11557387] 这段代码演示了如何使用梯度下降算法拟合线性回归模型
65110编辑于 2024-03-19 - 来自专栏海天一树
AtCoder算法竞技平台简介
AtCoder是日本最大的算法竞技网站，域名为http://atcoder.jp/（注意http://www.atcoder.jp/ 是其官网）。AtCoder支持日语和英语。 ? ABC是给算法初学者参加的，ARC是给有一定算法基础的人参加的。 ABC和ARC都是四道题。ABC的C、D题和ARC的A、B题完全一样。
4.9K20发布于 2018-07-25 - 来自专栏全栈程序员必看
sklearn输出模型参数_rfm模型算法
总第105篇 最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。 penalty参数的选择会影响我们损失函数优化算法的选择，即参数solver的选择，如果是l2正则化，可选的优化算法 {‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’} 这是因为L1正则化的损失函数不是连续可导的，而{‘newton-cg’, ‘lbfgs’,‘sag’}这三种优化算法时都需要损失函数的一阶或者二阶连续导数。而‘liblinear’并没有这个依赖。 max_iter:算法收敛的最大迭代次数，即求取损失函数最小值的迭代次数，默认是100， multi_class:分类方法参数选择，‘ovr’和‘multinomial’两个值可以选择，默认值为‘ovr 模型对象 coef_:返回各特征的系数,绝对值大小可以理解成特征重要性 intercept_:返回模型的截距 n_iter_:模型迭代次数 模型方法 decision_function(X):返回决策函数值
1K10编辑于 2022-11-04 - 来自专栏AI科技大本营的专栏
你的 AI 算法模型安全吗？来 AI 安全测试基准平台测试下
AI 模型攻防“标尺” AI 安全基准平台基于清华大学在 2020 年GitHub 开源的 ARES 算法库，提供模型攻击与防御的排行榜。 谈及 AI 安全基准平台的研发初衷，据官方表示，由于攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，如果只在一种攻击算法下进行测试的话，不够全面。 对此，不同于以往只包含零散攻防模型的对抗攻防基准，AI 对抗安全基准平台涵盖目前主流的人工智能对抗攻防模型，并覆盖数十种典型的攻防算法。 此次竞赛吸引到了全球 2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。 据介绍，工业界可用该平台来评估自己的 AI 算法安全性，帮助尽早发现模型的安全漏洞。 对有学术界而言，平台提供全面、客观、公平、科学地比较模型防御能力和对抗攻击算法攻击能力，具有行业标准性。
90820编辑于 2023-05-08 - 来自专栏机器之心
首个国产军事算法平台，8类30个防务专用模型，摄星智能首次开放内部「星智」平台
此次开放的「星智」算法平台已经积累了摄星智能自主研发的 8 类 30 个防务领域专用算法模型。 「星智」算法平台旨在为各类军事智能应用开发提供基于国产自主环境的开发集成框架和基础算法模型库，同时提供面向特定军事需求的专用算法模型库，以解决当前军事智能应用国产自主开发环境缺失、基础算法模型重复开发、 专用算法模型库尚属空白等燃眉之急。 该算法平台不仅能够有效支持军事智能应用的快速开发，同时提供面向通用业务领域的专用算法模型，如情报分析、目标识别、态势理解、辅助决策等，可直接应用于各级各类军事智能装备的设计与研发，以降低军事智能应用的开发成本 、「星图」大规模军事知识推理平台、「星河」分布式图数据库、「星问」智能问答平台、「智多星」自然语言处理平台等为代表的系列智慧防务产品线，积累了一大批自主可控军用垂直领域算法模型，有效地支撑了国防领域多个智能应用产品研发
1.8K30发布于 2020-07-14 - 来自专栏Python项目
水果识别系统Python+TensorFlow+Django网页平台+深度学习模型+卷积网络算法
一、介绍水果识别系统，使用Python作为主要开发语言，基于深度学习TensorFlow框架，搭建卷积神经网络算法。并通过对数据集进行训练，最后得到一个识别精度较高的模型。 并基于Django框架，开发网页端操作平台，实现用户上传一张图片识别其名称。 code': 200, 'data': {'pred_name': pred_name}})五、实现步骤● 首先收集需要识别的种类数据集 ● 然后基于TensorFlow搭建ResNet50卷积神经网络算法模型 ，并通过多轮迭代训练，最终得到一个精度较高的模型，并将其保存为h5格式的本地文件。 ● 基于Django开发网页端可视化操作平台，HTML、CSS、BootStrap等技术搭建前端界面。Django作为后端逻辑处理框架。Ajax实现前后端的数据通信。
48930编辑于 2023-07-09 - 来自专栏腾讯云大数据
神盾推荐——离线算法平台
离线算法平台是神盾产品化中负责训练离线算法模型，并出库模型和特征到线上推荐的模块，最小训练粒度为小时级。同时，离线算法平台还整合了离线批量打分、文本内容理解与特征工程等针对特定需求的功能。 一、离线算法平台简介 算法+特征是推荐的基础，自然也是离线算法平台的两个核心模块。 离线算法平台算法库，提供了LR、CF、XGBoost、FM等多个算法模型，并且为部分算法提供了不同的优化器。 离线算法平台还添加特征工程、文本内容理解和离线批量打分等辅助特征构造、算法模型分析评估的功能，助力算法人员构造出更佳的模型。 离线算法平台则提供了离线批量打分的功能，指定要打分的样本表，则可以离线批量对样本表进行打分，与样本的原始评分做对比，评估训练出的算法模型的优劣。 ，意味着算法人员可以基于离线平台的输出数据开发自己独有的算法，甚至是只使用离线平台的特征引擎接口输出数据，对接到其他机器学习系统的训练模型。
7.1K80发布于 2018-06-11 - 来自专栏程序人生小记
推荐广告算法模型之多目标模型
，好处就是：一定程度上会缓解模型的过拟合，提高了模型的泛化能力；充分利用数据。 2.2 多模型分数融合 给每个优化目标单独创建一个模型，然后通过weighted sum融合多个目标，给不同的目标分配不同的权重。 优点：模型实现简单，缺点：模型之前独立，不能互相利用各自训练的部分作为先验，容易过拟合。 2.3.2 MMOE模型 针对share bottom模型结构的缺点，谷歌在2018提出了Multi-gated Mixture of Expert (MMoE)模型[2]，该模型引入了多个专家子网络和门控结构 参考文献 绝密伏击：多目标学习在推荐系统的应用(MMOE/ESMM/PLE) 多目标学习在推荐系统中的应用 2021年浅谈多任务学习 推荐算法中的“多目标学习” Recommender：推荐系统中的多任务学习与多目标排序工程实践
2.1K42编辑于 2024-11-06 - 来自专栏机器学习养成记
推荐算法｜FM模型python
导读：上篇文章推荐算法｜FM模型原理简介中我们介绍了FM模型原理，本次我们通过python进行实例展示。为了提升模型性能，本次代码同步引入加入L2正则及Adagrad。 Adagrad 梯度下降中有学习率参数，合适的学习率会影响模型训练效率及准确性。Adagrad的核心思想就是随着迭代次数增加，让学习率变小。加入后，参数的迭代变为： ? 其中 ? 2 代码逻辑 本例中我们通过梯度下降来训练一个二分类FM模型。 对于二分类问题，我们取logit作为损失函数： ? 我们的目标就是使得上述损失函数最小的最优化问题。 在FM模型中，参数的梯度为： ? 其中 ? 根据Adagrad更新学习率，就得到最终计算方法。整个过程伪代码如下： ? 3 python实现 此处仅展示核心代码，获得完整代码方法在文末。
1.3K50发布于 2021-07-20 - 来自专栏Python编程爱好者
突破最强算法模型，XGBoost ！！
XGBoost以其高效的性能和鲁棒性，成为许多数据科学竞赛和实际项目中的首选算法，极大提高模型准确性并降低过拟合风险。 今天把XGBoost方面6方面问题进行了汇总，有问题大家可以私信~ 数据准备问题 参数调优问题 防止过拟合和欠拟合问题 特征工程问题 理解模型输出问题 调参策略问题 咱们答读者问，这个是第 8 期：突破最强算法 大壮答：你好，一般情况下，在XGBoost中处理非数值型特征通常需要进行特征工程的处理，因为XGBoost是一种基于树模型的算法，只能处理数值型的特征。 Early Stopping 是用来防止过拟合的一种技术，它在训练模型过程中监控模型的性能指标，并在模型性能停止提升时提前停止训练，从而防止模型在训练集上过度拟合，提高模型的泛化能力。 XGBoost采用了梯度提升算法，通过迭代地训练一系列的决策树，并将它们组合起来形成一个强大的集成模型。 1.
2K11编辑于 2024-01-11 - 来自专栏杨熹的专栏
机器学习模型算法 List
Reinforcement or Semi-Supervised Machine Learning
69020发布于 2019-02-20 - 来自专栏喔家ArchiSelf
算法与模型的浅析
简单来说， 模型是对事物的抽象。 机器学习中的算法与模型 在具体的机器学习领域，算法和模型也有着更为具体的定义。 机器学习中的“模型” 机器学习中的“模型”是运行在数据集上的机器学习算法的输出，表示机器学习算法所学到的内容，即用于进行预测所需的规则、数字和任何其他特定算法的数据结构。 机器学习中算法与模型的关系 算法和模型往往都是分不开的。算法是一类问题的解答，是模型建立流程的一个环节，也是赋予模型“思考”能力的环节。而模型则是一系列算法的数学表达，同时包含了数据以及任务的概念。 因此，我们评估一个模型的好坏，而不是评估算法的好坏，算法只有其适用环境和场景。 就机器学习而言，通俗来讲，模型可以近似地理解为目标函数，算法则是求解该目标函数的方法。 小结 算法和模型都有着广泛的一般性意义。具体地，在机器学习领域，算法是在代码中实现并在数据上运行的过程。模型由算法输出，由模型数据和预测算法组成。
3.3K50编辑于 2022-12-03 - 来自专栏JNing的专栏
深度学习: 模型优化算法
优化算法 类型 优化算法 类型 包括 一阶优化法 和 二阶优化法： 一阶优化法 二阶优化法 具体算法 随机梯度下降法、基于动量的随机梯度下降法、Nesterov型动量随机下降法、Adagrad 随机梯度下降法 基于动量的随机梯度下降法 Nesterov型动量随机下降法 Adagrad法 Adadelta法 RMSProp法 Adam法 运用程度 最广 训练速度 慢 快 快 快 快 模型结果 随机梯度下降法 随机梯度下降算法，Stochastic Gradient Descent，简称 SGD 。
97730发布于 2018-09-27 - 来自专栏Python编程爱好者
突破最强算法模型，回归！！
咱们先来第一期：突破最强算法模型 - 回归类！！ 老规矩：大家伙如果觉得近期文章还不错！ 大壮答：数据标准化和归一化是在回归算法中常用的预处理步骤，特别是在岭回归和LASSO等正则化算法中。 这些步骤旨在确保数据的尺度一致，有助于提高模型的性能和稳定性。 这种尺度不一致可能导致模型对于具有较大尺度的特征更为敏感，影响模型的性能。 梯度下降优化算法： 对于基于梯度下降的优化算法，如岭回归和LASSO，尺度不一致可能导致算法收敛缓慢或不稳定。 使用基于距离的算法： 如果你的回归算法是基于距离的，如K最近邻（K-Nearest Neighbors），那么尺度不一致会导致距离计算的不准确性。在这种情况下，标准化或归一化是必要的。 使用梯度下降优化算法： 岭回归和LASSO等正则化算法通常使用梯度下降来最小化损失函数。在这种情况下，数据标准化或归一化有助于加速收敛过程，确保算法更快地找到最优解。 如何进行数据标准化或归一化？
81710编辑于 2023-12-18 - 来自专栏阿泽的学习笔记
算法模型调优指南
在算法项目落地过程中，如果只考虑机器学习相关部分，个人感觉最花时间的两个部分是数据质量问题处理和模型实验与迭代调优。 阅读建议 一不小心，本文又写的有点长……所以这里大概给一个阅读建议： 对于初级算法工程师，希望了解基础的算法建模流程的，可以主要阅读1~5部分。 从第6部分开始是更深入的通过数据分析来进行模型调优的一些介绍，以及后续的测试，工程化，上线的简介，比较适合有经验的算法工程师阅读。 还有一个很现实的问题是当线上模型出现问题时，我们如何处理，是否有plan B流程可以给出一个用户可以接受的预测值。 各类监控体系，运维平台等也非常重要。 Uber在这篇文章中介绍了他们的大规模回测平台，更接近于我们之前提到的离线的模型开发与验证环节中使用的工具。
1.7K43发布于 2021-07-06 - 来自专栏CODING DevOps
研发效能平台的“双流”模型
在这个过程中，有多次工具切换，要花费大量时间在流程性的事务上，造成时间和精力的浪费，还需要你对各个工具平台的使用方法和流程都很清楚。更糟糕的是，各个工具平台的概念模型可能还不完全一致。 研发效能平台的“双流”模型本书提出的研发效能“双流”模型是“一站式”和“一键式”概念的最好诠释。 “双流”模型是实现研发效能平台的一个参考依据，值得借鉴。以下就通过具体例子介绍“双流”模型的工作原理和实现方式。 但是以“双流”模型实现的效能工具平台就会简单很多，完全不需要在需求管理工具、代码平台工具和 IDE 之间切换，只需要在 IDE 中即可完成全部工作。 研发效能“双流”模型明确定义了软件研发各个阶段的高效实践总结这部分介绍了传统单点研发工具平台在横向拉通维度上的痛点，并在此基础上提出了研发效能平台“一站式”和“一键式”的概念。
1.3K10编辑于 2023-06-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号