首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏帅云霓的技术小屋

    模型AI底层技术揭秘 (11) 变形记

    Kafka并不是今天的主角,但kafka采用的一种加速机制,却成为了高性能与AI计算软硬件体系中的基本操作—— 这种机制叫做零拷贝。 而AI程序运行在GPU上,如何让GPU也利用内存零拷贝的技术来快速直接存取磁盘上的内容呢? NVidia给出的答案是:GPU Direct Storage。

    35710编辑于 2023-11-27
  • 来自专栏C++开发学习交流

    AI模型AI模型部署概述

    AI模型部署方法 在AI深度学习模型的训练中,一般会用Python语言实现,原因是其灵活、可读性强。但在AI模型实际部署中,主要会用到C++,原因在于其语言自身的高效性。 AI模型部署框架 模型部署常见的推理框架有:ONNX、NCNN、OpenVINO、 TensorRT、Mediapipe。 通过短短几年的发展,已经成为表示深度学习模型的实际标准,并且通过ONNX-ML,可以支持传统非神经网络机器学习模型,大有一统整个AI模型交换标准的趋势。 AI模型部署平台 AI 模型部署是将训练好的 AI 模型应用到实际场景中的过程。 以下是一些常见的 AI 模型部署平台: 云端部署 云端部署是最流行的 AI 模型部署方式之一,通常使用云计算平台来托管模型和处理请求。

    1.8K10编辑于 2024-07-24
  • 来自专栏ClearSeve

    C++11内存模型

    最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节,感觉对C++的内存模型理解还不是很清楚,看了后面的参考文献以及看了一些好的博客,算是基本了解了,根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种,分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic

    1K30编辑于 2022-02-11
  • 来自专栏AIGC大模型应用

    AI模型企业应用实战(11)-Document Loader文件加载器机制

    loader机制让大模型具备实时学习的能力:0 Loader机制案例环境准备:import osos.environ["OPENAI_API_KEY"] = "sk-javaedge"os.environ OPENAI_API_BASE"] = api_base1 加载markdown准备一个 md 文件:# 我是一个markdown加载示例- 第一项目- 第二个项目- 第三个项目## 第一个项目编程严选网,最厉害专业的AI 研究基地## 第二个项目AIGC打造未来AI应用天地## 第三个项目编程严选网是一个非常牛逼的AI媒体#使用loader来加载markdown文本from langchain.document_loaders TextLoader("loader.md")loader.load()2 加载cvsProject,DES,Price,People,LocationAI GC培训,培训课程,500,100,北京AI 工程师认证,微软AI认证,6000,200,西安AI应用大会,AI应用创新大会,200门票,300,深圳AI 应用咨询服务,AI与场景结合,1000/小时,50,香港AI项目可研,可行性报告,20000,60

    49300编辑于 2024-08-16
  • 来自专栏LINUX阅码场

    深入理解C11C++11内存模型

    个人认为,内存模型表达为“内存顺序模型”可能更加贴切一点。 2011年发布的C11/C++11 ISO Standard为我们带来了memory order的支持, 引用C++11里的一段描述: The memory model means that C++ code C11/C++11使用memory order来描述memory model, 而用来联系memory order的是atomic变量, atomic操作可以用load()和release()语义来描述 C11/C++11内存模型 C/C++11标准中提供了6种memory order,来描述内存模型[6]: enum memory_order { memory_order_relaxed, - Frank Birbacher [ACCU 2017] C++11中的内存模型下篇 - C++11支持的几种内存模型 memory ordering, Gavin's blog c++11 内存模型解读

    2.9K30发布于 2020-06-04
  • 来自专栏开源心路

    AI模型实战

    背景 通过示例梳理AI模型训练流程,示例比较简单,方便演示。 流程 机器学习实战步骤 定义问题 数据收集和预处理 选择算法并建立模型 训练模型 模型评估和优化 示例 定义问题 根据公开数据集预测加州房价分布 数据收集 import pandas as pd df_housing.drop("median_house_value",axis = 1) #构建特征集X y = df_housing.median_house_value #构建标签集y 选择算法并建立模型 #导入线性回归算法模型 model = LinearRegression() #使用线性回归算法 model.fit(X_train, y_train) #用训练集数据,训练机器,拟合函数,确定参数 211157.06335417 218581.64298574 465317.31295563 ... 201751.23969631 160873.51846958 138847.26913352] 模型评估

    33710编辑于 2023-06-30
  • 来自专栏机器学习炼丹之旅

    CS231n:11 生成模型

    生成模型 生成模型的定义就是给定一个训练数据,然后生成一些新的样本,保证和所给的训练集有一样的分布。 生成模型主要有以下这些应用场景: 生成逼真的艺术品图片,拥有超高的分辨率,着色等。 时间序列数据的生成模型可以用于仿真和规划(在强化学习中应用)。 训练生成模型还可以使隐式表征的推断成为有用的通用特征。 需要一提的是,可以将生成模型分成两大类,即隐式密度模型和显式密度模型,显式密度模型会显式地给出一个分布 使其和输入数据的分布相同。 而隐式密度模型则不会给出一个分布,而是训练一个模型从输入数据中采样,并直接输出样本,而不用显式地给出分布的表达式。 )获得一个高斯分布的参数 ,这其实就对应了混合高斯模型中的一个高斯分布组件,也就是说,由于 是一个连续值,所以理论上这里的混合高斯模型中存在无限个高斯组件。

    75710编辑于 2022-08-08
  • 来自专栏服务端技术杂谈

    AI Agent:模型->工具->结果->模型

    Reddit上有人说,AI Agent就是:模型->工具->结果->模型。 从程序员角度来说,就是拼接参数json,调用LLM,处理返回值json。 不需要用什么复杂的框架,基本上只需要串联: 用户输入目标Prompt->将提示词传递给LLM->模型决定下一步->需要工具(API调用、爬取网页、操作API)执行->将结果反馈给模型进行下一步->直到任务完成 即:模型 → 工具 → 结果 → 模型 关于记忆,先用短期记忆,比如最近几条上下文消息。 如果需要跨会话记忆,可以从持久存储获取,比如向量数据库。

    13110编辑于 2026-03-11
  • 来自专栏白话互联

    Ai Agent】Ai Agent News | 9月11日速递

    今天是9月11日星期四,让我们一起来看看今天 Ai Agent 带来的 AI 领域的重要动态吧! ❤ Indeed Unveils AI Agents for Job Seekers and Recruiters 求职招聘领域迎来AI助手新时代 Indeed推出了两款AI Agents,分别面向求职者和招聘方 ❤ Secure AI Agents at Runtime with Docker Docker推出AI Agent运行时安全解决方案 Docker发布了关于如何在运行时保护AI Agent的新方法, 随着AI工具的强大和普及,它们也变得不可预测且易受攻击。从LLM输出中的幻觉到提示注入,AI工作流面临多重安全威胁。 AI Agent时嵌入运行时安全,为AI原生开发提供更可靠的安全保障。

    33210编辑于 2025-09-17
  • 使用Spring AI调用AI模型

    简介Spring AI是Spring框架对人工智能和机器学习的支持模块,它提供了一套简单易用的API来集成各种AI服务和模型。 主要功能集成主流AI模型服务(如OpenAI、Azure、 Baidu千帆等)提供统一的API接口支持提示词工程内置向量存储功能支持文本嵌入和文本生成核心概念AI Client统一的客户端接口,用于调用 代码助手 代码解读复制代码spring.ai.openai.api-key=youkeyspring.ai.openai.base-url=https://api.deepseek.comspring.ai.openai.chat.options.model 对接阿里大模型Spring AI Alibaba 开源项目基于 Spring AI 构建,是阿里云通义系列模型及服务在 Java AI 应用开发领域的最佳实践,提供高层次的 AI API 抽象与云原生基础设施集成方案 ,帮助开发者快速构建 AI 应用。

    1.4K10编辑于 2025-03-27
  • 来自专栏量子位

    AI的大模型时代 ≠ 只有大模型AI时代

    从这个规律来看,大语言模型(简称LLM)出现后虽然霸占了所有与AI相关的关键词,吸引了所有人的注意力,但这并不代表“LLM之前无AI”。 所以,AI不是只有大模型AI的大模型时代也 ≠ 只有大模型AI时代。 成熟的AI,早就已经上岗了 或许你还不敢相信,现在哪怕小小的快递背后,都已经有AI技术在加持了。 然而,这些仅仅是已经成熟上岗的AI技术在英特尔®️ 平台得到的优化,英特尔的能力还远不止如此。 这就要说回大模型了。 这便是英特尔在AI模型时代中的“加速之道”了。 还会带来怎样的变革? 纵观AI技术的发展之路,不难发现英特尔在其中履行着一条非常清晰的准则——用起来才是硬道理。 更多《英特尔平台上的行业AI实战与大模型优化》相关内容,可扫描下方海报中的二维码获取。点击原文链接,阅读英特尔《最“in”大模型》专栏的所有文章。 — 完 —

    64910编辑于 2023-09-27
  • 来自专栏云云众生s

    私有 AI 模型已死,私有 AI 模型万岁

    私有 AI 模型已死,私有 AI 模型万岁 翻译自 Proprietary AI Models Are Dead. Long Live Proprietary AI Models 。 因此,私有模型已死。 然后是谷歌 I/O 2023 。 Google Bard ,一个基于自己的专有数据集的生成式 AI 搜索引擎,受到好评如潮。引用最多的功能是它能够将实时数据合并到其模型中。 生成式 AI 成功的代价 事实证明,访问实时数据来构建模型是昂贵的。谷歌花费数十亿美元来构建基础设施,以实时索引网络以构建他们的生成模型,你可以打赌这将是私有的。 基础 AI 模型的未来 那么,这是否意味着每个生成式 AI 用例都需要一个基于私有实时数据构建的基础模型?否,但还有其他原因需要私有的基础模型: 私有的第一方数据集。 希望构建生成式 AI 的企业可能需要依赖大公司的基础模型,这些公司拥有支票簿来维护自己的实时数据基础设施和其他用例的开源基础模型。 企业所依赖的专有数据集也将越来越实时。

    35210编辑于 2024-03-27
  • 来自专栏数据STUDIO

    原理+代码,总结了 11 种回归模型

    导读: 上篇总结了八种线性回归模型,介绍了主流的线性回归模型及python实操代码,而本文将继续修炼回归模型算法,并总结了一些常用的除线性回归模型之外的模型,其中包括一些单模型及集成学习器。 需要面试或者需要总体了解/复习机器学习回归模型的小伙伴可以通读下本文,理论总结加代码实操,有助于理解模型。 ---- ? 本文所用数据说明:所有模型使用数据为股市数据,与线性回归模型中的数据一样,可以做参考,此处将不重复给出。 2)) Actual Predicted Date 2017-08-09 12.83 12.63 2017-11 因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。而所用到的树模型则是CART回归树模型。 回归树的生成步骤如下 从根节点开始分裂。

    5.2K42发布于 2021-06-24
  • 来自专栏云云众生s

    AI模型组合指南

    考虑一款旨在识别和分类野生动物照片的 AI 驱动的图像识别应用程序。您上传一张远足时拍摄的照片,几分钟后,该应用程序不仅识别出照片中的动物,还提供了有关其物种、栖息地和保护状态的详细信息。 这种分层方法提供了细致入微的分析,超出了单个 AI 模型的能力。 什么是模型组合? 从本质上讲,模型组合是一种机器学习策略,它结合了多个模型来解决一个复杂的难题,而单个模型无法轻松解决。 Boosting:顺序训练模型,其中每个模型都尝试纠正前一个模型所犯的错误。 Stacking:训练多个模型,然后使用一个更好的模型,该模型利用每个基础模型的优势来提高整体性能并结合它们的预测。 容器化:使用 容器部署 AI 模型可以帮助管理每个模型的依赖项和环境。容器编排工具(如 Kubernetes)可以帮助管理容器化模型的部署、扩展和网络。 但是,如上例所示,BentoML 和 BentoCloud 等平台可以通过允许开发人员高效地打包、部署和扩展多模型服务,帮助开发人员构建多个模型AI 应用程序。

    56710编辑于 2024-05-19
  • 来自专栏司钰秘籍

    AI模型学习

    在当前技术环境下,AI模型学习不仅要求研究者具备深厚的数学基础和编程能力,还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法,AI模型学习能够不断提升模型的准确性和效率,为人类生活和工作带来更多便利。 AI模型学习的理论基础 数学基础: 线性代数:AI模型中大量使用向量和矩阵运算,如矩阵乘法、向量点积等,用于表示和操作数据。 AI模型在特定领域的应用 在自然语言处理领域,AI模型如 GPT-3 被广泛应用于文本生成、机器翻译、问答系统等。 此外,模型的性能也受到计算资源、数据质量和算法优化等因素的影响 AI模型学习的伦理与社会影响 AI模型学习确实带来了一些伦理和社会问题,我们需要认真对待: 1.

    65710编辑于 2024-04-04
  • AI情绪预测模型

    特征工程层是连接原始数据与预测模型的桥梁,负责将原始数据转换为模型可理解的特征向量。 behavioral_pattern", {}) au_mapping = { "au1_inner_brow_raiser": 10, "au4_brow_lower": 11 # 眉毛下压 - 愤怒 if "au4_brow_lower" in behavior_pattern: if features[11 if emotion == EmotionCategory.ANGER: score += features[11 未来的改进可以引入更多的解释性AI技术,如LIME(局部可解释模型-agnostic解释)和SHAP(SHapley Additive exPlanations),为用户提供详细的预测依据和置信度评估。

    21610编辑于 2026-01-20
  • 来自专栏小洁叫你mysql

    AI模型】训练Al大模型

    模型超越AI 目前所指的大模型,是“大规模深度学习模型”的简称,指具有大量参数和复杂结构的机器学习模型,可以处理大规模的数据和复杂的问题,多应用于自然语言处理、计算机视觉、语音识别等领域。 本文将探讨大模型的概念、训练技术和应用领域,以及与大模型相关的挑战和未来发展方向。 大模型是指具有庞大参数数量的机器学习模型。传统的机器学习模型通常只有几百或几千个参数,而大模型则可能拥有数亿或数十亿个参数。 这种巨大的模型规模赋予了大模型更强的表达能力和预测能力,可以处理更为复杂的任务和数据。 更智能的模型压缩技术:模型压缩和加速技术将继续发展,以减小大模型的计算和存储开销。 更好的计算平台支持:为了支持训练和部署大模型,计算平台将继续改进,提供更强大的计算资源和工具。

    1.5K30编辑于 2023-10-10
  • 来自专栏AI系统

    AI系统】模型剪枝

    本文将介绍模型剪枝的概念、方法和流程,这是一种通过移除神经网络中的冗余或不重要参数来减小模型规模和提高效率的模型压缩技术。 剪枝不仅可以减少模型的存储和计算需求,还能在保持模型性能的同时提高模型的泛化能力。 模型压缩将一个庞大而复杂的预训练模型转化为一个更精简的小模型,尽可能在不牺牲模型精确度的情况下,减少模型的存储和计算负载,从而使得模型更高效在各种硬件平台上部署和运行。 剪枝定义模型剪枝也叫模型稀疏化,不同于模型量化通过减少表示权重参数所需的比特数来压缩模型,它直接删除模型中 “不重要” 的权重,从而学习到一个参数更加稀疏化的神经网络,同时要尽可能的保持模型精度,下图展示了两种方法的区别 接下来,基准模型会在尽可能不损失精度的情况下被剪枝,以缩小模型规模、减小模型对硬件资源的需求,从而加速模型计算。

    98810编辑于 2024-12-05
  • 来自专栏人工智能领域

    AI模型学习

    AI模型学习 在当前技术环境下,AI模型学习不仅要求研究者具备深厚的数学基础和编程能力,还需要对特定领域的业务场景有深入的了解。 通过不断优化模型结构和算法,AI模型学习能够不断提升模型的准确性和效率,为人类生活和工作带来更多便利。 方向一:AI模型学习的理论基础 AI模型学习的理论基础涉及深度学习、神经网络、优化算法等多个方面。 ———————————————— 方向三:AI模型在特定领域的应用 AI模型的训练与优化是深度学习领域中至关重要的一部分。 ———————————————— 方向四:AI模型学习的伦理与社会影响 AI模型学习的伦理与社会影响是一个备受关注的话题,以下是一些关于这个方向的重要内容: 数据隐私:AI模型需要大量的数据来训练

    64110编辑于 2024-12-18
  • 来自专栏新火种AI

    新火种AI | AI三重问:什么是AI?什么是AI模型?什么是AI模型

    但是AI就不同,AI最大的特征就是它会通过数据集来学习,会迭代,会有新的东西,新的技能产生,学习能力才是AI被称为人工智能的来源。 什么是AI模型? 了解了AI,那么什么是AI模型? 而且,AI模型是刚开始上学,就直接学习不同的专业,偏科偏到头。可能一个用在太空研究的AI模型,也搞不定在超市里算库存的事。 什么是AI模型? 那这样,我们要做100件事,不就要训练100个不同的AI模型? 要知道,训练一个AI模型,技术复杂度并不比训练一个专业运动员低。怎么办? 这个“通识教育”就是更大规模的参数量,通过这个“小学到高中”的预训练过程,让AI模型都成为大规模预训练模型,简称“大模型”。 不过就像我们在小学到高中学习过程中会展现不同的倾向,AI模型也并不只有一种,常见的AI模型有NLP自然语言处理大模型、CV计算机视觉大模型、跨模态大模型和科学计算大模型

    2.4K11编辑于 2023-11-10
领券