- 综合排序
- 最热优先
- 最新优先
【AI 技术分享】大模型与数据检索的探索实践
大语言模型（LLM）与数据检索的结合，通过LLM对自然语言的理解能力，使用户能够用自然语言与数据交互，摆脱对SQL等编程语言的依赖，降低了数据访问的门槛，使数据获取更加直观和高效。 AI 的仿生学在希望 AI 来解决问题之前，我们先思考下，人类是如何解决问题的。为了从数据中获取信息，工程师通常会经历理解问题、分析查表、编写SQL 这三个步骤。 这是大模型的基础能力。步骤 2：分析和查表接下来，就是找数据。一般企业的数据表都非常多，只要找对了表，才能查到对的数据。 通过查询向量数据库（Meta Brain）来检索与问题相关的信息。 我们结合大语言模型、向量数据库、元数据查询等技术模块，实现从用户问题到SQL生成与执行的全流程。架构中考虑了元数据管理、权限控制以及缓存等机制，以确保系统的高效性和安全性。NL2SQL easy?
1.2K11编辑于 2024-10-14- 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (7) 卡车搬运的数据
在开篇之初，我们提到了最简单的AI算法：线性回归 (Linear Regression)。 实际上，一元线性回归是最简单的AI算法。 基于Tensorflow开发的AI/ML应用架构如下图： 图中，CUDA对高级语言层面屏蔽了CPU与GPU硬件之间交互的细节，使得开发者可以通过调用CUDA库实现将并行运算交给GPU处理；而Tensorflow 让我们再回到《大模型与AI底层技术揭秘 (2) 人妖之间的国度》中提到的“算盘打出原子弹”的故事。实际上，这是一个典型的分布式并发计算的场景。Tensorflow也提供了分布式训练的能力。 我们发现，这一计算过程中涉及到大量的数据通信： 拉取大量的样本，如海量图片等； 拉去参数数据； 将训练的参数回馈； 在自动驾驶等训练场景，集群中每天的数据通信量可达PB之巨。
44320编辑于 2023-10-30 - 来自专栏机器学习AI算法工程
AI大模型开源与闭源
这些模型在AI的发展中起到了至关重要的作用，尤其是在自然语言处理（NLP）、计算机视觉和语音识别等领域。 以下是开源大模型和闭源大模型的基本简介。 这些开源大模型在推动人工智能技术进步的同时，也为研究人员和开发者提供了丰富的资源和工具，使得更多的人能够参与到AI技术的创新和应用中。 开源大模型与闭源大模型，你更看好哪一方？ 回到我们的主题。评价一个AI模型“好不好”“有没有发展”，首先就躲不开“开源”和“闭源”两条发展路径。 对于这两条路径，实际上可以从数据隐私、商业应用和社区参与三个方向探讨。 数据隐私 开源大模型在数据隐私保护方面具有一定的优势。由于其代码公开，任何人都可以审查和验证模型的安全性和隐私保护措施。 然而，闭源大模型则在数据隐私控制上更为严格。闭源模型通常由公司内部团队开发和维护，数据访问权限受到严格控制，能够更有效地保护用户隐私。
1.1K10编辑于 2024-07-04 - 来自专栏6G
6G，AI , 与大模型?
为实现 6G 泛在智能的愿景，网络与 AI 的融合需要经历以下三大转变： 从烟囱式开发模式转向泛在智能的统一网络 AI 框架。 从外挂叠加的 AI 功能转向内生一体的网络智能化。 6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 AI 赋能网络的场景主要分为网络运维和网络运行两大类。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。 6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。
41610编辑于 2024-04-24 大交通AI决策新引擎：民航商旅数据驱动实践与价值
构建大交通AI决策引擎：融合多源数据打破孤岛 携手腾讯地图，以智能引擎为枢纽，融合航班管家数据（航班运行、经营、城市天气、人口迁移、出行方式、常居地、高铁/火车运行及票价、航空器数据）与腾讯地图位置大数据 需求侧：引入腾讯地图位置大数据，捕捉城市间人口流动轨迹、强度与周期性规律，识别潜在高价值航线（数据来源：航班管家、民航局统计公报）。 技术引擎：预测需求弹性，构建动态定价模型，实现“客流与需求预测—动态定价—科学选址与星级定位”智能闭环（数据来源：航班管家）。 客户实践：航空与物流场景落地验证 航空业智能化升级：国内某机场搭建ADSB+ACARS设备，设电子围栏实时追踪飞行器轨迹，判断与围栏相对位置，穿越时触发分级告警，实现高效管控（数据来源：航班管家）。 选择腾讯地图：技术引擎支撑数据洞察 技术领先性：腾讯地图位置大数据联动多维信息，打破数据孤岛，实现大交通全景洞察（数据来源：腾讯地图、航班管家）。
7710编辑于 2026-04-20EMQX 与 MQTT: AI 大模型时代的分布式数据中枢
多协议接入的力量EMQX 凭借其支持多协议的能力，在物联网领域占据了重要位置，同时也为 AI 大模型提供了关键的数据传输路径，成为了物联网和 AI 之间的桥梁。 EMQX 不单是加强了数据的传输与调控，更提升了 AI 大模型在处理复杂任务时的效率与精确度，它确保数据不仅迅速而精确地送达，也能被高效地运用。 数据流调控 - 高效的主题过滤与路由：在处理AI大模型时，决定哪些数据应被输送到特定节点是非常重要 的。 数据处理与智能分发在构建 AI 大模型的庞大数据生态系统中，仅依赖单一的数据预处理是远远不够的。我们必须将数据处理、优化、 存储以及智能分发的过程紧密结合，形成一个高效且流畅的数据供应链。 在这样的背景下，数据处理与智能分发成为一个至关重要的场景。它不仅包括数据的预处理，更囊括了后续的存储和转发机制，确保数据能够被有效地利用并服务于 AI 大模型的各个阶段。1.
71710编辑于 2024-07-05- 来自专栏小洁叫你mysql
数据采集助力AI大模型训练
通过专业的代理IP服务配合高效的数据采集工具，能够为AI大模型训练提供稳定、可靠且合规的数据支持。 亮数据作为全球领先的代理服务与数据采集解决方案提供商，覆盖195个国家/地区，提供海量优质IP资源，同时配备智能化的数据采集工具和丰富的现成数据集。 无论是数据采集新手还是资深开发者，都能快速上手，高效获取所需数据。接下来，我们将通过两个实际案例，分别体验亮数据的抓取浏览器和AI训练数据集，看看它们如何简化数据采集流程，助力AI模型训练。 AI训练数据 在AI模型训练过程中，数据采集往往是最耗时耗力的环节。 所有数据都经过专业的清洗和结构化处理，确保可直接用于模型训练，大幅提升AI项目的开发效率。 接下来我们一起选购AI数据集。
66810编辑于 2025-04-02 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (13) 大纵深与协同作战
这是苏联电影《解放·炮火弧线》中，纳粹德国南方集团军群司令曼斯坦因元帅与希特勒的对白。 在库尔斯克战役中，苏联的大纵深战役理论得到了充分的发挥，而大纵深战役理论的核心就是不同军兵种的协同作战，如步坦协同、空地协同等。 在前几期，我们介绍了通过GPU进行分布式大规模计算所依赖的计算、存储、机器内部IO与网络IO基础技术。 首先，它使用了AMD处理器；其次，它对PCI-E总线进行了深度优化设计；另外，它还采用了SMX子卡与主板分离的设计。 块Nvidia A100 GPU通过NVLink交换； 9+1 张Mellanox ConnectX-6 网卡，同时支持200G IB (EDR)和200G以太网； 8块3.84TB NVMe SSD数据盘
56110编辑于 2023-12-13 - 来自专栏YO大数据
【AI大模型】AI大模型热门关键词解析与核心概念入门
目录导航 热门AI大模型关键词解析 热门AI大模型关键词解析 大模型 - "大模型"的是大型的人工智能模型，特别是在深度学习领域中。 benchmark 模型评估 在大模型或广义的人工智能（AI）领域中，"benchmark"通常指用来衡量和评估AI模型性能的标准测试集或评价方法。 问题识别：Benchmark测试可以帮助开发者识别模型的弱点，比如在哪些类型的输入数据上表现不佳，从而指导未来的研究和改进方向 xx B 一个AI大模型的参数大小为6B时，这里的“6B”指的是6 不过RAG很少单独行动，一般在大语言模型（LLM）原始数据集的基础上，通过加入外部数据（如本地知识库、企业信息库等）来对AI模型的“检索”和“生成”能力进行加持，以提高信息查询和生成质量 用处 图像检索：在图像数据库中，可以利用向量数据库来快速找出与给定图像特征最相似的图像。
92500编辑于 2024-05-25 2026大模型伦理深度观察：理解AI、信任AI、与AI共处
大模型可解释性与透明度：打开算法黑箱（一）为什么看清和理解AI至关重要深度学习模型通常被视作“黑箱”，其内在运行机制无法被开发者理解。 其二，有效推动大模型的调试和改进——通过检查模型内部，可以发现是哪部分导致了错误或反常行为，从而针对性地调整训练数据或模型结构。 模型对齐技术、训练数据处理等细节可能属于企业商业秘密。鉴于大模型的可解释性实践还在襁褓阶段且处于快速发展中，在此阶段采取过于具体、僵硬的强制性监管要求可能是不适当的，应当鼓励行业自律和“向上竞争”。 从人类身上学到的“坏习惯”也是重要原因——AI的能力很大程度上源于对海量人类文本和行为数据的学习，这些数据中充斥着复杂的社会博弈策略。 该承诺框架涵盖六大核心领域：设置安全团队与风险管理机制、开展模型红队测试、保障数据安全、强化基础设施安全、提升模型透明度以及推进前沿安全研究。
79610编辑于 2026-01-14- 来自专栏数据派THU
讲座预告 | 大模型、AI经济与AI基础设施
blocks|key|2175393|text||type|atomic|depth|inlineStyleRanges|entityRanges|offset|length|data|2175397|2175400|entityMap|IMAGE|mutability|IMMUTABLE|imageUrl|https://developer.qcloudimg.com/http-save/yehe-1269631/26b591d9cc02373fa34c7f8f2c5b910b.png|imageAlt|
36520编辑于 2023-04-25 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘——开篇
方老师的一个学生，名叫小H，长期从事云计算方面技术工作，为了学习AI，买了一堆书却一直没看。 原来，小H穿越到了大才子解缙的身上。 解缙小时候很调皮，喜欢偷偷摸摸去赣江游泳，回家被发现难免被一顿暴打。很快，解缙发现了规律：如果游泳回来，在外面溜达一会儿，吹干头发上的水，就不容易被发现了。 方老师听小H讲完这个梦，决定写一个关于AI相关技术的专题，帮助大家理解AI与大模型对基础架构的需求和依赖，让大家明白以下这些问题： AI算法主要有哪些，以及它们的共性特点是什么？ 如何便捷地开发一个AI算法程序？ 如何部署调度AI算法程序？ AI算法程序需要哪些硬件特性支持，它是如何调用这些硬件的？ 对于分布式AI计算，它依赖哪些硬件特性？ 怎么样可以构建能够无限横向扩展的AI算力平台？ 最后，给出解缙的答案。 下联是：万里大江做浴盆。
40330编辑于 2023-09-18 - 来自专栏运维开发王义杰
AI: 大模型权重的理解与应用
然而，对于许多人来说，理解这些大模型的内部机制，尤其是它们的权重（weights），仍然是一个挑战。在这篇文章中，我们将深入探讨大模型的权重及其重要性。 什么是大模型权重？ 大模型权重是指模型中每个神经元连接的参数。这些权重在训练过程中不断调整，以使模型能够更准确地预测输出。简单来说，权重决定了输入数据如何通过模型被处理和转换。 这对于处理大规模数据集尤为重要。 权重的存储和加载 训练好的模型权重通常会被存储下来，以便在不同的应用中复用。 通过使用在大规模数据集上训练好的模型权重，可以显著提高新任务的训练效率和效果。例如，使用在ImageNet上训练好的模型权重，可以在其他图像识别任务中取得优秀的表现。 随着技术的不断进步，对大模型权重的理解和应用将继续推动人工智能领域的发展。
3.8K11编辑于 2024-07-10 AI大模型的现状与未来趋势
1.3 自我学习与微调能力 AI大模型的自我学习与微调能力是其一大优势。通过迁移学习和少量样本学习，大模型能够在不同任务之间进行快速适应。 AI大模型的灵活性和可微调性使其成为构建个性化解决方案的理想选择。 2.3 多行业协同与创新 AI大模型正在推动多个行业的深度融合与协作，尤其是跨领域的技术创新。 3.3 深度融合与无缝协作 AI大模型的多模态融合将进一步深化，未来可能出现能够在多个领域和多个数据源间无缝协作的模型。例如，AI大模型可以同时处理文本、图片、声音等多种输入，并生成统一的输出。 AI和人类的协作方式将进一步改善，技术的融合将改变我们的工作、学习、娱乐和日常生活。 3.4 更强的隐私保护与数据安全 随着AI技术的普及，数据隐私和安全问题变得日益重要。 AI大模型将需要实现更严格的隐私保护和数据加密技术，以确保用户的数据不被滥用或泄露。去中心化的数据处理和联邦学习等技术将在保证隐私的前提下，提高AI模型的效能。 4.
48910编辑于 2025-03-18- 来自专栏从头开始学习测试开发
AI 常用名词与大模型基础科普
面向技术/非技术同学的一篇入门级技术分享，帮助快速理解 LLM、Agent、Token、Ask、Plan 等概念，以及当前主流大模型的差异与适用场景。 一、常用 AI 名词说明 1.什么是 LLM（Large Language Model，大语言模型） LLM 是一种基于深度学习（主要是 Transformer 架构）的模型，核心能力是： 理解自然语言 工程视角下： 幻觉不可避免 只能被约束和降低 常见手段包括： 明确禁止编造 引入外部数据校验 使用 RAG 架构 11. RAG（检索增强生成） RAG 是企业级 AI 系统中最常见的架构模式之一。 在工程系统中，这三者往往被混用，但本质含义非常接近： Ask：一次向 AI 提问的业务行为 Request：一次完整的 API 请求 Call：一次模型执行与计费 在成本核算中： 一次 Ask，几乎必然对应一次 什么是 Agent（智能体） Agent = LLM + 规划能力 + 工具调用 + 状态记忆 它不只是“聊天”，而是： 能拆任务 能自己决定下一步 能调用外部工具（API、数据库、代码执行） 一个典型
1K10编辑于 2026-01-08 - 来自专栏数据库干货铺
基于MySQL数据库技术与AI大模型的双色球数据分析实战
今天我们将使用MySQL存储历史开奖记录，，从数据库技术的角度，探讨如何科学地分析双色球历史数据，并通过机器学习、AI大模型技术来构建预测模型。 本文仅供技术交流和娱乐目的，请理性购彩。 数据获取与存储 从官方网站获取数据是第一步，可以使用Python的Requests库爬取数据： import requests import pandas as pd import pymysql def 3.4 AI大模型进行预测的结果 为了验证模型效果，可以采用滚动预测的方法：使用前3000期数据训练模型，通过调用AI大模型的接口预测后续402期结果，并与实际开奖结果对比。 ：与理论随机预测效果进行对比分析 def prepare_ai_prompt(self, current_period): """ 准备AI大模型的提示词 基于前3000期数据，使用AI大模型预测后402期 每期生成5组号码，共计2010组预测 实验结果表明AI预测在双色球这种随机游戏中的效果有限 请理性对待预测结果，量力而行！ 4.
1.1K10编辑于 2026-01-19 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘（30）剑宗与气宗
如果令狐冲正在《实况足球》中指挥队员与对手厮杀，其他使用同一物理GPU的用户在调试程序并且造成了GPU异常（如内存越界访问），就会导致令狐冲的游戏中断！
44810编辑于 2024-04-10 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (6) 分割与征服
二战结束后，考虑到二战为人类带来的巨大灾难，爱因斯坦与特斯拉联手研发了一台时空穿梭机，并回到了1924年，除掉了由于啤酒馆政变入狱的希特勒，纳粹德国不复存在，但这却将欧洲拖入了新的血雨腥风，使得苏联统治了整个欧洲 这取决于《命令与征服》和《红色警戒》的游戏玩家。 在游戏中，Kane的一句话深入人心： He who commands the future conquers the past。 所谓的分治，就是将一个大而复杂的问题，拆分为小而容易解决的问题。 我们知道，需要做这些运算的数据都在CPU挂载的内存里面，那么，我们应当如何让GPU计算它们呢？ 上图是一台典型的Intel x86 v7服务器的架构框图，GPU通过PCI-E总线与CPU相连，GPU也可以利用PCI-E的MSI中断和DMA机制从系统内存中读取数据。
42220编辑于 2023-10-25 - 来自专栏机器学习
聆思大模型AI套件与智谱AI结合使用
前段时间拿到了一个AI套件的试用，最近正好赶上智谱也有免费TOKEN的活动，就打算看看两者结合起来效果如何。 今天只是简单的一个流程上的POC，如果需要详细的教程欢迎大家持续关注。 1. 创建本地智谱AI应用 安装SDK pip install zhipuai 安装好SDK我们可以写一个方法，用于检测出我需要的实例，例如我输入：你能帮我查询2024年5月1日从无锡到漠河的火车票吗？ self.ls_token = "聆思的Token" self.ls_app_key = "聆思的APP ID" self.zp_api_key = "智谱AI } ], tool_choice="auto", ) return response.choices[0].message 我们可以看到数据有被正确的获取出来
66900编辑于 2024-04-24 揭秘AI大模型通信机制：深入理解流式传输与数据封装逻辑
以下是关于AI聊天工具数据传输格式的详细汇总分析：一、核心数据传输格式详解在AI聊天应用中，最主流的数据交互格式是JSON，但传输方式分为同步和异步流式两种。 网关鉴权与转发：APIGateway验证APIKey，进行限流，转发至推理服务。推理引擎处理：LLM模型逐个Token生成内容。数据分片回传：每生成一小段文本，立即封装为SSE格式推送给客户端。 2.流程图(Mermaid代码表示)三、原理架构图分析数据传输不仅仅是格式问题，更涉及到整个系统的架构设计。AI聊天工具的架构通常采用控制面与数据面分离的设计。 数据格式简单（纯文本），解析效率高。完美契合LLM的“生成即推送”模式。2.Token与数据传输的关系在传输层，我们看到的JSON字符串，但在模型计算层，数据是Token（词元）。 这套数据传输体系是目前大模型应用开发的事实标准。
29510编辑于 2026-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号