- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型&AIGC
6种大模型微调技术
当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要相当长的训练时间。 我们发现，通过仅学习0.1%的参数，前缀微调在全数据设置下取得了与微调相当的性能，在低数据设置下超越了微调，并且更好地推广到了训练过程中未见过的主题示例。 FT层：在seq前面加n个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）在多种任务上下进行微调完全变为生成模型，无需verbalizer(4) 特点在小、大模型上 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 d,k)$(5) 学习目标原始的LLM，一般也是CLM (Causal Language Model/Conditional Language Model)，学习目标为而加入LoRA后，学习目标为：(6)
2.6K00编辑于 2025-05-08 YashanDB数据库的6大集成技术与优势
当前数据库技术面临诸多挑战，包括高并发处理中的性能瓶颈、海量数据的高效存储与访问、跨节点数据一致性保障以及复杂事务的高效管理等。 本文将深入分析YashanDB的六大集成技术及其带来的优势，为数据库开发者和运维人员提供技术参考和应用指导。1. 整体设计确保海量数据的低延迟查询及资源动态调度，提升系统的并发吞吐能力。4. 事务与并发控制机制集成YashanDB集成了基于多版本并发控制（MVCC）的事务管理，支持ACID四大属性。 这些技术有效降低运维复杂度，保障数据库稳定性和业务不中断。6. 全面安全管理体系整合安全方面，YashanDB构建了用户管理、身份认证、访问控制、数据加密、审计及反入侵防护的多层安全体系。 各集成技术基于行业标准和数据库核心理论，确保系统具备高性能、高并发、高可靠性和强安全性。
15710编辑于 2025-11-20- 来自专栏码农桃花源
曹大带我学 Go（6）—— 技术之外
曹大最近开 Go 课程了，小X 正在和曹大学 Go。 这个系列会讲一些从课程中学到的让人醍醐灌顶的东西，拨云见日，带你重新认识 Go。 有学员私下和我说，这个课程挺打击他的自信心。 话说回来，上这门课，不光能跟着曹大学到技术，还能学到很多技术之外的东西。 曹大之前写过很多文章，但没有做过动画。这次为了训练营，他还专门看了几本设计书，又是学做视频，又是学做动画，“骚”的不行。 课上曹大用了一个在线的设计工具 Figma，它的一个非常大的优点是分享个链接过来，就可以看了。而且如果源文件有修改，我们马上就能看见，非常方便。 我想学怎么做。 但我不需要问：曹大，动画是怎么做的，教教我啊？我只需要知道关键字：Figma。 这就够了，剩下的用搜索引擎就解决了。不过，如果你用的搜索工具不行，那搜出来的内容质量确实也是不行的。 动画可以更直观地展示原理，在一些技术分享的场合还是很有用的。
82530发布于 2021-06-17 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) AdaLoRA Qingru Zhang 等人 AdaLoRA技术采用了一种有效的策略来调整增量阵的分配 框架 零冗余优化器 ( Zero Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响 •3、在训练数据上进行微调，以便尽量避免因网络结构发生变化而导致性能下降。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。 分类 •非结构化剪枝 •使用技术A或B的一个或多个通道 •A 滤波 •B 权重矩阵 •分类 •权值剪枝 •神经元剪枝 •结构化剪枝 •又名：滤波器剪枝 •分类 •Filter-wise •Channel-wise
29810编辑于 2024-09-10 - 来自专栏程序你好
数据科学的前6大语言
2012年的《哈佛商业评论》(Harvard business review)正确地将数据科学列为“21世纪最性感的工作”。即使在这份报告发表6年后的今天，《商业评论》仍被证明是正确的。 随着人工智能和机器学习的出现，“数据科学”一词在精通技术的人中间流行起来。用最简单的话说，数据科学是一种利用科学技术和算法从数据中挖掘知识的方法，无论是结构化的还是非结构化的。 无论您是数据科学领域的新手还是专业人士，您需要记住的一些基本内容包括分析数据、应用编程工具(如对数据进行序列和选择)以及执行简单的数据可视化。 R R编程语言被数据挖掘人员和数据科学家广泛用于分析数据。简化工作在统计学家中也很流行。R提供了强大的面向对象编程工具，使其在其他计算语言中处于优势地位。静态图形使图形和其他数学符号的生成更加容易。 SQL 结构化查询语言(SQL)用于处理大型数据库。特别是，它有助于管理结构化数据。学习SQL可以很好地提高数据科学家的语言技能。这种语言的缺点是缺乏可移植性。
1.2K30发布于 2018-09-29 - 来自专栏企鹅号快讯
人人都应该知道的6大技术定律
米姆斯说，虽然这6条定律提出有一段时间了，但却能完美解释如今这个被技术包围的时代。而且，米姆斯发现，当今社会的大多数创新人士，也就是那些创建了各种颠覆性服务和工具的人，同样不是很了解这6条定律。 这句话的意思是，“每一项技术都需要通过额外的技术进步，才能完全发挥效果。”比如，智能手机的发明，带来了对其他技术源源不断的需求，小到手机壳的发明，大到5G无线技术的发展。 所以，从更广泛的层面来说，立法机构开始对隐私、数据透明度、国家安全、科技行业反垄断等问题越来越感兴趣，这种转变更多是我们文化的转变，而不是技术本身。 比如，库克曾经好几次宣称苹果公司会保护用户的数据，谷歌最近也开展了反歧视措施，防止它的人工智能技术变得种族歧视。当企业没这么做的时候，监管部门、媒体和公众就要替企业考虑这些问题。 以上就是历史学家克兰兹伯格提出的6条技术定律，希望对你理解技术有帮助。
1.6K50发布于 2018-01-24 - 来自专栏AI科技大本营的专栏
如何确定最佳训练数据集规模？6 大必备“锦囊”全给你了 | 技术头条
，因此为模型选择一个合理的训练数据规模，对于机器学习是至关重要的。 在本文中，作者针对线性回归模型和深度学习模型，分别介绍了确定训练数据集规模的方法。 ? 数据是否会成为新时代的“原油”是人们近来常常争论的一个问题。 ； 给出一种在分类任务中确定训练数据集大小的方法； 探讨增大训练集是否是应对不平衡数据集的最好方式。 如果使用预训练模型，数据集的规模则可以大幅减少。 通过假设检验确定样本规模 假设检验是数据科学常用的一种统计工具，一般也可以用于确定样本规模。 分类任务中确定训练数据集大小的方法 该方法基于我们所熟知的学习曲线，一般而言，学习曲线图的纵轴为误差，横轴为训练数据集大小。
3.2K20发布于 2019-05-14 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (6) 分割与征服
所谓的分治，就是将一个大而复杂的问题，拆分为小而容易解决的问题。 我们知道，需要做这些运算的数据都在CPU挂载的内存里面，那么，我们应当如何让GPU计算它们呢？ 上图是一台典型的Intel x86 v7服务器的架构框图，GPU通过PCI-E总线与CPU相连，GPU也可以利用PCI-E的MSI中断和DMA机制从系统内存中读取数据。 GPU运算的流程如上图： CPU告诉GPU，把系统内存中的数据复制到GPU内存； CPU把GPU指令传给GPU； GPU的各个计算单元并行执行运算； GPU将计算结果复制回系统内存； 那么，工程师们在编写 经编译器进行编译连接后，生成的代码会调用CUDA库框架，实现这些功能： CPU告诉GPU，把系统内存中的数据复制到GPU内存； CPU把GPU指令传给GPU； GPU的各个计算单元并行执行运算；
41620编辑于 2023-10-25 - 来自专栏顶级程序员
2018高薪趋势的6大IT技术岗位，有你吗？
2018年高薪趋势的6大IT技术岗位如下： 1. 大数据工程师，人工智能 与大数据工程师最相关的技能是：Java，Spark，Hadoop等，以及近两年总是占据荧屏的AI人工智能其实就是基于大数据的技术。 这项工作的市场需求较去年上升了15％，帮助公司保护数字财产的专业人士的需求正在稳步增长，尤其是近年来数据安全事件频频发生，企业级数据安全开始受到了广泛重视。 ? 4. 自由技术家Rick Delgado认为，物联网架构师应该培养一套有用的技能，可以分为三个方面：技术，编程语言和个人技术路线规划。 6. VR/AR工程师 新老司机似乎都很喜欢VR / AR，这也导致了该行业的技术人才缺乏。VR/AR工程师应具备以下技能：Java，C / C ++，C＃，Python和虚拟现实。
97570发布于 2018-04-26 - 来自专栏CDA数据分析师
数据分析不能碰的6大禁区!
1 没有明确分析数据的 要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据等。 2 没有合理安排时间 数据分析也要合理安排时间，一般有几个步骤，收集数据、整理数据、分析数据、美化表格。在做这些之前，要预估每一个步骤需要花多少时间，哪一步比较重要，需要花更多的时间等。 数据分析重点应该在于分析，应该以最快的速度收集完数据，才有更多的时间整理和分析，最后经过分析的数据才是最有价值的。 5 不懂得分析哪些数据 这是比较普遍的问题，收集了数据后不知道要分析哪些项目，哪些数据点才能体现出分析的目的。 6 表格不美观，不清晰 做数据分析一般使用的是excel表格记录，一份美观清晰的表格不仅使我们可以清楚的看到这份数据的重点，方便查到所想要的数据。在收集数据的过程中，也可以提高收集和分析数据的效率。
71160发布于 2018-02-11 - 来自专栏机器学习/数据可视化
Python入门-6大数据类型操作
Python的6种数据类型操作总结 本文对Python中常见6种数据类型的操作进行了汇总： Numbers（数字） String（字符串） List（列表） Tuple（元组） Dictionary（字典 = 1.3常用函数 取绝对值：abs 四舍五入：round 取整：int 转浮点数：float 二、字符串String 字符串是Python中常见的数据类型之一，能够使用str函数将其他类型的数据强制转成字符类型 2.1键盘输入 终端中通过input函数输入的任何内容都是字符串数据 2.2三种方法生成 通过3种方法生成字符串数据： 单引号：`python` 双引号：“python” 三引号：一般字符串内容较长时使用 列表元素重复：* 返回列表中的最值（比较ASCII码）：max、min 3.3常见操作 索引和切片操作（类比字符串） append：将整体追加到列表的末尾 extend：列表中的每个元素进行合并，组成一个大的列表 ，字典是无序的数据类型，主要是用来存放具有一定映射关系的数据。
71220编辑于 2023-08-23 - 来自专栏华章科技
数据分析不能碰的6大禁区
没有明确分析数据的目的 要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据等。 没有合理安排时间 数据分析也要合理安排时间，一般有几个步骤，收集数据、整理数据、分析数据、美化表格。在做这些之前，要预估每一个步骤需要花多少时间，哪一步比较重要，需要花更多的时间等。 数据分析重点应该在于分析，应该以最快的速度收集完数据，才有更多的时间整理和分析，最后经过分析的数据才是最有价值的。 不懂得分析哪些数据 这是比较普遍的问题，收集了数据后不知道要分析哪些项目，哪些数据点才能体现出分析的目的。 表格不美观，不清晰 做数据分析一般使用的是excel表格记录，一份美观清晰的表格不仅使我们可以清楚的看到这份数据的重点，方便查到所想要的数据。在收集数据的过程中，也可以提高收集和分析数据的效率。
36430发布于 2018-08-13 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏灯塔大数据
6位大数据人物浅谈未来三年大数据的发展
新工具，新视角 维珍传媒（Virgin Media）洞察分析部负责人马克·查普曼（Mark Chapman） （维珍传媒：英国第一家通信、电视全业务运营商，欧洲最大的移动虚拟网络运营商，也是英国第二大付费电视公司 大数据相关技术在不断改进，现在我们可以通过大数据对我们的行业进行深度分析和发掘，而不是像之前一样收集“便宜又大包的黄页式”数据库。 我认为企业利用的数据类型将发生重大变化，不论是内部数据的开源数据集，还是社交媒体等产生的非结构性数据集，这些数据类型都将发生巨变。 数据整合是成功关键 联合利华信息分析副总裁柯尔斯顿·穆迪（Kjersten Moody） （联合利华：跨国消费品公司，总部设在荷兰鹿特丹和英国伦敦，世界第三大消费品公司，世界上最大的涂抹食品生产商，最古老的跨国公司之一 联合利华目前专注于整合不同渠道数据，对客户数据体验进行重新定义，建立互动性更高的数据联系。这样一来，我们就能让客户深度发掘数据信息，并做出正确的行动决策。 翻译：灯塔大数据
93180发布于 2018-04-08 - 来自专栏SDNLAB
SRv6—5G技术落地的大杀器
SRv6是5G技术体系的重要组成部分。总体上来说，SRv6在5G场景中的网络切片、业务管理、云资源管理等三大方面有创新应用。 SRv6在网络切片中的应用 5G网络切片涉及终端、无线、承载和核心网，需要实现端到端协同管控。通过转发平面的资源切片和管理控制平面的切片管控，为三大类业务提供差异化的SLA保障。 SRv6是切片分组层的重要实现技术。 SRv6 Policy利用SR机制，在头节点封装有序的指令列表指导报文穿越网络。 基于IFIT（In-situ Flow Information Telemetry）框架实现的随路网络测量，不引入额外的测量报文，能够实时监测用户流时延和丢包，能够快速发现故障点，支持多种随路网络测量技术的数据平面封装 该模式下指令头长度128位，与IPv6地址长度相同，能够承载于IPv6的扩展报文头中。 借助于SRv6技术在数据平面的可编程能力。
2.1K20发布于 2021-10-11 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。
1.6K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。
1.2K30发布于 2019-04-19 - 来自专栏互联网大杂烩
6大设计原则
所有引用基类的地方必须能透明地使用其子类对象。 只要父类能出现的地方子类就可以出现。
39330发布于 2018-08-22 - 来自专栏木东居士的专栏
数据团队思考：小型数据团队发展的6大建议
数据团队思考：小型数据团队发展的6大建议 0x00 前言 最近遇到了不少待在小型数据团队的朋友在吐槽自己的团队如何如何的坑，比如说： 基础建设特别差，用什么没什么！ 鉴于这些吐槽的内容，居士将从如下几个方面来分享本篇的主题：小型数据团队发展的6大建议 为什么你的团队是一个小型的数据团队？ 小团队会面临什么样的难题？ 很多大公司的数据团队可能也是很少的几个人。这里面有两种可能： 公司本身并不需要特别强大的数据支撑，或者还没有重视。 另一种可能是一个大的公司的各个部门里面，都会有自己的小的数据团队。 当然，也可能会有人问：居士，你这听起来一点也不高打上呀，都是什么数据分析，数据埋点，也没见数据挖掘和机器学习之类的高新技术呀。 另外，数据挖掘本来也是数据团队的工作内容，这里的6个建议同样适用。 补充说明一点：本文是从团队的角度来考虑，并不是个人的角度。 最后，欢迎大家提出你的意见，批评也很欢迎，一起讨论才会有进步。
1.1K10发布于 2019-11-12 - 来自专栏云计算D1net
关于SaaS和数据恢复的6大谬误
谬误一：你总是可以恢复你的云端数据 云计算提供商确实能提供不同程度的恢复，但是有一个问题：这种备份并非旨在将所有数据都能提供给客户。 提供数据保护。虽然这两种技术有一些重叠的特性，但是它们在根本上是不同的两种方法： ·件同步和共享是建立在用户内容的实时协作基础上的，但它不是用于在用户错误、数据损坏或面对勒索软件所采取的数据恢复。 数据被全方位所保护着，包括用SaaS应用程序进行文件存储，并且在设备一旦丢失或被盗的情况下，其附加的功能够帮助组织跟踪设备，和/或远程删除企业的数据。 另外，原生的云内容分析能力可以帮助你更为深入地了解在横跨多个数据源的时候，潜在的数据和合规方面的风险。 许多组织未能理解到云技术环境其实只是用户操作环境的一个扩展。和发生在任何其它地方的情况一样，数据同样容易受到来自云端的盗窃或恶意攻击，并造成损失。
74850发布于 2018-03-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号