- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型&AIGC
6种大模型微调技术
当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要相当长的训练时间。 我们发现，通过仅学习0.1%的参数，前缀微调在全数据设置下取得了与微调相当的性能，在低数据设置下超越了微调，并且更好地推广到了训练过程中未见过的主题示例。 FT层：在seq前面加n个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）在多种任务上下进行微调完全变为生成模型，无需verbalizer(4) 特点在小、大模型上 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 d,k)$(5) 学习目标原始的LLM，一般也是CLM (Causal Language Model/Conditional Language Model)，学习目标为而加入LoRA后，学习目标为：(6)
2.6K00编辑于 2025-05-08 YashanDB数据库的6大集成技术与优势
当前数据库技术面临诸多挑战，包括高并发处理中的性能瓶颈、海量数据的高效存储与访问、跨节点数据一致性保障以及复杂事务的高效管理等。 本文将深入分析YashanDB的六大集成技术及其带来的优势，为数据库开发者和运维人员提供技术参考和应用指导。1. 整体设计确保海量数据的低延迟查询及资源动态调度，提升系统的并发吞吐能力。4. 事务与并发控制机制集成YashanDB集成了基于多版本并发控制（MVCC）的事务管理，支持ACID四大属性。 这些技术有效降低运维复杂度，保障数据库稳定性和业务不中断。6. 全面安全管理体系整合安全方面，YashanDB构建了用户管理、身份认证、访问控制、数据加密、审计及反入侵防护的多层安全体系。 各集成技术基于行业标准和数据库核心理论，确保系统具备高性能、高并发、高可靠性和强安全性。
15710编辑于 2025-11-20- 来自专栏JetPack
Java设计模式6大原则
目录 单一职责原则 开放封闭原则 里式替换原则 依赖倒置原则 迪米特原则 接口隔离原则 设计模式的6大原则，单一职责原则，开放封闭原则，里式替换原则，依赖导致原则，迪米特原则和接口隔离原则。 比如我们会看到一些 Android 开发者在写 Activity 中 写Bean 文件，网络数据处理，如果有列表的话，Adapter也写在 Activity中。 在java语言中，在编译阶段，java编译器会检查一个程序是否符合里式替换原则。 如果我有5 6个类呢，那我这个包装类岂不是要很麻烦？ 在Java中，抽象指接口或者抽象类，两者都是不能直接被实例化；细节就是实现类，实现接口或者继承抽象类而产生的就是细节，也就是可以加上一个关键字 new 产生的对象。
32230编辑于 2022-02-09 - 来自专栏码农桃花源
曹大带我学 Go（6）—— 技术之外
曹大最近开 Go 课程了，小X 正在和曹大学 Go。 这个系列会讲一些从课程中学到的让人醍醐灌顶的东西，拨云见日，带你重新认识 Go。 有学员私下和我说，这个课程挺打击他的自信心。 话说回来，上这门课，不光能跟着曹大学到技术，还能学到很多技术之外的东西。 曹大之前写过很多文章，但没有做过动画。这次为了训练营，他还专门看了几本设计书，又是学做视频，又是学做动画，“骚”的不行。 课上曹大用了一个在线的设计工具 Figma，它的一个非常大的优点是分享个链接过来，就可以看了。而且如果源文件有修改，我们马上就能看见，非常方便。 我想学怎么做。 但我不需要问：曹大，动画是怎么做的，教教我啊？我只需要知道关键字：Figma。 这就够了，剩下的用搜索引擎就解决了。不过，如果你用的搜索工具不行，那搜出来的内容质量确实也是不行的。 动画可以更直观地展示原理，在一些技术分享的场合还是很有用的。
82430发布于 2021-06-17 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) AdaLoRA Qingru Zhang 等人 AdaLoRA技术采用了一种有效的策略来调整增量阵的分配 框架 零冗余优化器 ( Zero Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响 •3、在训练数据上进行微调，以便尽量避免因网络结构发生变化而导致性能下降。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。 分类 •非结构化剪枝 •使用技术A或B的一个或多个通道 •A 滤波 •B 权重矩阵 •分类 •权值剪枝 •神经元剪枝 •结构化剪枝 •又名：滤波器剪枝 •分类 •Filter-wise •Channel-wise
29810编辑于 2024-09-10 - 来自专栏程序你好
数据科学的前6大语言
2012年的《哈佛商业评论》(Harvard business review)正确地将数据科学列为“21世纪最性感的工作”。即使在这份报告发表6年后的今天，《商业评论》仍被证明是正确的。 随着人工智能和机器学习的出现，“数据科学”一词在精通技术的人中间流行起来。用最简单的话说，数据科学是一种利用科学技术和算法从数据中挖掘知识的方法，无论是结构化的还是非结构化的。 Java Java是数据科学家最古老的语言之一。尽管Java的存在受到了许多新语言的挑战，但它的光芒从未逊于其他语言。Java的特殊特性是“一次编写，在任何地方运行”。 代码编译完成后，就可以在任何支持Java的平台上运行。因此，可移植性是这种语言的一个重要方面。Java虚拟机(JVM)是数据科学的一个很好的工具。 如果我们看一下Java中最近的开发，就会发现有两个很大的改进:Lambda支持(有助于减少冗长)和REPL支持。因此,Java是初露头角的数据科学家必须学习的内容。
1.2K30发布于 2018-09-29 - 来自专栏技术博文
Java基础（6）-Java数据类型扩展
Java进制分为二进制，八进制，十进制，十六进制, 但是计算机只能处理2进制的数据和指令。 进制码 在计算机内，有符号数有3种表示法：原码、反码和补码。所有数据的运算都是采用补码进行的。 System.out.println(f1); System.out.println(f2); System.out.println(f1==f2); //true } } Java String[] args) { boolean flag = true; if (flag == true) {} if (flag){} } } Java System.out.println("hello\world"); // \n System.out.println("hello\nworld"); } } Java
59430编辑于 2021-12-20 - 来自专栏企鹅号快讯
人人都应该知道的6大技术定律
米姆斯说，虽然这6条定律提出有一段时间了，但却能完美解释如今这个被技术包围的时代。而且，米姆斯发现，当今社会的大多数创新人士，也就是那些创建了各种颠覆性服务和工具的人，同样不是很了解这6条定律。 这句话的意思是，“每一项技术都需要通过额外的技术进步，才能完全发挥效果。”比如，智能手机的发明，带来了对其他技术源源不断的需求，小到手机壳的发明，大到5G无线技术的发展。 所以，从更广泛的层面来说，立法机构开始对隐私、数据透明度、国家安全、科技行业反垄断等问题越来越感兴趣，这种转变更多是我们文化的转变，而不是技术本身。 比如，库克曾经好几次宣称苹果公司会保护用户的数据，谷歌最近也开展了反歧视措施，防止它的人工智能技术变得种族歧视。当企业没这么做的时候，监管部门、媒体和公众就要替企业考虑这些问题。 以上就是历史学家克兰兹伯格提出的6条技术定律，希望对你理解技术有帮助。
1.6K50发布于 2018-01-24 - 来自专栏AI科技大本营的专栏
如何确定最佳训练数据集规模？6 大必备“锦囊”全给你了 | 技术头条
，因此为模型选择一个合理的训练数据规模，对于机器学习是至关重要的。 在本文中，作者针对线性回归模型和深度学习模型，分别介绍了确定训练数据集规模的方法。 ? 数据是否会成为新时代的“原油”是人们近来常常争论的一个问题。 ； 给出一种在分类任务中确定训练数据集大小的方法； 探讨增大训练集是否是应对不平衡数据集的最好方式。 如果使用预训练模型，数据集的规模则可以大幅减少。 通过假设检验确定样本规模 假设检验是数据科学常用的一种统计工具，一般也可以用于确定样本规模。 分类任务中确定训练数据集大小的方法 该方法基于我们所熟知的学习曲线，一般而言，学习曲线图的纵轴为误差，横轴为训练数据集大小。
3.2K20发布于 2019-05-14 - 来自专栏测吧测试开发
技术分享 | 数据持久化技术（Java）
image.png 本文节选自霍格沃兹测试学院内部教材 本章介绍 Web 后端开发中数据持久化技术 TKMyBatis。 MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java ，会自动填入在数据库中生成的 id 值。 2021-04-14T09:43:45.018+00:00" } 删除 DELETE http://127.0.0.1:8081/hogwartsUser/15 请求参数 见请求地址中15 响应参数 15 数据持久化技术就先讲到这里啦
84550编辑于 2022-03-14 - 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (6) 分割与征服
所谓的分治，就是将一个大而复杂的问题，拆分为小而容易解决的问题。 我们知道，需要做这些运算的数据都在CPU挂载的内存里面，那么，我们应当如何让GPU计算它们呢？ 上图是一台典型的Intel x86 v7服务器的架构框图，GPU通过PCI-E总线与CPU相连，GPU也可以利用PCI-E的MSI中断和DMA机制从系统内存中读取数据。 GPU运算的流程如上图： CPU告诉GPU，把系统内存中的数据复制到GPU内存； CPU把GPU指令传给GPU； GPU的各个计算单元并行执行运算； GPU将计算结果复制回系统内存； 那么，工程师们在编写 经编译器进行编译连接后，生成的代码会调用CUDA库框架，实现这些功能： CPU告诉GPU，把系统内存中的数据复制到GPU内存； CPU把GPU指令传给GPU； GPU的各个计算单元并行执行运算；
41620编辑于 2023-10-25 - 来自专栏顶级程序员
2018高薪趋势的6大IT技术岗位，有你吗？
2018年高薪趋势的6大IT技术岗位如下： 1. 大数据工程师，人工智能 与大数据工程师最相关的技能是：Java，Spark，Hadoop等，以及近两年总是占据荧屏的AI人工智能其实就是基于大数据的技术。 全栈工程师 全栈工程师应具备以下技能：JavaScript，完整堆栈框架，Java，级联样式表和超文本标记语言。 自由技术家Rick Delgado认为，物联网架构师应该培养一套有用的技能，可以分为三个方面：技术，编程语言和个人技术路线规划。 6. VR/AR工程师 新老司机似乎都很喜欢VR / AR，这也导致了该行业的技术人才缺乏。VR/AR工程师应具备以下技能：Java，C / C ++，C＃，Python和虚拟现实。
97570发布于 2018-04-26 - 来自专栏CDA数据分析师
数据分析不能碰的6大禁区!
1 没有明确分析数据的 要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据等。 2 没有合理安排时间 数据分析也要合理安排时间，一般有几个步骤，收集数据、整理数据、分析数据、美化表格。在做这些之前，要预估每一个步骤需要花多少时间，哪一步比较重要，需要花更多的时间等。 数据分析重点应该在于分析，应该以最快的速度收集完数据，才有更多的时间整理和分析，最后经过分析的数据才是最有价值的。 5 不懂得分析哪些数据 这是比较普遍的问题，收集了数据后不知道要分析哪些项目，哪些数据点才能体现出分析的目的。 6 表格不美观，不清晰 做数据分析一般使用的是excel表格记录，一份美观清晰的表格不仅使我们可以清楚的看到这份数据的重点，方便查到所想要的数据。在收集数据的过程中，也可以提高收集和分析数据的效率。
71160发布于 2018-02-11 - 来自专栏机器学习/数据可视化
Python入门-6大数据类型操作
Python的6种数据类型操作总结 本文对Python中常见6种数据类型的操作进行了汇总： Numbers（数字） String（字符串） List（列表） Tuple（元组） Dictionary（字典 = 1.3常用函数 取绝对值：abs 四舍五入：round 取整：int 转浮点数：float 二、字符串String 字符串是Python中常见的数据类型之一，能够使用str函数将其他类型的数据强制转成字符类型 2.1键盘输入 终端中通过input函数输入的任何内容都是字符串数据 2.2三种方法生成 通过3种方法生成字符串数据： 单引号：`python` 双引号：“python” 三引号：一般字符串内容较长时使用 列表元素重复：* 返回列表中的最值（比较ASCII码）：max、min 3.3常见操作 索引和切片操作（类比字符串） append：将整体追加到列表的末尾 extend：列表中的每个元素进行合并，组成一个大的列表 ，字典是无序的数据类型，主要是用来存放具有一定映射关系的数据。
71220编辑于 2023-08-23 - 来自专栏华章科技
数据分析不能碰的6大禁区
没有明确分析数据的目的 要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据等。 没有合理安排时间 数据分析也要合理安排时间，一般有几个步骤，收集数据、整理数据、分析数据、美化表格。在做这些之前，要预估每一个步骤需要花多少时间，哪一步比较重要，需要花更多的时间等。 数据分析重点应该在于分析，应该以最快的速度收集完数据，才有更多的时间整理和分析，最后经过分析的数据才是最有价值的。 不懂得分析哪些数据 这是比较普遍的问题，收集了数据后不知道要分析哪些项目，哪些数据点才能体现出分析的目的。 表格不美观，不清晰 做数据分析一般使用的是excel表格记录，一份美观清晰的表格不仅使我们可以清楚的看到这份数据的重点，方便查到所想要的数据。在收集数据的过程中，也可以提高收集和分析数据的效率。
36430发布于 2018-08-13 - 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏灯塔大数据
6位大数据人物浅谈未来三年大数据的发展
新工具，新视角 维珍传媒（Virgin Media）洞察分析部负责人马克·查普曼（Mark Chapman） （维珍传媒：英国第一家通信、电视全业务运营商，欧洲最大的移动虚拟网络运营商，也是英国第二大付费电视公司 大数据相关技术在不断改进，现在我们可以通过大数据对我们的行业进行深度分析和发掘，而不是像之前一样收集“便宜又大包的黄页式”数据库。 我认为企业利用的数据类型将发生重大变化，不论是内部数据的开源数据集，还是社交媒体等产生的非结构性数据集，这些数据类型都将发生巨变。 数据整合是成功关键 联合利华信息分析副总裁柯尔斯顿·穆迪（Kjersten Moody） （联合利华：跨国消费品公司，总部设在荷兰鹿特丹和英国伦敦，世界第三大消费品公司，世界上最大的涂抹食品生产商，最古老的跨国公司之一 联合利华目前专注于整合不同渠道数据，对客户数据体验进行重新定义，建立互动性更高的数据联系。这样一来，我们就能让客户深度发掘数据信息，并做出正确的行动决策。 翻译：灯塔大数据
93180发布于 2018-04-08 - 来自专栏SDNLAB
SRv6—5G技术落地的大杀器
SRv6是5G技术体系的重要组成部分。总体上来说，SRv6在5G场景中的网络切片、业务管理、云资源管理等三大方面有创新应用。 SRv6在网络切片中的应用 5G网络切片涉及终端、无线、承载和核心网，需要实现端到端协同管控。通过转发平面的资源切片和管理控制平面的切片管控，为三大类业务提供差异化的SLA保障。 SRv6是切片分组层的重要实现技术。 SRv6 Policy利用SR机制，在头节点封装有序的指令列表指导报文穿越网络。 基于IFIT（In-situ Flow Information Telemetry）框架实现的随路网络测量，不引入额外的测量报文，能够实时监测用户流时延和丢包，能够快速发现故障点，支持多种随路网络测量技术的数据平面封装 该模式下指令头长度128位，与IPv6地址长度相同，能够承载于IPv6的扩展报文头中。 借助于SRv6技术在数据平面的可编程能力。
2.1K20发布于 2021-10-11 - 来自专栏Linyb极客之路
java代码设计的6+1大原则
开放-封闭原则是面向对象设计的核心所在，遵循这个原则可以带来面向对象技术所声称的巨大好处，也就是可维护、可扩展、可复用、灵活性好。 在java中，抽象指的是接口或者抽象类，细节就是具体的实现类，使用接口或者抽象类的目的是制定好规范和契约，而不去涉及任何具体的操作，把展现细节的任务交给他们的实现类去完成。 6.单一职责原则（Single Responsibility Principle） 定义：不要存在多于一个导致类变更的原因。
1.1K30发布于 2018-07-26 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。 6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。 9.Apache Beam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。
1.6K31发布于 2019-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号