- 综合排序
- 最热优先
- 最新优先
- 来自专栏华章科技
在中国我们如何收集数据？全球数据收集大教程
来源：36大数据（ID：dashuju36） 以前都是有小伙伴说想找点数据，自己来试试手，想分析出一些好的东西来。现在我们分享这篇文章给大家，也希望大家可以实现一个小的梦想，数据在这里，分析等你来。 为了便于对这些数据做进一步的处理，接下来的工作可能有点枯燥：把你找的数据一个一个地输入到电脑。 至于若干国家长期的统计数据，两个不可多得的数据来源是，Heston-Summers数据库和Madison数据库。 数据覆盖了全球及美国经济。数据文件用PKZip格式压缩。 转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
2.3K20发布于 2018-08-16 大模型微调「数据集构建」保姆级教程（超全）
经验之谈：实践表明，近80%的大模型微调失败案例，根源都可追溯至数据集问题。2024年堪称“行业大模型元年”，金融、医疗、教育等各行各业都在积极布局专属AI助手。 通过深度参与数十个大模型落地项目，我们总结出一个关键结论：优质的数据集是微调成功的首要决定因素，其重要性甚至超越了算法选择。 本文将系统性地拆解高质量数据集的完整构建流程，从核心理念到实操细节，为您提供一套可即刻落地的解决方案，帮助您的项目绕开常见陷阱，让大模型切实产生业务价值。 一、 根本性转变：从“算法崇拜”到“数据优先”1、 为什么数据比算法更重要？在当前大模型技术快速发展的背景下，各主流框架的算法差异正在逐渐缩小，数据质量的重要性日益凸显。 结语：构筑于高质量数据之上的AI未来在大模型技术迅猛发展的今天，我们必须清醒地认识到：高质量的数据已成为释放AI价值的核心瓶颈。 一个精心构建的数据集，其实际价值往往远超一个仓促训练出的庞大模型。
1K10编辑于 2025-11-06- 来自专栏波波烤鸭
Redis教程02(五大数据类型简介)
在上篇文章中我们介绍了Redis在Linux中的安装 Redis教程01(linux环境下安装) 本文给大家介绍下Redis中的五大数据类型 Redis中的数据都是key/value对，这里的数据类型指的是 value的值的类型 数据类型 说明 String 是Redis中最基本的数据类型，二进制安全的，它可以包含任意数据类型。 Redis中String类型的数据上限的512M。 List Redis列表是简单的字符串列表，按照插入顺序排序。 redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。 通用命令 五种数据类型的数据的结构差异所以命令也不尽相同，但是还是有一些相通的命令。
52320发布于 2019-04-02 - 来自专栏数据派THU
独家 | 大语言模型教程
在接下来的内容中，让我们来探索如何使大语言模型（LLM）智能化的科学创举。 Transformer 有很多方法来建模/表示这个条件分布p（xi|x1···xi−1）。 数据质量问题 虽然对此讨论得不多，但数据质量也同样重要。 然而，研究发现，未经过滤或轻过滤的CommonCrawl数据集的质量往往不如更加精选的数据集。 第1步：收集演示数据，并训练一个监督策略。标签器根据输入提示符的分布来提供所需行为的演示，然后使用监督学习在这些数据上对GPT3模型进行微调。 第二步：收集比较数据，并训练一个奖励模型。 对于数据集来说，FLAN手动组成了10个独特的模板，它们使用自然语言指令来描述该数据集的任务。
87531编辑于 2023-11-09 - 来自专栏极客开发者
大升级，MySQL 8.0安装教程
近两个月没有更新任何教程，原因是太忙了，项目、上课、备考，各种事。 原计划每周更新的Android Studio教程会在下半年继续，在这对小部分（或者几个）通过我们Android教程视频学习的小伙伴说声抱歉。也十分感谢一直支持我们订阅号的各位小伙伴！ 学习基础： (1)你需要Linux基础 (2)会对云服务器进行基本操作（如果不会的话可以到B站参考我们的基础视频） 下面就是教程了，如果视频不能正常观看，请复制以下链接使用浏览器打开 https://www.bilibili.com /video/av26079879 参考链接： 1.官方教程地址：https://dev.mysql.com/doc/refman/8.0/en/binary-installation.html 2. 中文博客教程地址：https://blog.jkdev.cn/index.php/archives/125/ 3.安装包下载地址：https://dev.mysql.com/downloads/mysql
54810编辑于 2022-01-13 - 来自专栏hadoop学习笔记
大快DKH大数据网络爬虫安装教程（详细图文步骤）
在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。 爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 使用cd crawler 命令进入 crawler 文件夹下 图片4-3.png 使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库
87730发布于 2018-08-24 大模型RAG进阶实战营教程
然而，传统的大模型面临着知识更新滞后、事实性错误和"幻觉"问题等挑战。 某国际投行部署的RAG系统能够实时分析海量财经新闻、财报数据和市场研究报告，为分析师提供精准的信息检索和摘要生成服务。系统在测试中将研究报告撰写效率提升了40%，同时显著降低了事实性错误的发生率。 一款基于RAG的医学问答系统整合了最新的临床指南、药物数据库和医学文献，能够为医生提供诊断建议和治疗方案参考。 实际应用数据显示，使用这类系统的学生成绩平均提升了15-20%。四、RAG技术的进阶优化策略提升RAG系统性能的关键在于优化检索和生成两个核心环节。 此外，处理多模态数据和跨语言检索的需求日益增长，这对现有技术架构提出了新的要求。展望未来，RAG技术有几个明确的发展方向。
79810编辑于 2025-06-11大模型备案、登记全流程教程
（一）大模型备案 当你的大模型利用生成式人工智能技术，向境内公众提供生成文本、图片、音频、视频等内容的服务时，就需要进行备案。 简单来说，如果大模型具有舆论属性或社会动员能力，且面向社会公众提供生成合成的自研大模型或微调大模型服务（to C），那么就需要做大模型备案。 （二）大模型登记大模型登记适用于具有舆论属性或社会动员能力、面向境内公众提供服务，通过API等技术调用第三方已备案大模型的生成能力来赋能的AI产品。 《生成式人工智能服务管理暂行办法》第21条的规定，未进行大模型备案或登记，相关主管部门会依照《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法 五、注意事项境外模型风险：对于那些使用境外基座模型，或者爬取境外门户网站数据的企业，在裸奔测试中往往难以顺利通过。这是因为境外模型和数据可能存在安全风险、不符合国内监管要求等问题，需格外谨慎。
6K11编辑于 2025-01-18- 来自专栏大数据文摘
大数据：大机遇还是大忽悠？
持反方观点，为大技术时代的到来欢呼的，一位是北京大学光华管理学院新媒体营销研究中心副主任苏萌，另一位是日本政治家、内阁成员山本一太。 他提出“一台电脑论”，即科学家们研究所需的数据，最好用一台电脑就能装下，否则数据处理会过于繁琐，无助于解决问题。他结合自身经验说，随着数据量的增大，研究的准确性一开始会随之上升，但很快就会趋平。 这有三个原因：一是因为不同机构间的数据还未真正流动起来，目前还只是数据“孤岛”；二是完整的生态产业链还未形成，尽管通过行为数据分析已能够分辨出一个消费者的喜好，但从供应到购买的链条还没建成；三是因为数据分析人才仍然极度匮乏 一位听众挑战正方，说，你们认为大数据过于庞杂纷繁，反而解决不了问题，那是不是说，当处理数据的计算工具变得足够好时，大数据就会变得有用？ 正如Howard在发表“失败感言”时所说，“我们并非反对数据，只是反对大而无当的数据，数据本身当然非常重要”。人类已经并将继续产生日益庞大的数据，或许不论我们接受与否，大数据时代都已到来。
4.1K81发布于 2018-05-18 - 来自专栏鱼皮客栈
【干货】顶级 Java 源码教程项目大汇总！
大家好，我是鱼皮，今天分享几个 GitHub 上顶级的 Java 源码教程项目。 区别于书籍、文档、视频等形式的教程，这些项目几乎都是由 精简的代码片段 和 Demo 组成的，能够轻松地在本地执行，非常适合实战入门！ [程序示例] TheAlgorithms/Java 该项目是所有常用算法和数据结构的 Java 实现，像排序、搜索等。基本每个算法对应一个类，可以直接查看源代码，学习规范的写法。 [Spring Cloud 教程] 如果你能够按照作者提供的路线跟着敲完所有的源码，那么你的能力绝对足够去开发一个 完整的企业级项目！ Boot 实战项目教程，包括 Spring Boot 使用的各种示例代码，同时也包括一些实战项目的项目源码和效果展示。
1.7K21发布于 2021-03-13 - 来自专栏鱼皮客栈
求之不得的 Java 文档教程大汇总！
已收录至免费编程资源大全：https://github.com/liyupi/free-programming-resources 大家好，我是鱼皮，今天分享几个 GitHub 上非常实用的 Java 文档教程项目 不仅是一份教程，更是一份完整的 Java 相关技术栈知识点总结！ [image-20210314155553318.png] LearningNotes 这是一位 Java 学习者的笔记，包含 Java 基础、框架、Android 开发、设计模式、数据结构与算法、网络等知识体系 [image-20210314162634816.png] 系统设计 mall-learning 一套电商系统实战学习教程，包含架构、业务、技术要点的全方位解析。该电商系统使用现阶段主流技术实现。 所有资源都在 项目汇总 / 教程：https://www.code-nav.cn/free
1.3K92发布于 2021-03-15 - 来自专栏服务端技术杂谈
：UBER数据大迁徙
数据大迁移的日期定为万圣节（10月31日），而这恰是交通量会非常高的一天。 上面图中的大问题是：我们仍然依赖于单一的PostgreSQL （数据库管理系统）来存储大部分的数据。下面的饼图显示了数据是如何在数据库中分配的： ? 我们评估了各种NoSQL（不同于传统的关系数据库的数据库管理系统的统称）的具有上述特点风格的数据库。 追加（无更新）数据模型：它仅支持一个只追加数据模型中，一旦它被写入后，就不能进行修改。这对于存储交易数据，并希望防止数据损坏的系统是非常有用的。由于是只追加模型，修改会自然幂等和交换。 在真正可以开始大迁移之前，第一个任务是从用户身份到用户唯一识别码的迁移，因为原代码依赖于自动递增的PostgreSQL 数据库标识符。几百条SQL查询需要被重写。
2.8K70发布于 2018-04-16 - 来自专栏点点GIS
日照分析（数据+教程）
视频教程：https://www.bilibili.com/video/BV1JE411j7jc 数据：回复0003 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
57810发布于 2021-08-18 - 来自专栏全栈程序员必看
oracle数据库菜鸟教程_sql数据库菜鸟教程
resource to –修改用户密码 –Alter user identified by 修改密码 –撤销用户权限 –revoke 权限 from –删除用户 –Drop user cascade 数据控制语言 (DCL): grant 授权 revoke 撤销 数据定义语言(DDL)：create 创建 alter 修改 drop 删除 创建表：create table 修改表：alter table 删除表 ：drop table –创建表 –create table 表名 (字段名 数据类型,字段名 数据类型,…) –修改表 –添加字段、列 –alter table 表名 add 字段名 数据类型 –修改字段的数据类型 –alter table 表名 modify 字段名 新的数据类型 –修改字段的名字 –alter table 表名 rename column 旧名 to 新名 –删除字段 –alter table delete 删除 update 修改 select 查询 数据操纵语言用于检索、插入和修改数据 数据操纵语言是最常见的SQL命令 –增加数据 –insert into 表名 values(与表中一一对应的字段名
2.5K30编辑于 2022-11-01 - 来自专栏机器学习与统计学
开源，免费，大模型图文教程、视频课程
大家好，我是 Ai 学习的老章 大模型还是要学啊，太深了，学无止境 老章长期大量网上冲浪，推荐几个图文教程/视频课程 1 是优质，2 是免费 别看到英文就露怯，沉浸式翻译插件一键就 OK 了 LLM Inference Handbook[1] 《大语言模型推理手册》是一本集技术术语表、指南和参考资料于一身的手册，全面涵盖大语言模型推理相关知识。 课程从 AI 基础原理讲起，包括其定义、起源和大语言模型的兴起，后续进入实践教程，如构建聊天机器人、实现检索增强生成等，旨在帮助学员构建可扩展的实际 AI 应用。 课程中，可以学到监督微调（SFT）、直接偏好优化（DPO）和在线强化学习（RL）这三种常见的后期训练方法，了解其基本概念、常见用例以及为有效训练策划高质量数据的原则，并通过实践操作，从 HuggingFace Advanced RAG Techniques[5] 该项目聚焦检索增强生成（RAG）技术，拥有全面且动态的 RAG 教程集合，涵盖多种先进技术，旨在提升 RAG 系统的准确性、效率和上下文丰富度。
31910编辑于 2025-07-18 谷歌Gemma 大模型 部署搭建本地详细教程
有关性能、数据集组成和建模方法的详细信息，请参阅技术报告。 **我的功能包括：***理解自然语言生成自然语言翻译语言回答问题自动摘要聊天机器人**我如何工作：**1·我从大型文本数据库中检索并处理人类对话。2.我使用神经网络学习如何从输入文本中推断输出文本。 3.我可以根据我的训练数据生成新的文本，翻译语言，或回答问题。**我有哪些优势：****无答案能力：**我无法独立思考或做出决定。**可扩展性：**我可以在任何设备上运行。
2.9K10编辑于 2024-04-07- 来自专栏鱼皮客栈
【干货】求之不得的 Java 文档教程大汇总！
大家好，我是鱼皮，今天分享几个 GitHub 上非常实用的 Java 文档教程项目，包括 Java 基础知识、类库框架、系统设计、源码分析等。 不仅是一份教程，更是一份完整的 Java 相关技术栈知识点总结！ ? LearningNotes 这是一位 Java 学习者的笔记，包含 Java 基础、框架、Android 开发、设计模式、数据结构与算法、网络等知识体系，甚至还有自己的面试经历，非常全面！ 类库框架 SpringBoot Guide JavaGuide 的作者 Guide 哥的又一个知名指南项目，专注于 SpringBoot 的教程和知识总结，还整理了一些实战项目帮助大家练手。 系统设计 mall-learning 一套电商系统实战学习教程，包含架构、业务、技术要点的全方位解析。该电商系统使用现阶段主流技术实现。
67320发布于 2021-03-26 - 来自专栏机器学习与统计学
最好的大模型训练、微调教程.PDF
大家好，我是Ai学习的老章 周末认真看了一个Huggingface上的热门教程 《构建世界级语言模型的实战指南：先进语言模型训练背后的挑战、决策与现实》：https://huggingface.co/spaces 比如仅这个svg配图都花费很多功夫 翻译 通过这个教程，你将学到： 一个决策流程图（上图所示）： 它会引导你系统性地思考，在投入巨额的计算和时间成本之前，你当前的需求是否真的需要从头训练一个模型。 成功的两大“超能力”： 手册最后点明，成功的训练团队最关键的特质是迭代速度和对高质量数据的痴迷，而非其他。 这个教程被结构化为几个独立的部分，可以跳过或单独阅读： 训练指南针：深度探讨是否该自己预训练模型。帮你厘清在烧光风投前必须思考的核心问题，建立系统化的决策框架。 预训练实战：从消融实验到评估体系，从数据配比到架构选型，从超参调优到训练马拉松——手把手教你搭建预训练配方。无论你是从零开始还是做继续预训练，这套方法论都能套用。
20010编辑于 2025-11-20 基于大模型LLM的开发与编程教程
在大模型全流程开发的征程中，我们始终面临一个核心矛盾：如何以可接受的成本，高效地将通用的“基座模型”转化为精通特定任务的“领域专家”？ 它并非直接调整大模型庞大的原始参数，而是通过引入两个低秩矩阵（A和B）的乘积来模拟参数更新的增量。在微调时，只训练这两个极小的矩阵；在推理时，将增量与原始权重合并，无需引入额外延迟。 通过灵活运用VeRA的“极致效率”与Delta-LoRA的“性能突破”，我们能够以更低的成本、更快的速度，将大模型的能力精准地注入到每一个业务场景中，真正驾驭AI的洪流。
23510编辑于 2025-11-10- 来自专栏分布式系统和大数据处理
大数据：大价值大机遇大变革
大数据：大价值大机遇大变革 2017-3-26 张子阳 推荐: 1 难度: 1 ? 这本书就像一个印刷出来的PPT，字体比较大，留白比较多，大量图片，全彩印刷。 概括起来有下面这些要点： 数据量正指数级别增长。大数据时代已经来临。 大数据特点：存储量大、计算量大、增长速度快、类型多样化。 制造业应用：给挖掘机安装GPS和数据上传系统，统计挖掘机每月的工作时长。然后根据大量用户的实际使用数据，来判断市场是否有过剩的风险。 银行业应用：反诈骗系统。 数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 相对稳定：数据一旦进入数据仓库以后，一般很少进行修改，更多地是对信息进行查询操作。 反映历史变化：不只是反映企业当前的状态，而是记录了过去某一点到当前各个阶段的信息。
1.1K40发布于 2018-09-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号