首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏AI

    微调

    示例数量建议为了微调一个模型,您需要提供至少10个示例。我们通常在使用gpt-3.5-turbo微调时看到从50到100个训练示例中的明显改进,但正确的数量根据具体的用例变化很大。 from openai import OpenAIclient = OpenAI()# List 10 fine-tuning jobsclient.fine_tuning.jobs.list(limit Give or take a few, like that really matters."}]}如果您想要跟着一起创建自己的微调模型,您至少需要10个示例。 ,您至少需要10个示例。 ,您至少需要10个示例。

    71010编辑于 2024-04-20
  • 来自专栏PPV课数据科学社区

    【聚焦】未来10年的10大暴富行业

      10、奢侈品行业   仔细看一下胡润中国富豪榜会发现,中国没有奢侈品行业的富豪。尽管近几年崛起了不少本土奢侈品牌,例如水晶坊,上海滩(Shanghai Tang)等,但明显是微不足道。 据最新的报告显示,日渐富足起来的中国人对奢侈品的消费能力正变得越来越强,未来10年内中国有望超过美国成为全球最大的奢侈品消费市场,到2020年,中国奢侈品市场将近1700亿欧元,中国人将消费掉全世界44% 10年前世界各大汽车生产厂家以及专业人士在开发新能源汽车方面认识还不够一致,甚至持怀疑态度。 经过10年的发展,随着石油价格的激烈波动、社会环保意识的增强和可持续发展理念的普及,以环保着称的新能源汽车发展方向已成定局;其次,中国以“跨越式”发展汽车工业的新思维为主导,近年来大力发展新能源汽车,幅度之大 从传媒产业内部各行业的增幅来看,除报纸发行和期刊发行两个行业外,其他各行业的产值均有不同程度的增长。2007年中国传媒产业的总产值为4811亿元,比2006年增长13.6%。   

    1K40发布于 2018-04-20
  • 来自专栏灯塔大数据

    行业盘点 | 通信行业10大关键词

    前言 不知不觉2018年已经到来,回顾2017年,通信行业在机遇与挑战中砥砺前行:促进行业改革的新政纷纷颁布,让我们回顾下2017年通信行业的十大关键词吧。 中国电信2017年10月7日宣布,其在兰州的5G基站日前开通。 2017年7月,工业和信息化部发布关于开展2017年电信和互联网行业网络安全试点示范工作的通知。 2017年9月,工业和信息化部发布关于印发《公共互联网网络安全威胁监测与处置办法》的通知。 中国电信于2017年成立了两家投资公司,10月31日成立中国电信集团投资有限公司,11月30日成立天翼资本控股有限公司,其中注册资本均为50亿元,统一简称为中国电信投资公司。 10 餐饮行业数据运营的时代已来临 ? 10月24日,中国共产党第十九次全国代表大会闭幕,中国特色社会主义进入新时代。在十九大报告中,有16处提到了质量!

    1.6K70发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 医疗行业10大关键词

    那么对于2017年的医疗信息化行业来说,有哪些关键词是不可错过的呢? 01 互联网医疗 易观智库最新发布的《中国医院互联网化专题研究报告2017》指出,目前中国医院互联网化处于移动端的启动期,医院互联网化率低于10%,2016年8.8亿网民中只有近3成建立了互联网医疗使用习惯 未来10年,互联网将成为医疗机构的基础设施,全面重塑主诊过程,改善患者的就医体验。 57%的医疗机构表示,他们的IT部门是IoHT投资的主力;而26%的受访者表示,其机构中的研发部门是投资主力;另有约10%的受访者说,他们的机构中设有专门负责IoHT事务的子公司或部门。 ? 09 独立第三方影像中心 2016年8月,卫计委正式颁布《医学影像诊断中心基本标准和管理规范的通知》;2016年10月,国务院又印发了《“健康中国2030”规划纲要》。

    1.9K40发布于 2018-04-03
  • 来自专栏DeepHub IMBA

    YOLOv10的改进、部署和微调训练总结

    前几天YOLOv10也刚刚发布了。我们这篇文章就来看看YOLOv10有哪些改进,如何部署,以及微调。 通过以上一些列的优化YOLOv10具有最先进的性能和效率。例如,YOLOv10-S比RT-DETR-R18快1.8倍,精度相似但参数和FLOPs更少。 if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() 微调训练 在使用模型时最主要的还是要在我们自己的数据集上进行微调,所以我们最后再介绍一下如何使用自己的数据进行微调。 并且继承了Ultralytics的传统,无论是部署还是自定义训练和微调都十分的友好,有兴趣的可以现在开始研究了。

    2.7K21编辑于 2024-06-03
  • 来自专栏灯塔大数据

    行业盘点 | 教育行业10大关键词

    前言 不知不觉2018年已经到来,当我们回首过往,2017年教育行业的几经腾飞与迷茫,在繁荣中暗流涌动。2017年,对于教育行业而言,是值得被铭记和反思的一年。 商场如战场,你死我活的丛林法则在互联网行业展现得淋漓尽致。互联网创业者的焦虑和恐惧是人之常情,但为了打败对手,把涉黄、诽谤、欺诈等残酷、阴暗、野蛮的元素充斥在商业竞争中,对整个教育行业是得不偿失的。 “携程亲子园虐童”、“红黄蓝幼儿园虐童”等热点事件揪疼了我们的心,将行业弊病暴露无遗。资本逐利之外,我们更应该思考如何提高早幼教行业的整体业务水平。 10 《教育事业“十三五”发展规划》:政策都释放了哪些重大发展信号? 百年大计,教育为本。人才培养关乎国家未来,作为立国之本,教育是一个“政策先行”的行业。 以上就是根据业内人士建议总结的2017年教育行业十大关键词。风起云涌的2017年,注定是教育产业的一个关键年份。

    2.2K50发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 金融科技行业10大关键词

    2017年,科技金融与整个金融行业一样,在所谓“严监管”的大环境下更加规范。 值得注意的是,对金融行业的监管在整个2017年不仅政策、声音频繁,监管精神也一脉相承,监管体制不断创新,监管的统筹和效率也更加高效、有针对性,且充分考虑行业实际;此外,监管还不断引进新技术,如大数据监管之类的议题也提上日程 而回顾2017年,或许以下10个关键词,可以窥见2017年整个行业发展的一些片段。 但行业乱象严重影响了行业发展,一些超高利率和暴力催收等问题更是严重刺激着舆论和大众用户的神经。如今,相关现金贷的监管政策已经出台,现金贷平台正面临着史无前例的强监管。 10 出海 2017年科技金融还有一个现象值得关注,即“出海战略”。

    2K100发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 餐饮行业10大关键词

    前言 回望2017年,餐饮业发生着翻天覆地的变化,新技术既带来冲击又带来机遇,新老餐饮服务商,正在革新餐饮产业链条上的各个环节,降低行业成本,提高行业效率,并以此推进餐饮产业转型升级。 2017年10月的云栖大会上,由口碑与蚂蚁技术实验室、支付宝AR团队共同打造的“未来智能餐厅”亮相。超大尺寸的触屏餐桌可实现自助点餐、个性化推荐、餐前游戏等在内的全部功能。 反映了未来餐饮行业必将更智能化和信息化,而伴随这一趋势的就是SaaS行业的新一轮爆发。 海底捞很早基于门店成立了Hi捞送,但在2016年10月又开始布局外卖独立店,整个外卖系统有500多名员工。 10 餐饮行业数据运营的时代已来临 ?

    2.5K61发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 物流行业10大关键词

    前言 2017年,物流行业发展稳步推进中,又有新的突破与惊喜。回望过去,才能把握未来,展望前景。2017年物流行业都发生了怎样的变化与创新呢? 2017年物流行业都发生了怎样的变化与创新呢? ? 这一系列的背后,都是资本不断涌入的结果,据不完全统计,仅仅在2017年里,同城配送领域即获得了超过10亿元的融资。 10 物流地产:设立基金,打造硬实力 在仓配服务一体化的需求下,快递企业也加速了进入物流地产市场投资的脚步。 在此,亿欧期待物流行业在接下来的2018年能有更多发展的突破,推动行业实现质的飞跃。 文章来源:亿欧网 文章编辑:天天

    1.4K50发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 农业科技行业10大关键词

    10 水稻杂交技术 ?

    94670发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 互联网行业10大关键词

    2017年5月,“一带一路”沿线20国青年评选出的中国“新四大发明”中,互联网行业独占其三(网购、共享单车、支付宝)。 在2017年里,5G成为被通信行业关注和讨论最多话题,更是被视为下一代信息通信产业的制高点。 2017年,中国每天发出的快递超过1亿件,用不了几年,这个数据将上升到每天10亿件,而当这一天来临的时候,我们的环境能够承受吗? 10 电子竞技 迈出“入奥”第一步 ? 2017年11月4日,历时近2个月的2017《英雄联盟》全球总决赛冠军争夺战在鸟巢进行,超过4万名观众到场观赛,潘晓婷、傅园慧、王濛也亲临现场助阵。 10月28日,国际奥委会发布《奥林匹克峰会公告》,电子竞技完成了“入奥”的第一步,被认可为一项运动。

    1.7K90发布于 2018-04-03
  • 来自专栏灯塔大数据

    行业盘点 | 汽车出行行业10大关键词

    前言 2017年,汽车行业各个细分领域发展迅速。 一年之间,共享单车行业就经历了大起大落。出海or下乡的战略不攻自破,都不是可行的盈利方向。 本来就是重资产,还要玩儿“共享豪车”,运营奔驰、宝马、奥迪等多款车型的EZZY在资金压力下,再也难以维持下去,10月下旬,被曝老板跑路,宣布破产。 10 新能源汽车 正所谓“太阳底下没有新鲜事”,新能源汽车也并不新鲜。1881年,第一辆电动汽车由法国发明家鲁夫制造问世,采用铅酸蓄电池供电由0.1hp的直流电动机驱动。 中国汽车工业协会的数据显示,10月新能源汽车销量达9.1万辆,同比增长106.7%,综合各方判断,今年新能源车销量有望超过60万辆。 在行外人看来,这样的数据相当喜人,但行内人却会摇头。

    1.1K50发布于 2018-04-03
  • 来自专栏NLP/KG

    人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

    人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT(Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型,对于大语言模型的微调需要大量的资源和时间,急需更加高效的微调方法。 4.3 Freeze 微调方法的优势 大量减少了大语言模型的微调参数,是一种参数高效的微调方法; 由于只需微调高层特征,加快了模型的收敛,节约了微调的时间; 最大程度地保留了大语言模型预训练所学习到的语言的 5.关键知识点总结 SFT监督微调时监督微调时,学习率通常会设置得很小 常见误区:1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可 微调方法在效果上可以媲美全参数微调的方式 3.P-tuning v2微调方法在自然语言理解任务上表现不佳 P-tuning v2微调方法原理方面:1.P-tuning v2微调方法在transformer

    10.1K66编辑于 2023-10-11
  • XTuner 微调

    xtuner version 10/06 12:01:58 - mmengine - INFO - 0.1.23 通过 xtuner help 熟悉 XTuner 的用法 模型准备 InternLM 推出的 xtuner train 命令用于启动模型微调进程。该命令需要一个参数:CONFIG 用于指定微调配置文件。 对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。 timer=dict(type=IterTimerHook), # print log every 10 iterations. logger=dict(type=LoggerHook, log_metric_by_epoch=False, interval=10), # enable the parameter scheduler

    47810编辑于 2024-10-10
  • 来自专栏灯塔大数据

    行业盘点 | 新零售行业10大关键词

    10月30日通过的《深化“互联网+先进制造业”发展工业互联网的指导意见》里,明确表示要促进实体经济振兴、加快转型升级。 07 社区便利店 除了无人零售之外,社区便利店也成为新零售时代行业探讨的热词。2017年尤以7-11便利店的提及频率为例,社区便利店在新零售背景下的价值又一次被行业重塑。 但是北京才仅仅2千家,所以北京的机会相比上海还有5倍、10倍的发展空间。 而2017年10月,绿城、鲜生活、易果8400万美元全资收购好邻居,以探索社区便利店新模式就是社区便利店在新零售背景下变革发展的缩影。 10 全社会大协同 2017年的“双十一”,是各电商平台新零售布局实践的一场大考。“新零售”提出的基于大数据和互联网技术打通线上线下商品、支付、物流、会员等商业生态体系的构想,正在一步步成为现实。

    1.3K80发布于 2018-04-03
  • 来自专栏AI理论与前沿

    对于大模型,到底微调还是不微调

    QLoRA 这样的算法使得使用有限资源对大模型进行微调变得更加可行。作为示例,表 1 显示了 Llama 2 7B 的三种微调模式(全微调、LoRA 和 QLoRA)的峰值 GPU 内存。 我们提供三个示例:微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标,如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较 2.1 微调 vs. 这种担忧在微调时也存在。 2.2 微调 V.S RAG共识是,当 LLM 的基础性能不令人满意时,你可以“从 RAG 开始,评估其性能,如果不够理想,再转向微调”,或者“RAG 可能比微调更有优势” (来源)。

    93000编辑于 2024-09-17
  • 来自专栏对白的算法屋

    当我在微调的时候我在微调什么?

    微调效果到底好不好,微调之后的词向量表示是否有效,可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时,分类效果才够准。 DIRECTPROBE 基于聚类的探针。 共训练10次,Min是10次中最差的准确率,Max是最好的,difference是Max-Min的差值。可以发现仅仅是参数初始化不同,分类器的性能足足有3-4个百分点的变化。 通过比较微调前后不同簇之间的距离,可以量化微调之后的词向量表示的变化。 除了BERT base版训练5个epochs之外,其余规模的BERT均训练10个epochs。分类器探针接到BERT输出层,跟着BERT一起微调。 使用原始train对BERT~small~进行微调微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示,微调前分类器在subtest和test上的学习曲线一致。

    2.1K10编辑于 2022-04-01
  • 行业微调破局之道:用数据清洗与知识增强驯服大模型“幻觉”

    本文以开源项目Chinese-LLaMA-Alpaca为例,系统解析如何通过可信度标记语料库、动态知识增强架构和渐进式微调策略,构建高精度行业大模型。 背景:垂直领域大模型的三大痛点在GIS遥感分析等专业场景中,大模型面临特殊挑战:​数据荒漠化:公开语料中专业术语占比不足0.3%(如遥感影像元数据标注)​知识时效性陷阱:行业标准每年迭代超20%(如2024 _calc_semantic_deviation(text) return 0.6*rule_score + 0.4*semantic_score技术特性:构建行业专属术语库(如GIS 渐进式微调框架# 分阶段训练策略trainer = Trainer( model=model, train_dataset=stage1_dataset, # 通用领域数据 eval_dataset 的坐标偏移幻觉总结与展望通过Chinese-LLaMA-Alpaca项目的实践验证,我们构建了三重体系:技术层幻觉抑制率数据利用率语料可信度分级34%↑节约67%标注成本动态知识增强51%↑知识更新延迟<1h渐进式微调

    71210编辑于 2025-03-06
  • 来自专栏NLP/KG

    人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

    人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT(Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型,对于大语言模型的微调需要大量的资源和时间,急需更加高效的微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版,同时借鉴了 prefix-tuning 微调的方法。 4.3 Freeze 微调方法的优势 大量减少了大语言模型的微调参数,是一种参数高效的微调方法; 由于只需微调高层特征,加快了模型的收敛,节约了微调的时间; 最大程度地保留了大语言模型预训练所学习到的语言的 5.关键知识点总结 SFT监督微调时监督微调时,学习率通常会设置得很小 常见误区:1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可

    25.6K07编辑于 2023-07-16
  • 来自专栏蓝天

    Ubuntu系统微调

    本章讲述了基本的基于命令行界面的系统配置方法。在学习本章前,你需要先阅读 Ubuntu 系统安装提示, 第 3 章.

    1.1K30发布于 2018-08-07
领券