之前写了一篇:LangChain创始人回应为啥不做托拉拽的智能体工作流 正好今天看到零一万物的一篇讲AI工程落地的文章,观点很相似。
Hugging Face 的大模型 Yi-34B 被指出其除了有两个张量被重新命名后、完全使用了 LLaMA 的框架,于是: 在黑盒子般的逻辑链推导下,成立不到一年的零一万物成为了贾扬清在朋友圈声讨的 而讨论开始后,零一万物官方很快在 Hugging Face 与媒体平台中作出回应,表示团队确实沿用了 LLaMA 与 GPT 基础架构,并会将代码更新,重新命名,以符合大模型开源社区的要求。 今天早上,深圳西丽湖论坛,百度 CEO 李彦宏与硅谷人工智能研究院创始院长皮埃罗·斯加鲁菲(Piero Scaruffi)同时用一组数据指出了这个问题: 2023 年 6 月,中国的大模型数量是 79 在零一万物之前,不少国内知名的大模型公司都曾经“中过枪”,只是因为没有大 IP 的造势、才没有引起如此广泛的讨论。而这类“套壳”说法背后的依据,也主要是“沿用 LLaMA 架构”。 在零一万物的最新公告中,零一万物也坦承其采用了往通用化逐步收拢的 GPT/LLaMA 的基本架构,但也着重强调: 1)在训练 Yi-34B 与 Yi-6B 的过程中,零一万物的团队也是根据实际的训练框架重新实现了训练代码
一、引言 众所周知,网络安全风险评估从设备识别开始,所以能否对物联网设备进行精准的识别对物联网安全研究有着重要意义。在我的上一篇《物联网资产识别方法研究综述》中已经介绍了物联网资产的相关识别方法。 图6.Title字段中的物联网设备特征示例 5半结构化特征 半结构化特征是结构化特征的一种形式,它并不像结构化特征具有固定的数据模型结构,但他包含相关标记来分隔语义元素以及对记录和字段进行分层,因此也被称为自描述的结构 图8.标签属性中的物联网设备特征示例 6非结构化特征 顾名思义就是没有固定结构的数据特征。比如文档、图片、视频/音频等都属于非结构化数据。 感兴趣的读者欢迎点击阅读资产系列相关文章: 《物联网安全始于资产识别——物联网资产识别方法研究综述》 《物联网资产暴露情况——IPv6拿起接力棒》 《只要运营功夫深,大海也能捞到针——IPv6地址扫描实践分享 目前已发布多篇研究报告,包括《物联网安全白皮书》、《物联网安全年报2017》、《物联网安全年报2018》、《物联网安全年报2019》、《国内物联网资产的暴露情况分析》、《智能设备安全分析手册》等。
IPv6在各行各业的部署,实现万物互联。 互联联接是基础,智能联接是关键 但是,IPv6只解决了万物互联时地址分配问题,没有解决万物互联如何正确的联接问题,因为传统的IPv6网络是根据IPv6地址尽力而为的转发,但是智能联接需要的不是尽力而为转发 IPv6+,万物智联的技术基底座 2020年初,推进IPv6规模部署专家委员会提出了IPv6+的概念,IPv6+就是IPv6的升级,如果说IPv6实现了万物互联,那么IPv6+则实现了万物智联。 而要满足这些需求,IPv6已经远远不足以满足,不论是我国的推进IPv6规模部署专家委员会还是国外的ETSI等标准组织,都认为IPv6+是万物智联时代的基座,只有基于IPv6+,才能真正的实现万物的智能连接 万物互联是量变而万物智联是质变,从量变到质变,从IPv6到IPv6+,基于万物智联我国才能真正迈入智能化的社会。
机器之心发布 机器之心编辑部 3 月 11 日,零一万物宣布推出基于全导航图的新型向量数据库 「笛卡尔(Descartes)」,其搜索内核已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名 在国际权威评测平台 ANN-Benchmarks 离线测试中,零一万物笛卡尔(Descartes)向量数据库搜索内核登顶 6 份数据集评测第一名,比之前榜单上同业第一名有显著性能提升,部分数据集上的性能提升甚至超过 6 项数据集评测中都处于最高位。 截至 3 月 10 日,ANN-Benchmarks6 项评测中,零一万物笛卡尔(Descartes)向量数据库均居第一 「吞吐量 QPS」 是衡量信息检索系统(例如搜索引擎或数据库)查询处理能力的重要指标 全栈向量技术:精度更高、性能更强 通过上述全栈向量技术的加持,让零一万物笛卡尔向量数据库不仅登顶权威榜单 ANN-Benchmarks6 项评测第一名。
3 月 11 日,零一万物宣布其成功研发出基于全导航图的新型向量数据库 “笛卡尔(Descartes)”,并包揽权威榜单ANN-Benchmarks 6 项数据集评测的第一名。 在ANN-Benchmarks 的离线测试中,零一万物笛卡尔(Descartes)向量数据库在 6 份数据集评测中位居榜首,比原先榜单上同业第一名有显著性能提升,部分数据集上的性能提升甚至超过 2 倍以上 图注:截至 3 月 10 日,ANN-Benchmarks 6 项评测中,零一万物笛卡尔(Descartes)向量数据库均居第一 ANN-Benchmarks 是当下业界最权威的向量数据库性能测试工具之一 上述6份评测数据集涵盖 glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784 3 全栈向量技术: 精度更高、性能更强 通过上述全栈向量技术的加持,零一万物笛卡尔向量数据库登顶权威榜单 ANN-Benchmarks 6 项评测第一名,在实际应用场景中也相应地具备了精度更高、性能更强等核心优势
Wi-Fi 6 (802.11ax)作为新一代应用成熟的无线通信技术,也被越来越广泛地部署在工业物联网中。 现在也有许多工业物联网关支持WiFi 6无线技术标准,为工业物联网应用带来更多更高效的优势:1、更高的吞吐量Wi-Fi 6 引入了更高效的数据编码和调制方案,可实现更高的数据速率和吞吐量。 7、更远的范围Wi-Fi 6 无线覆盖的能力相较WiFi 5 得到明显提升,并且网络稳定性、抗干扰能力也有所增强,这有利于分布在广阔区域的工业物联网设备的稳定联网。 总之,Wi-Fi 6 无线技术更高的吞吐量、更强的通信性能、更强的延迟控制、更多的设备密度支持等优势,使其成为在工业物联网应用中更值得的选择。 选择WiFi 6 无线技术,有助于打造更强大、更高效工业物联网应用。
IPv6对物联网有利,而物联网对IPv6也有利。有许多论据和功能证明IPv6实际上是未来物联网的关键通信促成因素: 采用只是时间问题 Internet协议是任何Internet连接的必需和要求。 将物理系统映射到IPv6地址和隐私扩展 可以将物理物联网设备的许多功能映射到IPv6地址。这可以简化大规模部署,但由于域名服务条目的透明性,以向任何人透露IoT设备感兴趣的架构功能为代价。 它们的相关性取决于物联网应用程序的需求。 标识符的使用和改进的功能 我们已经表明,通过将标识符与IPv6结合使用,可以利用IPv6功能的优点而没有缺点。 同时,IPv6地址可以是句柄标识符的属性,但是可以同时使用隐私增强功能。 使Internet扩展到物联网 由于其较大的地址空间,IPv6可以将Internet扩展到任何设备和服务。 地址自动配置 IPv6提供了一种地址自配置机制(无状态机制)。节点可以以非常自治的方式定义其地址。这样可以大大减少物联网配置工作量和部署成本。
“零一”即01,代表的是数字世界,从零到一,乃至宇宙万物,寓意“零一智能,万物赋能”。彼时,李开复的决心是做一家世界级公司。两年过去了,公司做了战略转型,停止万亿参数模型的研发。 62岁高龄的李开复,再度启程,创立了零一万物,全力投身AI大模型赛道。 零一万物于2023年5月正式注册成立,公司的名字象征着李开复的AI创业“从零到一”。 李开复朋友圈(图自网络) 根据李开复当时的朋友圈,零一万物要在全球范围号召世界级的人才,一起打造一个世界级的公司。 2023年6月,核心团队就位后公司正式开始运营,核心团队成员来自阿里、滴滴、百度、谷歌、微软等国内外大厂。当时公司的定位是AI 2.0大模型平台公司。 随后,零一万物进行了战略调整,最终公司决定放弃原定的超大模型。
6. 根据个人口味,加入适量盐和白糖调味(如果西红柿比较酸,可以适当加一点糖来中和)。 7. 西红柿炒软后,加入之前炒好的鸡蛋块,快速翻炒均匀,使鸡蛋块吸收西红柿的汁液。 8.
WiFi 6,即 802.11ax无线标准,是最新一代的广泛实用的无线网络技术。它比其前身 WiFi 5 (802.11ac) 具有多项进步,可以为工业物联网 (IIoT) 环境带来显着优势。 佰马工业智能网关系列已全面支持搭载WiFi 6 网络,助力构建更高水平、更智能的物联网应用。 以下就为大家介绍一下 WiFi 6 技术在工业物联网场景中的一些优势:1、更高的数据速率和容量与前几代 WiFi 相比,WiFi 6 提供更高的数据速率和改进的容量。 WiFi 6 融合了正交频分多址 (OFDMA) 等技术,可以更好地利用可用频段并减少密集环境中的干扰。这在工业物联网设置中尤其有价值,因为多个设备需要在不影响性能的情况下进行通信。 7、物联网设备支持WiFi 6 的设计考虑了物联网设备,使其更适合 IIoT 应用中常见的众多低功耗和低数据速率设备。该技术支持高性能设备和电池高效设备,提供与工业物联网环境中各种设备良好配合的平衡。
? ? ? ? ? ? ? ? ?
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面 零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 当然,使用 Docker 之后,你还可以做很多事情,比如:之前几十篇有关 Docker 的实践[6],在此就不赘述啦。 如果你和我一样,使用 Docker 环境折腾、学习和用于生产。 最后 关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。 那么,就先写到这里吧。 :入门篇: https://soulteary.com/2023/03/22/docker-based-deep-learning-environment-getting-started.html [6]
这篇文章,我们来聊聊如何本地运行最近争议颇多的,李开复带队的国产大模型:零一万物 34B。 写在前面零一万物的模型争议有很多,不论是在海外的社交媒体平台,还是在国内的知乎和一种科技媒体上,不论是针对模型、代码、还是针对团队,甚至针对这家公司的一把手,李开复,都有非常多不同角度的唇枪舌剑之争。 2023Cuda compilation tools, release 12.2, V12.2.140Build cuda_12.2.r12.2/compiler.33191640_0下载合适的模型文件零一万物的官方模型发布页面是 最后关于零一万物 34B 模型的基础使用,先聊到这里。后面有机会,我们继续聊聊一些更实际的使用,包括 SFT、将这个模型接入到流行的开源应用中。那么,就先写到这里吧。
随着物联网应用的蓬勃发展、IPv4地址的耗尽,IPv6普及已成必然趋势,IPv6网络上暴露的物联网资产将成为攻击者的重点目标,所以能够对IPv6资产和服务准确的测绘,对于网络安全具有着重要的意义。 报告中IPv6扫描方法进行了介绍,并对我们已经找到的物联网IPv6资产进行了分析,我们找到的暴露资产以IP电话和视频监控设备为主,虽然相比于IPv4暴露的数量并不多,但相信随着IPv6的普及,必将会有大量物联网资产暴露出来 二、IPv6物联网资产实际暴露情况研究 目前IPv6的资产测绘还是学术难题,国内外相关的研究也属于起步阶段,但可启发式地通过IPv6地址和物联网服务的一些特性来发现IPv6物联网资产。 从结果看,国内的IPv6物联网资产数量还是较少,应与我国的IPv6部署还属于初级阶段有关。 所以面向IPv4的地址测绘方法不适用于IPv6网络。 1已知IPv6地址集中发现物联网资产 我们找到一些可用的IPv6地址集合,通过对这些地址的测绘以及识别来发现物联网资产。
《21天精通IPv4 to IPv6》第10天:IPv6在物联网中的应用——如何在物联网中应用IPv4到IPv6? 摘要 欢迎阅读《21天精通IPv4 to IPv6》的第10天内容! 今天,我将带大家探索IPv6在物联网(IoT)领域的应用。我们将讨论IPv6在物联网中的重要性、案例分析、关键应用点和面临的核心问题。 本文包含丰富的关键词,如物联网IPv6应用、IPv6物联网案例、网络技术升级,旨在帮助读者深入理解IPv6在现代物联网中的重要作用。 正文 物联网中的IPv6重要性 物联网设备数量的爆炸性增长使得IPv6的广泛应用变得必不可少。 广阔的地址空间: IPv6提供几乎无限的地址,能够容纳未来物联网的扩展需求。 参考资料 “物联网中的IPv6应用”,网络技术出版社 “IPv6和物联网”,网络安全协会 表格总结本文核心知识点 关键点 描述 IPv6的优势 适应物联网的巨大地址需求和安全需求 案例分析 智能家居公司的
就连著名AI科学家李开复都表示,未来中美的大模型公司中,能存活下去的只有5、6家。 我们不禁感叹,大模型赛道从“高处不胜寒”到挤兑严重,竟然只需要如此短的时间。 “除了大厂,中美加起来应该可以支撑5、 6家左右”。 12月14日,在一场与AI相关的对话中,零一万物的CEO李开复被问到了一个问题:大模型赛道最终能有几家活下来? 此次开源发布的Yi系列模型,包含34B和6B两个版本,11月2日,零一万物在Hugging Face上传了这两个参数。 与此同时,零一万物新一轮的融资十分顺利,由阿里云领投。目前,零一万物估值已超10亿美元,跻身独角兽行列。李开复在2023年3月创建了零一万物团队,6月开始运营。 据了解,Yi-6B和Yi-3B分别代表数据参数量为60亿和340亿,按照李开复的说法,“34B是一个黄金尺寸”。
团队完全使用了 LLaMA 架构(input_layernorm, post_attention_layernorm) https://github.com/turboderp/exllamav2/commit/6d24e1ad40d89f64b1bd3ae36e639c74c9f730b2 零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从 3PB 原始数据精选到 3T token 高质量数据 开源社区讨论参考: https://huggingface.co/01-ai/Yi-34B/discussions/11#6553145873a5a6f938658491 3 340 亿参数开源大模型 Yi-34B 据悉,开源大模型 Yi-34B 来自李开复旗下 AI 大模型创业公司“零一万物”,该模型发布于 2023 年 11 月 6 日。 对于模型尺寸的选择,零一万物团队认为,34B 是一个黄金尺寸。虽然 6B 也能在某些领域,比如客服上可用,但模型毕竟越大越好,但随之而来的就是推理成本和后续训练的系列资源问题。
而这或许也是李开复选择亲自入局、创建零一万物的最核心原因。 按照李开复的说法,零一万物组成的核心团队,就是专门对标 OpenAI、谷歌等一线大厂的团队。而他也明白,要打好这场AI 2.0的争夺战,零一万物还需要更好的切入口。 所以时隔8个月,零一万物选择带来了自己首款开源中英双语大模型“Yi”系列:Yi-34B和Yi-6B。这两者的区别就在于,前者具备智能涌现的能力,能应用于更多元化的场景,后者则更适合个人和研究用途。 这也是创立至今不到8个月时间里,零一万物交出的第一份极具全球竞争力的答卷。进军世界第一梯队,AI 2.0风口已至从今年年初至今,中国AI领域包括零一万物在内的融资金额已经高达214亿元。 而中国虽然不会有OpenAI,但会有更多适合中国市场的新AI创业公司们出现,李开复亲身下场创办的零一万物就是最好的例子。未来零一万物和Yi系列大模型还将颠覆多少“全球第一”,也值得更多期待。
零一万物由创新工场董事长兼首席执行官李开复创办于 2023 年 6 月,数月后零一万物便成功发布了 Yi 系列模型,包含 6B 和 34B 两个版本,并开源,打破了当时国产开源模型一直难以超过 14B (零一万物API开放平台链接:https://platform.lingyiwanwu.com/) AI 科技评论发现,此次零一万物 API 开放平台主要聚焦于当下两个最重要的领域,一是长文本,二是多模态 这次,星云爱店成为零一万物 Yi 大模型 API 开放平台邀测的首批用户。 而用户能拥有上述体验则要源于零一万物对 API 的优化,据零一万物透露,为了提升 API 性能,零一万物在 API 侧进行了推理优化,因此 Yi-34B-Chat 系列 API 具备较快的推理速度,这不仅缩短了处理时间 据零一万物透露,未来零一万物将会持续为开发者提供更多更强模型和 AI 开发框架,让大模型更好地完成落地,包括: 推出一系列的模型 API,覆盖更大的参数量、更强的多模态,更专业的代码/数学推理模型等。