首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • XVERSE-7B-chat Transformers 推理

    XVERSE-7B-Chat为XVERSE-7B模型对齐后的版本。 XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型(Large Language Model),参数规模为 70 亿,主要特点如下: 模型结构:XVERSE-7B 使用主流 Decoder-only ', cache_dir='/root/autodl-tmp', revision='master') Transformers 推理以及 INT8、INT4 量化推理 我们在 /root/autodl-tmp 默认是支持 INT8 和 INT4 类型的量化,这样在推理的适合可以大幅降低模型加载所需的显存。 INT4 量化推理的运行效果如下:

    19110编辑于 2025-07-21
  • 自动推理技术入门指南

    自动推理技术简介本周某中心科学部门将自动推理新增为研究领域。 开发团队也将自动推理工具集成到开发流程中,显著提升了产品的安全性、持久性、可用性和质量。本文旨在为行业从业者提供自动推理的入门指引。 而自动推理工具利用代数原理可在毫秒级判定该表达式恒为真。 技术栈分类逻辑系统:命题逻辑/一阶逻辑等形式体系定理证明:如四色定理的机器验证形式化验证:应用于CompCert C编译器等系统自动推理:强调形式化方法的自动化实现应用实践该技术可同时分析策略文件(如访问控制策略 某机构内部同时采用全自动和半自动推理工具,对外服务则采用全自动化方案。

    22200编辑于 2025-08-09
  • 自动推理技术闪电演讲解析

    自动推理技术闪电演讲第32届计算机辅助验证国际会议(CAV)专注于推动硬件和软件系统计算机辅助形式化分析方法的理论与实践。 技术应用领域科学家团队展示了以下自动推理技术的具体实践:约束推理:应用于身份与访问管理系统静态分析:在视频流媒体服务中的实施模型检测:用于物联网设备验证形式化验证:在云存储服务等关键系统的应用技术方法详解演讲涵盖了三种核心验证方法 :基于约束的推理:通过数学约束条件验证系统行为静态分析:在不执行代码的情况下分析程序行为模型检查:使用算法验证系统模型是否满足规约要求这些技术方法正在被广泛应用于各类云服务和数字平台,确保系统的可靠性和安全性

    23310编辑于 2025-08-31
  • 自动推理技术如何优化视频体验

    自动推理如何优化视频体验自动推理是机器进行逻辑推理的能力。软件验证是自动推理的常见应用,即确认计算机程序将按预期执行。 自2019年以来,某中心视频自动推理团队一直在创建软件开发工具,利用这些验证技术为开发人员提供对其所编写代码的更大信心。 由于该应用程序具有由全球数十个独立团队使用多种编程语言开发的多个组件,并且必须在数千种不同的硬件配置上运行,这为自动推理提供了特别严峻的环境。 自2021年3月26日起,所有视频开发人员都在使用名为BugBear的自动推理机器人,该机器人进行自动代码审查,在检测到潜在问题时提供清晰且可操作的评论,或确认未发现问题。 使用自定义规则集,可以自动推断程序的属性。采用声明性编程语言Datalog来表示事实和规则。

    21110编辑于 2025-09-29
  • 自动推理技术入门指南

    自动推理技术简介本周某中心科学部门将自动推理新增为研究领域。 这一决策源于该技术在内部产生的重大影响,例如某机构云服务的客户现已能直接使用基于自动推理的功能如IAM访问分析器、S3公共访问阻断等功能。 开发团队也正将自动推理工具集成到开发流程中,从而提升产品的安全性、持久性、可用性和质量。 自动推理工作原理自动推理工具通过数学方法分析程序或逻辑公式,例如:分析程序控制流结构推断程序最终必然成立的条件验证程序始终满足的不变式进阶案例分析以下Python函数的终止性:def g(x, y) : if y > 0: while x > y: x = x - y自动推理工具可证明:当y为正数时,x值必然递减直至退出循环,从而确保函数终止。

    15500编辑于 2025-08-07
  • 自动推理助力IAM策略检查

    自定义策略检查助力自动推理民主化新的IAM Access Analyzer功能使用自动推理,确保用IAM策略语言编写的访问策略不会授予意外访问权限。 通过Amit Goel, Jeremiah Dunham 2023年12月8日 阅读时间:7分钟为了控制对某机构云中资源的访问,客户可以编写身份与访问管理(IAM)策略。 自定义策略检查将策略语句转换为数学公式的任务抽象化,使客户无需具备形式逻辑专业知识即可享受自动推理的好处。 自定义策略构建在一个名为Zelkova的内部服务上,该服务使用自动推理来分析IAM策略。 自动推理民主化的关键是使其使用简单且易于指定属性。通过额外的自定义检查,将继续支持客户在最小权限之路上前进。FINISHED

    7010编辑于 2026-04-08
  • 自动推理技术如何优化视频平台体验

    自动推理技术如何优化视频平台体验自动推理指机器进行逻辑推导的能力,其常见应用场景包括软件验证(确保计算机程序按预期执行)。 自2019年起,某中心Prime Video自动推理团队开始创建软件开发工具,利用这些验证技术为视频平台应用的开发者提供更高代码可靠性保障。 该应用需兼容数千种硬件配置,整合全球数十个团队用多种编程语言开发的组件,构成自动推理技术的特殊挑战环境。 2021年3月26日起,所有Prime Video开发者开始使用名为BugBear的自动推理机器人进行代码审查。该工具能在15分钟内提供反馈,支持C/C++、Java和TypeScript语言的分析。 技术实现细节在2020年下半年启动的试点中,BugBear执行了1000多次自动代码审查,发现约100个潜在问题,其中80%被开发者确认需要修改。

    27310编辑于 2025-08-15
  • 来自专栏计算机工具

    本机实现Llama 7B推理及部署

    本机实现Llama 7B推理及部署 使用llamafile在Windows系统部署- **部署步骤**:首先从[https://www.modelscope.cn/api/v1/models/bingal `是web界面访问端口,可自行修改.- **推理时间**:其推理速度取决于所使用的GPU性能等因素,使用较高端的GPU如NVIDIA GeForce RTX 3090等可以获得较快的推理速度,一次推理时间可能在几秒到十几秒不等 7. 创建一个Python脚本,如`inference_api.py`,在脚本中实例化模型并通过API生成推理。 - **推理时间**:如果仅使用CPU推理推理速度相对较慢,一次推理时间可能在十几秒甚至更长;若使用支持Metal框架的Mac设备且有较好的GPU性能,推理时间会有所缩短,但通常仍比使用高性能独立GPU -2-7b-guf/resolve/main/llama-2-7b.q5_k_m.guf`。

    87620编辑于 2024-12-30
  • 来自专栏CreateAMind

    自动生成julia(贝叶斯)推理算法代码

    ForneyLab.jl is a Julia package for automatic generation of (Bayesian) inference algorithms. Given a probabilistic model, ForneyLab generates efficient Julia code for message-passing based inference. It uses the model structure to generate an algorithm that consists of a sequence of local computations on a Forney-style factor graph (FFG) representation of the model. For an excellent introduction to message passing and FFGs, see The Factor Graph Approach to Model-Based Signal Processing by Loeliger et al. (2007). Moreover, for a comprehensive overview of the underlying principles behind this tool, see A Factor Graph Approach to Automated Design of Bayesian Signal Processing Algorithms by Cox et. al. (2018).

    29530编辑于 2023-10-12
  • 思维链推理自动化检测大模型幻觉

    自动化幻觉检测与思维链推理当大型语言模型(LLM)被提示诸如"圣约翰草可能与哪些药物发生相互作用?" 声明分类中的高级推理最初遵循传统方法直接提示LLM对提取的声明进行分类,但这未达到性能标准。因此转向思维链(CoT)推理,其中要求LLM不仅执行任务还要证明其采取的每个行动。 开发了一个五步CoT提示,结合了声明分类的精选示例(少样本提示)和指示声明分类LLM彻底检查每个声明对参考上下文的忠实度并记录每次检查背后的推理的步骤。 结果清楚地显示了少样本CoT提示带来的性能改进(从0.78提高到0.8,提高了2个百分点),使我们更接近大规模自动识别LLM幻觉。 除了二元分类或常用的自然语言推理(NLI)类别(支持、反驳和信息不足)之外,提出了一套通过分析常见LLM幻觉中的语言模式开发的新错误类型。

    21510编辑于 2025-09-05
  • 来自专栏OpenCV与AI深度学习

    干货 | YOLOv7目标检测论文解读与推理演示

    导读 本文主要介绍简化的YOLOv7论文解读和推理测试以及YOLOv7与 YOLO系列的其他目标检测器的比较。 本文主要介绍简化的YOLOv7论文解读和推理测试以及YOLOv7与 YOLO系列的其他目标检测器的比较。 YOLOv7通过将性能提升一个档次建立了重要的基准。 上述实验结果表明,YOLOv7 模型在速度和准确度上确实优于目标检测器。 YOLOv7目标检测推理 现在,让我们进入博文中令人兴奋的部分,即使用 YOLOv7 对视频进行推理。 您还需要从此处下载yolov7-tiny.pt和yolov7.pt预训练模型。 在这里,我们将对描述以下三种不同场景的三个视频进行推理。 让我们看看使用 YOLOv7-Tiny(顶部)和 YOLOv7(底部)模型对第一个视频的检测推理结果。以下命令分别用于使用 Tiny 和 Normal 模型运行推理

    6.2K30编辑于 2022-09-26
  • 来自专栏华仔的技术笔记

    Xcode 7 自动测试XCTestCase

    Apple 在 Xcode 7 中新加入了一套 UI Testing 的工具,其目的就是解决这个问题。 这篇文章将通过一个简单的例子来说明 Xcode 7 中 UI Testing 的基本概念和使用方法。 这也是为什么 iOS 中大部分的 UI 测试框架都是基于 UI Accessibility 的原因,Xcode 7 的 UI Testing 也不例外。 elementBoundByIndex(1).childrenMatchingType(.SecureTextField).element.typeText("123") // Other more test code } 自动录制生成的代码使用了很多 ) 中 UI 录制在对于有 identifier 的文本框时,没有自动插入 tap(),这会导致测试时出现 “UI Testing Failure - Neither element nor any descendant

    2.2K70发布于 2018-05-17
  • 每日十亿次查询:云安全中的自动推理技术

    每日十亿次查询:自动推理如何保障云安全在某中心,科学家和工程师们正在利用自动推理技术来证明关键内部系统的正确性,并帮助客户验证其云基础设施的安全性citation:1。 SMT(可满足性模理论)是SAT(布尔可满足性问题)的泛化,它能够处理整数、实数、字符串或函数等理论,是形式化方法——即使用自动推理来证明计算机程序将按预期运行——的主要工具。 Zelkova:自动化的安全策略分析引擎为了将自动推理的力量带给所有客户,某中心开发了名为 Zelkova 的自动推理引擎citation:1。 这使得客户只需查看清晰的是/否答案,即可轻松确定云资源的安全性,从而民主化了自动推理技术,让所有用户都能使用citation:1。 某中心的服务使得自动推理技术正在改变云安全格局,其能力通过几次点击即可提供给所有客户,实现了从学术研究到大规模工业实践的成功转化citation:1。

    10510编辑于 2025-12-24
  • 来自专栏啄木鸟软件测试

    如何实现TensorRT推理服务的自动化回归测试?

    CI流水线自动拉取代码,开始构建TensorRT引擎——然而,由于新增了一个动态reshape操作,构建失败。如果没有自动化测试,这个错误可能直到部署阶段才被发现,延误至少半天。    这就引出了我们真正要构建的东西:一个围绕TensorRT推理生命周期的自动化回归测试体系。   这套系统的核心逻辑其实很清晰:每次模型变更,都必须回答两个问题——功能是否一致?性能是否可控?    TensorRT的本质,是一个编译器式的推理优化器。 因此,自动化测试的第一步,不是跑推理,而是确保引擎能稳定构建。 在自动驾驶、医疗影像、金融风控等高可靠性场景中,这种机制不是“锦上添花”,而是“生存必需”。   未来,随着LLM推理优化的兴起,TensorRT也在不断演进,支持更大模型、动态批处理和稀疏计算。

    17010编辑于 2026-03-04
  • 自动推理与差分测试构建Cedar语言

    使用自动推理和差分测试构建Cedar语言Cedar是一种新的授权策略语言,被某中心的验证权限服务和某机构云服务使用,最近已公开发布。使用Cedar,开发人员可以编写策略,为其应用程序指定细粒度权限。 首先,使用自动推理来证明Cedar组件形式化模型的重要正确性属性。其次,使用差分随机测试来展示模型与生产代码匹配。Cedar入门Cedar是一种用于编写和执行自定义应用程序授权策略的语言。 使用Dafny内置的自动推理能力,已经证明了代码满足各种安全和安全属性。其次,使用差分随机测试(DRT)来确认Cedar的生产实现(用Rust编写)与Dafny模型的行为匹配。 将授权引擎建模为Dafny函数,并使用Dafny的自动推理能力来陈述和证明显式许可和禁止覆盖许可属性。 注意到Dafny模型不仅对自动推理有用,对手动推理也有用。Dafny代码比Rust实现更容易阅读。作为衡量标准,在撰写本文时,授权器的Dafny模型代码行数约为生产代码的六分之一。

    16210编辑于 2025-10-25
  • 自定义策略检查助力自动推理技术普及

    自动推理技术赋能策略验证在云环境中控制资源访问权限时,客户可通过编写IAM策略实现精细化管理。但如何验证这些策略符合安全要求? 某机构推出的IAM Access Analyzer自定义策略检查功能,通过自动推理技术将策略声明转化为数学公式进行验证,无需人工进行繁琐的形式逻辑分析。 策略迭代优化undefined开发初期采用宽松策略时,系统可自动对比新旧策略版本,确保每次更新都向最小权限原则靠拢。 该技术标志着自动推理在云安全领域的重大实践突破,未来将持续扩展更多自定义检查类型,助力客户实现最小权限原则的持续落地。

    19200编辑于 2025-08-04
  • 2021春季研究奖项聚焦AI与自动推理技术

    2021年春季研究奖项获奖名单公布2021年7月,某中心正式通知申请人成为2021年春季研究奖项的获奖者。该项目为从事多学科研究的学术研究人员提供无限制资金和云计算服务促销积分。 该计划通过两个提案征集项目提供资助:AI公平性和自动推理。提案从科学内容质量、创新性以及对研究界和社会的潜在影响等方面进行评审,综合考虑理论进展、创新理念和实际应用。 自动推理团队资深首席科学家表示:“自动推理研究与机器学习、硬件软件工程、机器人技术和生命科学等多个领域深度交织。 2021年研究奖项反映了这种广度,以及推动计算技术迈向人类推理魔力火花所需的跨学科研究特性。”该研究奖项每年最多四次在不同研究领域资助提案。 布拉格捷克技术大学定理证明中神经与符号方法的结合Diyi Yang佐治亚理工学院实现稳健包容的自然语言理解Qirun Zhang佐治亚理工学院通过交错Dyck可达性的软件模型检测Danyang Zhuo杜克大学软件中间件的一键验证研究领域机器学习自动推理标签研究奖项负责任人工智能

    22110编辑于 2025-09-29
  • 来自专栏pangguoming

    centos7 开机自动连网

    新安装好的CentOS7桌面版,默认的网络都是关闭的,在图形页面中,开启后,重启后网络又关闭了。下面配置开机自动连网。

    1K20发布于 2018-07-30
  • 来自专栏python3

    Python自动化开发学习7

    __setitem__ del obj['k1'] # 自动触发执行__delitem__ 这里的3个方法和属性方法比较类似了,通过这3个方法可以把对象当做是字典来操作了。 按之前理解的,构造方法是在实例化的时候自动被执行的,这里我们写了new方法后就不自动执行了。因为这里我们重构了new方法,原本是通过new方法来调用执行构造函数的。 另外,构造方法在实例化的时候自动执行并没有错,其实这里我们还没有完成实例化,因为new没有调用构造方法,没有做实例化的操作。 只能处理输入命令后能自动获得结果并返回的命令。就先拿个dir或者ls试一下。 因为服务端执行命令后都不会自动回复返回值发送回客户端。

    1.1K20发布于 2020-01-07
  • 每日十亿次SMT查询:云规模下的自动推理实践

    在今年的计算机辅助验证(CAV)会议上,某机构的Neha Rungta发表了主题演讲,她认为某机构的创新“开启了自动推理的黄金时代”。 某机构的科学家和工程师正在使用自动推理来证明关键内部系统的正确性,并帮助客户证明其云基础设施的安全性。这些创新中的许多都是由称为SMT求解器的强大推理引擎驱动的。 Zelkova在某机构,使用自动推理来证明内部系统的正确性,并提供服务,让客户能够证明其云系统的正确性。 本文将重点介绍这项工作中一个关键部分,展示如何通过一个名为Zelkova的自动推理引擎,帮助客户正确配置其访问控制。 自动推理正在改变云安全的格局,而某云客户只需点击几下鼠标,即可获得这项强大的技术。FINISHED

    14210编辑于 2026-03-08
领券