- 综合排序
- 最热优先
- 最新优先
- 来自专栏Fish
双精度，单精度和半精度
浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（Perl，Lua同学别跑，说的就是你）。 常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。 双精度64位，单精度32位，半精度自然是16位了。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。 比较下几种浮点数的layout: 双精度浮点数： ? 单精度浮点数： ? 半精度浮点数： ? 它们都分成3部分，符号位，指数和尾数。 不同精度只不过是指数位和尾数位的长度不一样。
6.9K50发布于 2019-05-27 - 来自专栏联远智维
高精度数据采集板（一）
前几天学习了嘉立创开源的《NBIoT定位器》项目，对移远通信模块进行了调试，并将结果上传到ONENET云平台；然而实际应用场景中不仅需要定位模块，还经常涉及到信号采集任务，因此近来设计了一款高精度数据采集版 ，通过STM32L431 + BC20 + AD7190模块采集传感器数据输出数据并上传到云平台，具体结果如下所示：图片硬件结构 数据采集版硬件结构主要包含：主控模块、AD7190模数转化模块
1.1K40编辑于 2022-09-01 - 来自专栏全栈程序员必看
oracle number数据类型的精度
p: 1—38 s: -84—127 a、s > 0 (精确到小数点右边 s 位，并四舍五入 。然后检验有效数位是否 <= p) 例如：number(5,2) 有效数字最多是5位，保留小数点后2位； 123.45 — 123.45 123 — 123.00 1.2356 — 1.24 0.001 — 0.00 b、s < 0 (精确到小数点左边 s 位，并四舍五入 。然后检验有效数位是否 <= p + |s|) 例如：number(5,-2) 小数点左边最后2位四舍五入，最多7位有效数字 123456 — 123460 1234567.6789 — 1234600 1 — 0 总结：在 p < s 这种情况下 只能用来存放大于0小于1的小数。 在 p > s 这种情况下 小数点前最多只能插入：p – s个数字，但小数点后的数字可以是任意长度（保存时会四舍五入）
1.7K20编辑于 2022-09-15 - 来自专栏csxiaoyao
HDU 1002 高精度 大数据加法
一条很简单的大数据加法题，题意简单明了 题目： A + B Problem II Time Limit: 2000/1000 MS (Java/Others) Memory Limit
61920发布于 2019-02-18 JavaScript——数字超过精度导致数据有误
前言 接口返回的number类型的数据，超过了JavaScript中Number类型的限制，浏览器自动进行了转换； console.log(7232167009634730040) 内容 以下内容来自 大于这个值的整数在 JavaScript 中会失去精度或变为 Infinity。 > 9007199254740991 // 最大安全整数 9007199254740991 > 9007199254740992 9007199254740992 // 超出范围,已经失去精度 这可以保证数字的精度。 API 直接返回字符串,如 "7232167009634730040"。前端检查是否可以转为 Number,如果不能则使用字符串处理。 这样也可以避免精度丢失的问题。 API 返回支持大数的类型,如 String、Decimal 等。然后前端引入对应库处理。 在前后端共同配合下,返回和解析合适格式的数值。
47910编辑于 2024-08-15- 来自专栏架构精进之路
不可忽视的PHP数据精度损失问题
不知大家在开发过程中有没有常常会遇到数据精度问题呢，类似下面这样的： <?php $a = 0.57; echo intval(floatval($a) * 100); 预期输出结果57，实则56。 首先我们要知道浮点数的表示(IEEE 754)： 浮点数, 以64位的长度(双精度)为例，会采用1位符号位(E)，11指数位(Q)，52位尾数(M)表示(一共64位) 符号位：最高位表示数据的正负，0表示正数 ，1表示负数； 指数位：表示数据以2为底的幂，指数采用偏移码表示； 尾数：表示数据小数点后的有效数字。 （暂且当作 0 舍 1 入） 双精度浮点数能表示多少精度呢？ 对于高精度数据操作，建议使用以下函数： bcadd — 将两个高精度数字相加 bccomp — 比较两个高精度数字，返回-1, 0, 1 bcdiv — 将两个高精度数字相除 bcmod — 求高精度数字余数
1.2K10发布于 2021-02-05 - 来自专栏用户5637037的专栏
图插值激活提高数据高效深度学习的自然精度和鲁棒精度
Both Natural and Robust Accuracies in Data-Efficient Deep Learning 摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据 本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。 与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。
81710发布于 2019-07-17 - 来自专栏算法学习日常
高精度加法和高精度减法
（期末了，天天都会想创作，但是有点怕费时间，耽误复习，之前想发一个关于C语言程序漏洞的博客，但是写一半操作发现那个漏洞被vs改了，因此没发布，今天就写一下我前几周写过的算法题，高精度加减法吧（用C++写法更方便 1.引入： 高精度算法：是可以处理较大数据的算法，这里所说的较大数据指的是已经爆了long long范围的，而此算法是模拟正常加减法计算操作的算法。 2.高精度加法 （题目链接：P1601 A+B Problem（高精） - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） #include <iostream> #include <cstring > using namespace std; typedef long long ll; int main() { //因为加法都是从后往前加，但是数据输入时却是从前往后输入，因此先把他当作字符串输入 （题目链接：P2142 高精度减法 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)） 与加法相似，但是要多调换字符串这一步骤 #include <iostream> #include
41410编辑于 2024-03-25 - 来自专栏LET
精度，Precision
上一节我们讲了球心坐标和本地坐标之间的转换，这里也有一个精度的问题。 如果不想花时间，只需要记住，float可以有7位有效数字，而double可以有16位，选择合适的浮点类型，当你的精度需求超过这个范围时，你就要小心了。 相机抖动 如果精度达不到要求，怎么办？ 但在Virtual Earth中，如果我们近地面浏览，RTC-rendering还是会出现浏览范围超过float精度的情况，就会出现精度的丢失，也就是相机抖动。 不管怎样，你能看到的，要么范围大，精度低，要么范围小，精度高。 本文主要介绍了我对精度的理解，float精度为何会有损失，以及RTC和RTE解决相机抖动的思路，因为孩子发烧，无能为力，夜不能寐，索性写写文章，聊以自慰，因而写的过程比较压抑。
1.5K70发布于 2018-06-20 - 来自专栏全栈程序员必看
numpy.astype数据精度导致数据变化的问题「建议收藏」
在用numpy.astype强制转换数据类型的时候，由于numpy精度的问题将会对长度超过16位的数据发生不可预见的变化。 98092567621991296, 29336557186973848], [27275086880071664, 17713014931142608]], dtype=int64) 可以发现，所有数据前 16位都是相同的，16位以后就不可控了，导致错误发生的原因，就是numpy的32位精度问题导致的。 我尝试了DataFrame的object类型可以解决，解决方式如下： 将numpy转换为DataFrame的时候，指定数据类型为object。 生成之后，在利用astype将其转换为int64即可。
72710编辑于 2022-08-15 - 来自专栏图像处理与模式识别研究所
含有带有很少误差条的数据全精度数据图。
import numpy as np import matplotlib.pyplot as plt # example data x = np.arange(0.1, 4, 0.1) y1 = np.exp(-1.0 * x) y2 = np.exp(-0.5 * x) # example variable error bar values y1err = 0.1 + 0.1 * np.sqrt(x) y2err = 0.1 + 0.1 * np.sqrt(x/2) # Now switch t
59510编辑于 2022-05-28 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度除以低精度（模板）
// A / b = C ... r, A >= 0, b > 0 vector<int> div(vector<int> &A, int b, int &r) { vector<int> C; r = 0; for (int i = A.size() - 1; i >= 0; i -- ) { r = r * 10 + A[i]; C.push_back(r / b); r %= b; } reverse(C.
62450编辑于 2022-05-14 数据中心高精度电压监测装置
、AI运维等新技术应用为什么要在数据中心中加装高精度电压监测装置保障设备稳定运行适应敏感设备需求：数据中心的服务器、存储设备等对电压稳定性要求极高。 助力故障快速定位：当数据中心发生电力故障时，高精度电压监测装置记录的详细电压数据能帮助运维人员快速判断故障位置和原因，缩短故障排查时间，加快维修进度，减少故障对业务的影响，提高数据中心的可用性。 提供运维决策依据：长期积累的高精度电压监测数据可作为数据中心电力系统运维管理的重要依据。通过对历史数据的分析，运维人员可制定更合理的设备维护计划、电力扩容方案等，优化数据中心的电力资源配置。 高精度电压监测装置可提前发现电压问题并预警，配合 UPS 等设备，确保在电压异常时设备能正常关机或继续运行，保护数据的完整性和一致性。 加装高精度电压监测装置有助于数据中心满足相关法规、标准和规范的要求，确保数据中心的建设和运营符合行业标准。
26400编辑于 2025-02-17- 来自专栏量化投资与机器学习
波动率预测：日内数据显著提升预测精度
更复杂的模型，如自回归条件异方差(ARCH)和广义ARCH (GARCH)，在以简单估计器为基准时，并没有提高美国股市的预测精度。期权隐含波动率数据的使用仅略微改善预测。 本文的实证部分比较了10种模型在联合数据集上的预测精度，并进行了基准分析。为了控制复杂性风险和过拟合风险，所有模型都选择了三个或三个以下的估计参数。值得注意的是，该研究发现，复杂性不会提高预测。 接下来，本文使用S&P500指数2000年至2020年期间的日度收益率数据对上述多个模型进行实证分析，其中2000-2016年的数据用作样本内数据计算最有参数（最小化MSE），2016-2020的数据用作样本外数据 其中，ARCH模型及intra-day日内模型的预测噪音较高，因为只使用了非常有限的跟踪数据。 下图3给出了预测精度方面的结果。总体而言，与固定方差估计相比，大多数模型的预测精度提高了约25%。 Negative Momentum和基于日内数据的intraday预测模型，分别提高了32%和34%的预测精度，是表现最好的两个模型。
1.3K20编辑于 2023-04-20 - 来自专栏ACM算法竞赛——模板
ACM算法竞赛——高精度乘低精度（模板）
// C = A * b, A >= 0, b >= 0 vector<int> mul(vector<int> &A, int b) { vector<int> C; int t = 0; for (int i = 0; i < A.size() || t; i ++ ) { if (i < A.size()) t += A[i] * b; C.push_back(t % 10); t /= 10; } w
64840编辑于 2022-05-14 - 来自专栏陈林峰的专栏
一个数据精度引发的血案
前言 最近在做X项目的时候用到了弹性搜索引擎ES（Elasticsearch），在检索遇到了一个诡异的问题，当存储(长)整型数据超过某个值（具体就是百万）,就会出现数据精度丢失的情况，比如put下面一个数据 }, ...... } 然后get出来，发现uid被转成科学计数，存在精度丢失问题，uid在系统表示用户的身份，出现了偏差导致非常严重的后果，而浮点型数据却没有影响。 bFloat; return p; 2.2 Double精度问题 改完之后整形数据自然就没啥问题，但是我们知道在计算机系统中，C/C++的浮点数据F/D分别占用32/64位，是按照指数+尾数方式存储 ，精确范围分别为小数点后6位和15位，采用流算子对double数据进行json转换还是存在精度丢失的问题，虽说浮点型数据在逻辑服务开发工作中比较少用到，但是从框架的角度希望能有一个比较完美的解决方案。 结语 SRF/TAF框架提供了一些公共函数实现Number到String的转换，大量都采用流算子实现，大家在日常的业务代码开发中，用它处理浮点型的数据要十分注意数据精度丢失问题。
4.2K20发布于 2017-09-06 - 来自专栏Windows技术交流
Windows时钟精度
问题：客户端（云服务器）调用QueryPerformanceCounter获取的时间与服务端（PC电脑）本地的时间有毫秒级偏差所有云平台都一样的表现，非云平台问题Windows时钟精度默认是15.625ms blackbeautybake/92681097 TimerRes.exe是一个小demo，功能类似微软的clockres用法：①不加参数, 直接执行TimerRes.exe这个程序就是一直输出当前时钟精度 ②加参数 , 比如timerres.exe 1, 就会先设置时钟精度为1ms（1000微秒）, 然后再循环输出当前精度(方便判断是否有更改成功) 针对此问题有2个方案：①强推1ms执行timeBeginPeriod
15910编辑于 2026-03-02 - 来自专栏编码前线
Java精度问题
*/public class Arith{ //默认除法运算精度 private static final int DEF_DIV_SCALE = 10; //这个类不能实例化 当发生除不尽的情况时，由scale参数指 * 定精度，以后的数字四舍五入。
1.3K50发布于 2019-03-04 - 来自专栏奇妙的算法世界
高精度模板
以下输出需从高位开始 高精度加法 vi add(vi&A, vi &B){ if(A.size()<B.size()) return add(B,A); vi C; int t= t+=B[i]; C.push_back(t%10); t/=10; } if(t) C.push_back(t); return C; } 高精度减法 vi C=sub(B,A); printf("-"); for(int i=C.size()-1;i>=0;i--) printf("%d",C[i]); } 高精度乘法 if(i<A.size()) t+=A[i]*b; C.push_back(t%10); t/=10; } return C; } 高精度除法
92920发布于 2020-10-23 - 来自专栏每天学Java
高精度运算
向英雄致敬,向逝者致哀 愿逝者安息,生者奋发 愿国泰民安,山河无恙 前言 在写Java代码时候，我们其实很少去考虑高精度运算，即使遇到无法避免高精度的计算问题也不会太烦恼，因为有大整数类BigInteger Java越来越多，对于手撸高精度计算代码也就越来越少了。 但是直到过年在家使用C++刷PAT算法的时候，又不可避免的使用到高精度算法(因为long int和long long也无法解决整数长度受限的问题)， 所以今天得空用Java来实现高精度的运算(嗯.... .有没有意义不知道，反正闲着也是闲着)，除法就先放一放，因为高精度除高精度有点难，这里就谈一谈高精度的加减乘。 正文 高精度加 高精度的加法是比较容易理解的和实现，我们只需要注意进位就好， 将输入整数的字符串，进行遍历，将char类型转为int进行相加，保存进位在下一轮循环中使用即可。
1.6K20发布于 2020-06-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号