首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 光照计算 采用手动优化重写,通常能获得5-10倍的性能提升

    物理碰撞检测光照计算 采用手动优化重写,通常能获得5-10倍的性能提升第三阶段:内存优化通过JavaScript特有的内存管理技术:代码语言:javascript代码运行次数:0运行AI代码解释// 使用对象池减少 WEBP格式(节省40%空间)使用S3TC纹理压缩(需WebGL扩展)音频处理:ffmpeg -i sound.wav -acodec libvorbis -aq 50 sound.oggBase64编码优化 TD A[场景图遍历] --> B[视锥体剔除] B --> C[区块排序] C --> D[材质绑定] D --> E[着色器渲染] E --> F[后期处理]关键性能优化 _needsUpdate = true; scheduleUpdate(this); }}网络通信深度优化

    20510编辑于 2025-07-19
  • 来自专栏CSDN技术头条

    未来5-10年,NLP将走向成熟

    无论是小冰这种闲聊,还是小娜这种注重任务执行的技术,其实背后单元处理引擎无外乎就三层技术: 通用聊天,需要掌握沟通技巧、通用聊天数据、主题聊天数据,还要知道用户画像,投其所好。 敦煌研究院提供出数据,我们则把我们的引擎加上去,很快就建立了一个敦煌研究院的客服系统,借助敦煌研究院公众号,可以让用户和它聊与敦煌有关的事。 未来5-10年,NLP将走向成熟 最后,再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑,供大家参考。 随着大数据、深度学习、云计算这三大要素推动,所谓认知智能,尤其是语言智能跟感知智能一样会有长足的发展。 最后,我认为也是非常关键的,通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据,没有带标注的数据没有办法利用。但是很多场景下,标注数据不够,你找人工标注代价又极大。

    1.4K71发布于 2018-02-12
  • 来自专栏人工智能头条

    未来5-10年,自然语言处理将走向成熟

    无论是小冰这种闲聊,还是小娜这种注重任务执行的技术,其实背后单元处理引擎无外乎就三层技术: ● 通用聊天,需要掌握沟通技巧、通用聊天数据、主题聊天数据,还要知道用户画像,投其所好。 敦煌研究院提供出数据,我们则把我们的引擎加上去,很快就建立了一个敦煌研究院的客服系统,借助敦煌研究院公众号,可以让用户和它聊与敦煌有关的事。 未来5-10年,NLP将走向成熟 最后,再介绍一下我对自然语言处理目前存在的问题以及未来的研究方向的一些考虑,供大家参考。 ● 随着大数据、深度学习、云计算这三大要素推动,所谓认知智能,尤其是语言智能跟感知智能一样会有长足的发展。 6.最后,我认为也是非常关键的,通过无监督学习充分利用未标注数据。现在都依赖于带标注的数据,没有带标注的数据没有办法利用。但是很多场景下,标注数据不够,你找人工标注代价又极大。

    82630发布于 2018-07-20
  • 来自专栏PHP在线

    数据优化

    数据优化 读写分离,在X2的版本中,我们引入了多SQL服务器的支持,在主从服务器中,你可以配置写服务器跟读服务器,这样对于负载高的站点中可以使用这个 功能达到读写分离,降低由于写过程序中造成的MySQL 例如: /** * 数据库主服务器设置, 支持多组服务器设置, 当设置多组服务器时, 则会根据分布式策略使用某个服务器 * @example * $_config['db']['1']['dbhost / 字符集 * $_config['db']['1']['pconnect'] = '0';// 是否持续连接 * $_config['db']['1']['dbname'] = 'x1';// 数据库 2、查看帖子时,如果增量点击数到100,则使用进程锁将数据更新到thread表并更新增量点击数为0。 3、回贴时将增量点击数和回复数一起更新到thread表,并更新增量点击数为0。 4、执行计划任务:每天3点,5分钟一次,一次取500条数据更新到thread表, 并删除此500条数据,以减少forum_threadaddviews表的大小。

    78480发布于 2018-03-07
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 5-10 线性回归的可解释性

    线性回归的可解释性 下面先使用sklearn封装好的线性模型在整个数据集上进行拟合: ? ? 即使你的数据使用线性回归法预测的结果不够好,但是我们通过这样的方式,首先看一看数据特征和预测目标的线性关系,相应的系数有多大,这样做也是非常有意义的。 所以从某种角度上来讲,我们拿到一组数据之后,先使用线性的方式试试看,总之是没有坏处的。 线性回归总结 当然线性回归算法在预测模型的时候同样需要使用测试集,用训练数据集训练出模型,不同于前面介绍的kNN算法,此时的模型是一个实实在在的模型,所谓的模型就可以写成y = θTx,有了这个模型之后就可以基于这个模型对测试数据集进行预测 这里需要注意的是在使用线性回归算法的时候,对数据是有一个假设的:数据和最终的输出结果之间有一定的线性关系,这个线性关系越强,线性回归算法得到的结果相应的也就越好。

    1.5K00发布于 2019-11-13
  • 来自专栏算法修养

    pta习题集 5-10 切分表达式——写个tokenizer吧

    [先说点出题背景] 这个题是为低年级同学、学C语言的同学准备的,因为,对这部分同学,这个题目编写起来略有一点复杂。如果是高年级、学过了正则表达式(Regular Expression)的同学或者学过了Java等OO语言的同学做这个题,应当发现这题比较简单吧。哦,对了,什么是tokenizer?请自行查询解决。反正在此处不应翻译成“令牌解析器”。 [正题] 四则运算表达式由运算数(必定包含数字,可能包含正或负符号、小数点)、运算符(包括+、-、*、/)以及小括号((和))组成,每个运算数、运算符和括号

    1.2K60发布于 2018-04-27
  • 来自专栏授客的专栏

    MySQL 性能优化--优化数据库结构之优化数据大小

    通常,执行查询期间处理表数据时,小表占用更少的内存。 表列 l 尽可能使用最效率(最小)的数据类型。比如,使用更小的整型以便于获取更小的表。 同时,COMPACT行格式也会影响utf8或utf8mb4数据在CHAR类型列中的存储。 ROW_FORMAT=DYNAMIC选项创建的表 参考连接: http://dev.mysql.com/doc/refman/5.5/en/dynamic-format.html l 不同表中用相同的数据类型声明携带相同信息的数据列 标准化 l 正常,尽量保持数据不重复。赋予列名唯一ID,有必要的话,在其它更小表中使用这些id,而不是重复冗长的值,比如名称和地址,join子句中通过引用这些id来join表。 l 如果速度比磁盘空间,保存多份数据副本的维护成本更重要,例如,在一个商业智能场景中,分析来自大表的所有数据,可以适当放宽标准化规则,冗余数据信息或创建汇总表以获取更快的速度。

    3.1K20发布于 2019-09-10
  • 来自专栏全栈程序员必看

    数据优化 – SQL优化

    前面一篇文章从实例的角度进行数据优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据优化,提升SQL运行效率。 获取问题SQL 不同数据库有不同的获取方法,以下为目前主流数据库的慢查询SQL获取工具 MySQL 慢查询日志 测试工具loadrunner Percona公司的ptquery等工具 SQL优化 执行计划 完成SQL优化一定要先读执行计划,执行计划会告诉你哪些地方效率低,哪里可以需要优化。 很可能SQL语句需要优化 接下来我们用一段实际优化案例来说明SQL优化的过程及优化技巧。 、增加索引、SQL改写等操作 查看优化后的执行时间和执行计划 如果优化效果不明显,重复第四步操作 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。

    4.2K10编辑于 2022-10-04
  • 来自专栏JAVA杂谈

    数据优化 - SQL优化

    是时候 关注 我们一波了 前面一篇文章从实例的角度进行数据优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。 本文从SQL角度进行数据优化,提升SQL运行效率。 获取问题SQL 不同数据库有不同的获取方法,以下为目前主流数据库的慢查询SQL获取工具 MySQL 慢查询日志 测试工具loadrunner Percona公司的ptquery等工具 Oracle AWR SQL优化 执行计划 完成SQL优化一定要先读执行计划,执行计划会告诉你哪些地方效率低,哪里可以需要优化。 (每个数据库的执行计划都不一样,需要自行了解) explain sql ?

    2.4K20发布于 2019-11-06
  • 来自专栏Java帮帮-微信公众号-技术文章全总结

    数据库】数据优化(SQL优化

    数据库】数据优化(SQL优化) sql语句优化 1.查询的模糊匹配 尽量避免在一个复杂查询里面使用 LIKE '%parm1%'—— 红色标识位置的百分号会导致相关列的索引无法使用,最好不要用。 11.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 用下面的语句替换: select num from a where exists(select 1 from b where num=a.num) 23.并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的 29.在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log , 以提高速度;如果数据量不大,为了缓和系统表的资源,应先create 33.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。

    6.3K40发布于 2018-03-15
  • 来自专栏JAVA杂谈

    数据优化 - 实例优化

    从网上去搜数据优化基本都是从SQL层次进行优化的,很少有提及到数据库本身的实例优化。 减少数据库服务器CPU使用率 减少数据库服务器IO使用率 减少数据库服务器内存使用率 指标 SQL平均响应时间变短 优化前:数据库平均响应时间500ms 优化目标:数据库平均响应时间200ms 数据库服务器 CPU占用率变少 优化前:数据库高峰期CPU使用率70% 优化目标:数据库高峰期CPU使用率50% 数据库服务器IO使用率变低 优化前:数据库IO WAIT为30% 优化目标:数据库IO WAIT低于10% 数据优化误区 在进行数据优化的时候可能会有以下几个误区: 优化之前一定要深入了解数据库内部原理 优化是有“套路”的,照着这些“套路”你也可以很好的完成数据优化 不断调整数据库参数就可以最终实现优化 数据库实例优化 数据库实例优化遵循三句口诀:日志不能小、缓存足够大、连接要够用。 数据库事务提交后需要将事务对数据页的修改刷( fsync)到磁盘上,才能保证数据的持久性。

    2K30发布于 2019-10-30
  • 来自专栏授客的专栏

    MySQL 性能优化--优化数据库结构之优化数据类型

    优化数字数据(Numeric Data) l 对于唯一ID或其它可用字符串或数字表示的值,选择用数字列好过用字符串列。 参考连接: http://dev.mysql.com/doc/refman/5.7/en/optimize-character.html 优化BLOB l 当存储一个包含文本数据的大二进制对象 l 由于检索和展示BLOB值的性能要求和其它数据类型不一样,可以考虑把特定于BLOB的表放在不同的存储设备,甚至是一个单独的数据库实例。 optimize-blob.html 使用PROCEDURE ANALYSE ANALYSE([max_elements[,max_memory]]) ANALYSE()检测来自查询的结果并返回分析结果,为每列的数据类型给出可能帮助减小表的优化建议 ANALYSE()用于检测优化数据类型是否应该为ENUM,如果有多余max_elements个补重复值,则ENUM不为建议类型。

    5.5K20发布于 2019-09-10
  • 来自专栏cwl_Java

    性能优化-MySQL数据优化

    2、mysql数据优化 可以从哪几个方面进行数据库的优化?如下图所示: ? 这个时候就要了解sql优化 B、数据库表结构优化 根据数据库的范式,设计表结构,表结构设计的好直接关系到写SQL语句。 C、系统配置优化 大多数运行在Linux机器上,如tcp连接数的限制、打开文件数的限制、安全性的限制,因此我们要对这些配置进行相应的优化。 D、硬件配置优化 选择适合数据库服务的cpu,更快的IO,更高的内存;cpu并不是越多越好,某些数据库版本有最大的限制,IO操作并不是减少阻塞。 注:通过上图可以看出,该金字塔中,优化的成本从下而上逐渐增高,而优化的效果会逐渐降低。

    5.1K20发布于 2020-02-13
  • 来自专栏腾讯云原生团队

    ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10

    ImageApparate(幻影) 为了解决这个问题,腾讯云容器服务 TKE 团队开发了下一代镜像分发方案ImageApparate(幻影), 将大规模大镜像分发的速度提升 5-10倍。 ? 也就是说镜像中的大部分内容可能在容器的整个生命周期内根本不需要,那么如果我们只加载 6% 的数据就可以大幅减少镜像拉取时间,从而加速容器启动速度,这也就为后续的优化提供了理论前提。 如上所述,相比于传统的下载全部镜像的方式,ImageApparate 在容器全部启动时间上都有 5-10倍 的提升。 Apparate-snapshotter 主要负责解析记录在镜像层中的IAS信息,从而拿到另外数据存储地址,接下来 Apparate-snapshotter 会去数据存储服务中加载远程数据,并在本地提供访问的 只读镜像格式 对于支持 Lazy-Pull 的镜像文件系统来说,只读是非常关键的属性,因为只读文件系统不需要考虑数据写入和删除造成的碎片和垃圾回收,可以提前在制作文件系统的时候优化数据块和索引的分布,这样可以大幅提高文件系统的读取性能

    1.6K10发布于 2021-02-25
  • 来自专栏企鹅号快讯

    Hinton:5-10年内深度学习取代放射科医生

    Hinton对自动化医学未来的预测建立在一个简单的原则基础之上:“在有大量数据的地方,采取旧的分类问题,这将通过深度学习来解决。将有数以千计的深度学习应用。” 肺炎:斯坦福大学的算法诊断肺炎好于医生 去年9月,美国国家卫生研究院曾发布一组数据,这给斯坦福大学教授吴恩达领导机器学习小组带来了启发。 在一个星期内,斯坦福大学研究人员开发了一种名为CheXnet的算法,它能够比以前的算法更准确地发现原始数据集中的14种病理学中的10种。 综合所有这些数据,STAR能够把重点放在目标上。机器人为缝合工作制定了自己的计划,并在操作过程中随着组织的移动调整了计划。 他们使用这一数据集创建了图像库,并将其作为原始像素提供给算法,每个像素都带有标签,描述了相关疾病的附加数据。 为了测试算法的性能,研究人员找来斯坦福医学院的21名皮肤科医生。

    1.6K60发布于 2018-01-05
  • 来自专栏架构驿站

    【DB优化】MySql数据优化概述

    多端口绑定监听 II 操作系统级优化 使用64位的操作系统,更好的使用大内存。 含有NULL的列比较特殊,SQL难优化,如果是一个组合索引,那么这个NULL 类型的字段会极大影响整个索引的效率。 索引 索引的缺点:极大地加速了查询,减少扫描和锁定的数据行数。 使用推荐的GA版本,提升性能 利用分区新功能进行大数据数据拆分 V Mysql配置优化 注意:全局参数一经设置,随服务器启动预占用资源。 3. 2表示在每次事务提交后,执行log数据写入到cache,每秒执行一次flush log到磁盘。 VI Mysql语句级优化 1. 开启慢查询,定期用explain优化慢查询中的SQL语句。

    3.2K60编辑于 2022-03-25
  • 来自专栏互联网大杂烩

    优化模型数据挖掘之优化模型

    数据挖掘之优化模型 1.1数学规划模型 线性规划、整数线性规划、非线性规划、多目标规划、动态规划。 ---- 1.2微分方程组模型 阻滞增长模型、SARS传播模型。 ---- 1.3图论与网络优化问题 最短路径问题、网络最大流问题、最小费用最大流问题、最小生成树问题(MST)、旅行商问题(TSP)、图的着色问题。 ---- 1.5组合优化经典问题 多维背包问题(MKP) 背包问题:n个物品,对物品i,体积为iw,背包容量为W。如何将尽可能多的物品装入背包。 解决这一类经典组合优化问题的方法有: 穷举法,贪心法,动态规划法,分支限界法,回溯法等传统算法以及一些智能算法如蚁群算法和遗传算法。

    1.5K20发布于 2018-08-22
  • 来自专栏小徐学爬虫

    BeautifulSoup数据抓取优化

    优化 BeautifulSoup 数据抓取可以帮助提高数据抓取的效率和性能,优化数据抓取方式更加友好,减少了对目标网站的访问压力,降低了被封禁或限制访问的风险。 1、问题背景我正在使用BeautifulSoup库来抓取一个网站上的数据。 网站的数据结构如下:

    公司名称 联系人</td company_name, contact_person, address, phone_number, email))输出结果为:公司名称,联系人,地址,电话,邮箱公司名称2,联系人2,地址2,电话2,邮箱2...优化后的数据抓取代码通常能够更快速地获取所需数据 数据抓取优化不仅能够提高程序的性能和效率,还能够降低资源消耗,改善用户体验,降低被封禁风险,提高可维护性和可扩展性,以及降低错误和异常情况的发生,从而为数据抓取任务带来更多的好处和优势。

    66810编辑于 2024-04-08
  • 来自专栏sofu456

    数据优化

    mysql配置优化数据库 提高读取速度 表建索引 分区表 优化查询语句 insert table values select * from table limit 1 delete from table innodb_flush_log_at_trx_commit = 0; bulk_insert_buffer_size = 100000000; //设置成100M 事务插入,减少操作时间(begin\commit),事务不能嵌套(嵌套的事务自动提交前面的数据 ,这影响效率,可以通过定时commit的方式提交数据),事务模式需要关闭自动提交功能 事务同时提交多条数据,提交单条数据,可以设置自动提交。 数据量到了100万条后,查询时间可以很明显的对比出来,设置事务有的数据库不一定能提高写入效率,例如redis redis事务 multi\exec //redis事务不能提高写入效率,反而降低,使用 pipeline命令可以提高写入效率 多线程 多线程访问数据库使用多个数据库连接,不要跨线程使用同一个数据库连接,可以同netstat命令查看连接

    1.2K10编辑于 2022-05-06
  • 来自专栏盛开在夏天的太阳

    数据优化

    数据优化方案(百万级数据量)   1. 对sql语句进行优化, 首先对where和order by涉及的列加索引。    尽量避免在where子句中进行null值判断, 数据库中的值尽量保证都是非空的。备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。 然而当通配符出现在字符串其他位置时,优化器就能利用索引。 如: 这个SQL在运行时先取出两个表的结果,再用排序空间进行排序删除重复的记录,最后返回结果集,如果表数据量大的话可能会导致用磁盘进行排序。

    1.4K20发布于 2020-09-27
  • 领券