反病毒公司如何分析他们收到的大量样本？

Question

反病毒公司从他们的产品中收集样本，或者用户可以通过其网站上的表格直接提交样本。采集的样本数量很大。一群分析师怎么能分析这么多的恶意软件呢？

我读了几篇研究人员发表的论文，描述了不同的技术。一种方法是将相似的恶意软件聚在一起，只分析每个集群的一个“代表”。

AV公司真正采用的方法是什么？

Answer 1

好吧，我找到答案了。AV公司使用聚类/分类技术在它们的丙基分析工具中。以下是一些例子：

卡巴斯基使用Astraea 1：一个基于机器学习的恶意软件分析系统.Astraea会自动分析来自受保护计算机的通知，并帮助发现以前未知的威胁。通过使用威胁的元数据(如年龄、来源、文件名、文件路径等)，系统能够完全检测威胁，而不需要有关文件内容的信息(只有静态特性？)。

Comodo使用Valkyrie 2：它是一个基于云的文件分析平台，为提交的已知和未知文件提供静态、动态甚至人类专家分析。Valkyrie每天处理2亿多个未知文件提交。Valkyrie采用的机器学习技术包括支持向量机、朴素贝叶斯、决策树和随机森林分类器。此外，Valkyrie还将采用线性判别分析、随机梯度下降、隐马尔可夫模型和神经网络等方法。

Avast使用美杜莎3.：一个GPU驱动的分类系统.每个Medusa节点使用2或4个Nvidia GPU。每个样本由约100个属性组成的恒定大小的特征向量表示.考虑到属性的性质，它们最终得到了几个距离运算符和一个加权方案，该方案均衡了属性的重要性。他们使用kNN分类器。他们的内部系统每天处理大约25万个新的PE文件。他们声称使用完全连锁，这就意味着他们的算法可以找到聚类的层次化算法。

Avira的云保护4.：Avira使用大数据分析自动确定一个新发现的样本是否属于已知的恶意软件家族。在任何一分钟，他们都在世界各地的服务器上处理130万个恶意软件更新。仅在一天之内，他们的Avira保护实验室蜜罐就会收到超过13万个新的恶意软件样本进行分析。

5：他们使用概率机器学习来查找数据中的模式，而这些模式可能没有被更直截了当的确定性技术发现。该算法在不需要人工干预的情况下运行，并生成一幅地图。地图上显示的是人口密集的星团、人口较少的星系团，也许还有一些离群点或人口稀少的星团。此时，请一位人类专家来查看集群，并决定集群是正常的过程还是恶意软件。

BitDefender 6：使用几种机器学习技术(感知器、神经网络、质心、二叉树、深度学习等)。用于几项任务:过滤URL、识别恶意文件和对电子邮件进行分类。

赛门铁克使用愤世嫉俗的7

引用(我没有足够的声誉把它们作为链接)：

1 usa.kaspersky.com/about-us/press-center/press-releases/2016/Kaspersky_Lab_Number_of_the_Year_2016_323000_Pieces_of_Malware_Detected_Daily

2 enterprise.comodo.com/valkyrie/

3. avast.com/technology

4. blog.avira.com/virus-hunters-catch-bad-guys-part-2/

5 microsoft.com/itshowcase/Article/Content/618/Improving-network-security-using-big-data-and-machine-learning

6 businessinsights.bitdefender.com/machine-learning-apt-detection

7 symantec.com/connect/blogs/myth-busting-next-generation-threat-protection

Answer 2

一群分析师怎么能分析这么多的恶意软件呢？

简单地说，他们做不到，也没有银弹。例如，Stuxnet的第一个样本是在2010年年1月周围收集的，而Stuxnet直到2010年年6月才被发现。

AV公司确实善于收集样本，但决定分析哪些样本是一个尚未完全解决的问题。因此，一个相关的问题是如何选择哪些样本进行分析。这就是所有将样本分类为分析感兴趣的方法发挥作用的地方。他们中的许多人都列在上面的答案中。