首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >利用机器学习发现日常模式

问利用机器学习发现日常模式
EN

Stack Overflow用户
提问于 2013-04-11 12:43:20
回答 5查看 7.2K关注 0票数 3

我已经创建了一个巨大的日志的日常活动的格式,时间戳,地点。例如

代码语言:javascript
复制
[{1365650747255, 'san francisco'},
 {1365650743354, 'san francisco'},
 {1365650741349, 'san mateo'},
 {1365650756324, 'mountain view'},
 ...
 {1365650813354, 'menlo park'}]

我有什么方法可以挖掘这些信息来找到类似的模式

  • “星期天晚上,我可能就在旧金山附近”
  • “星期一下午我可能在门罗公园附近”

问题是

  • 数据集很大。
  • 似乎不可能通过对时间戳值应用一个函数来判断日期/时间/日(除非我们在迄今的时间值中解码时间戳)。
EN

回答 5

Stack Overflow用户

发布于 2013-04-11 14:26:13

我看不出你有什么问题。因为这是一个时间戳,从时代数秒,你只需要应用模块化运算符,其值是感兴趣的范围。如果你训练一个分类器,你应该能够预测每一个即将到来的地方。主要的问题不是性能问题,因为学习只是偶尔进行,而是如何更新所学习的数据集。如前所述,您不必为此使用机器学习,但是,如果您想使用机器学习,这基本上可以使用您的1d数据集上的k近邻来完成。

编辑混淆了语言,但修正了它:分类器是进行统计分类的算法。

在机器学习和统计中,分类是指根据包含已知类别成员的观察(或实例)的一组训练数据,确定一组新的观测属于哪一组类别(子种群)。[1]

由于我只使用sklearn来做这些事情,下面是一个极简的例子,说明如何使用k最近邻分类器[2]。为了能够对字符串进行分类,必须将字符串转换为数字,然后在给定的测试数据集上训练分类器,然后才能预测新的给定时间戳的位置。

代码语言:javascript
复制
import numpy as np
from sklearn.neighbors import KNeighborsClassifier


data = [[1365650747255, 'san francisco'],
        [1365650743354, 'san francisco'],
        [1365650741349, 'san mateo'],
        [1365650756324, 'mountain view'],
        ...
        [1365650813354, 'menlo park']]

# Map location strings to integers and replace
location_mapping = {}
location_index = 0
for index, (time, location) in enumerate(data):
    if(not location_mapping.has_key(location)):
        location_mapping[location] = location_index
        location_index += 1

    data[index][1] = location_mapping[location]

inverse_location_mapping = {value:key for key, value in location_mapping.items()}

data = np.array(data)
week = 60 * 60 * 24 * 7

# Setup classifier
classifier = KNeighborsClassifier(n_neighbors=10)

# Train classifier on given data
classifier.fit(data[:, 0] % week, data[:, 1]) 

# Predict desired location
prediction = classifier.predict([[1365444444444 % week]]))
print(inverse_location_mapping[prediction])

[1]:分类

[2]:http://scikit-learn.org/dev/modules/generated/sklearn.neighbors.KNeighborsClassifier.html

票数 4
EN

Stack Overflow用户

发布于 2013-04-11 13:03:15

该解决方案的性能取决于模式识别需求的粒度大小。让我们假设您的需求是将一天分为4部分:Morning,Noon,Evening,Night,让我们称它们为time_slots

现在让我们看看你的日常活动日志有多大,1年,2年,3年?

让我们假设是一年。

因此,我们总共有365 *4= 1460个时隙需要监控。

现在,根据每个time_slot的时间戳创建一个简单的地图。例如:它从T1开始,以T2结束( T1和T2是像1365650813354这样的时间戳)。

根据日志中的时间戳值,很容易找到它的time_slot,即1月28日的夜晚或1月30日的早晨。

您必须用适当的模式将time_slot和place_i_was数据存储在任何合适的数据库中。这取决于你想要的查询和分析。

这样,您就不需要在dataset上运行公式,预定义的地图/数据库查找将满足您的目的。

票数 2
EN

Stack Overflow用户

发布于 2013-04-11 14:20:33

不确定这些问题是否需要机器学习,您可以使用常规的统计数据。即建立一个概率分布图,x -时间一天,y -概率它是旧金山.计算时间介于a和b之间的旧金山概率。

以下是如何在熊猫DataFrame中加载您的数据:

代码语言:javascript
复制
from __future__ import print_function, division
import pandas as pd
import datetime

df = pd.read_csv("data.csv",
                 names=["timestamp","location"],
                 parse_dates=["timestamp"],
                 date_parser=lambda x:datetime.datetime.fromtimestamp(int(x) / 1000))
print(df.head())

产出:

代码语言:javascript
复制
                    timestamp          location
0  2013-04-11 04:25:47.255000   "san francisco"
1  2013-04-11 04:25:43.354000   "san francisco"
2  2013-04-11 04:25:41.349000       "san mateo"
3  2013-04-11 04:25:56.324000   "mountain view"
4  2013-04-11 04:26:53.354000      "menlo park"
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/15949103

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档