我已经创建了一个巨大的日志的日常活动的格式,时间戳,地点。例如
[{1365650747255, 'san francisco'},
{1365650743354, 'san francisco'},
{1365650741349, 'san mateo'},
{1365650756324, 'mountain view'},
...
{1365650813354, 'menlo park'}]我有什么方法可以挖掘这些信息来找到类似的模式
问题是
发布于 2013-04-11 14:26:13
我看不出你有什么问题。因为这是一个时间戳,从时代数秒,你只需要应用模块化运算符,其值是感兴趣的范围。如果你训练一个分类器,你应该能够预测每一个即将到来的地方。主要的问题不是性能问题,因为学习只是偶尔进行,而是如何更新所学习的数据集。如前所述,您不必为此使用机器学习,但是,如果您想使用机器学习,这基本上可以使用您的1d数据集上的k近邻来完成。
编辑混淆了语言,但修正了它:分类器是进行统计分类的算法。
在机器学习和统计中,分类是指根据包含已知类别成员的观察(或实例)的一组训练数据,确定一组新的观测属于哪一组类别(子种群)。[1]
由于我只使用sklearn来做这些事情,下面是一个极简的例子,说明如何使用k最近邻分类器[2]。为了能够对字符串进行分类,必须将字符串转换为数字,然后在给定的测试数据集上训练分类器,然后才能预测新的给定时间戳的位置。
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
data = [[1365650747255, 'san francisco'],
[1365650743354, 'san francisco'],
[1365650741349, 'san mateo'],
[1365650756324, 'mountain view'],
...
[1365650813354, 'menlo park']]
# Map location strings to integers and replace
location_mapping = {}
location_index = 0
for index, (time, location) in enumerate(data):
if(not location_mapping.has_key(location)):
location_mapping[location] = location_index
location_index += 1
data[index][1] = location_mapping[location]
inverse_location_mapping = {value:key for key, value in location_mapping.items()}
data = np.array(data)
week = 60 * 60 * 24 * 7
# Setup classifier
classifier = KNeighborsClassifier(n_neighbors=10)
# Train classifier on given data
classifier.fit(data[:, 0] % week, data[:, 1])
# Predict desired location
prediction = classifier.predict([[1365444444444 % week]]))
print(inverse_location_mapping[prediction])[2]:http://scikit-learn.org/dev/modules/generated/sklearn.neighbors.KNeighborsClassifier.html
发布于 2013-04-11 13:03:15
该解决方案的性能取决于模式识别需求的粒度大小。让我们假设您的需求是将一天分为4部分:Morning,Noon,Evening,Night,让我们称它们为time_slots
现在让我们看看你的日常活动日志有多大,1年,2年,3年?
让我们假设是一年。
因此,我们总共有365 *4= 1460个时隙需要监控。
现在,根据每个time_slot的时间戳创建一个简单的地图。例如:它从T1开始,以T2结束( T1和T2是像1365650813354这样的时间戳)。
根据日志中的时间戳值,很容易找到它的time_slot,即1月28日的夜晚或1月30日的早晨。
您必须用适当的模式将time_slot和place_i_was数据存储在任何合适的数据库中。这取决于你想要的查询和分析。
这样,您就不需要在dataset上运行公式,预定义的地图/数据库查找将满足您的目的。
发布于 2013-04-11 14:20:33
不确定这些问题是否需要机器学习,您可以使用常规的统计数据。即建立一个概率分布图,x -时间一天,y -概率它是旧金山.计算时间介于a和b之间的旧金山概率。
以下是如何在熊猫DataFrame中加载您的数据:
from __future__ import print_function, division
import pandas as pd
import datetime
df = pd.read_csv("data.csv",
names=["timestamp","location"],
parse_dates=["timestamp"],
date_parser=lambda x:datetime.datetime.fromtimestamp(int(x) / 1000))
print(df.head())产出:
timestamp location
0 2013-04-11 04:25:47.255000 "san francisco"
1 2013-04-11 04:25:43.354000 "san francisco"
2 2013-04-11 04:25:41.349000 "san mateo"
3 2013-04-11 04:25:56.324000 "mountain view"
4 2013-04-11 04:26:53.354000 "menlo park"https://stackoverflow.com/questions/15949103
复制相似问题