我在找你在这个问题上的经验。这是我想要改进的东西。
发布于 2010-12-19 15:08:39
我使用一对过程,以捕捉自然对话。
在给你的被试一个背景问卷之后,把他们放在一个自然办公环境中的机器前,并给他们一项任务去完成。我的工作包括编程工具,所以主题做对编程,但对方法也可以同样适用于其他程序。使用对的优点是,他们会互相问问题,并试图一起制定说明。
使用配对比普通的“大声思考”的方法更自然,在这种方法中,你告诉被试说出他们在想什么。这种方法的问题在于,你不会那么容易地捕捉到主题使用的隐喻,这会让你洞察他们的想法。例如,对于编译器工具,“哦,它为什么要显示它?”,“嗯,我猜就像在找到匹配的时候,但是输入了错误的目录?”诀窍是,当被试必须向对方解释自己的困惑时,他们就有充分的理由做出诚实的努力。
我用带有麦克风的Camtasia来捕捉屏幕上的内容和他们说的话。然后我转录会话并用屏幕上发生的特定动作进行注释.Camtasia来自TechSmith,Morae的制造者.你可能希望用相机来捕捉被试,看看他们的手指指向哪里。当你试图写出结果时,翻阅成绩单就更有帮助了。此外:写作过程本身有助于让您提出正确的问题,即使您不想发布您的结果。
在他们完成任务后,让他们描述他们的经历,他们认为他们会用这个程序做什么,他们喜欢什么,他们希望看到什么得到改进。得到这种反馈并不一定是为了让你接受他们的字面建议去实现它们。相反,深入看看他们的期望是什么,以及他们对程序的概念化是否与你想要的不同;再次,看看他们使用了什么隐喻。
另外,看看任务本身的性能。他们完成了他们应该做的事吗?根据您正在测试的程序,您可能想要确定特定任务花费了多长时间。
从试点测试开始,你认为这是一项非常基本的任务。你会惊讶地发现,即使是简单的任务也比你想象的要花更长的时间。到目前为止,我已经使用了我所获得的来改变我的工具中的语法,并在这里和那里修改了一些特性。但我发现最大的收获是如何编写教程和构建工具。
https://softwareengineering.stackexchange.com/questions/27998
复制相似问题