快速可用性测试案例之六:卫报变身之旅
本文通过 3 个关于进行的不一样的快速可用性测试的案例研究,来进行讨论,并给你 10 个可用性测试技巧。
本文通过 3 个关于进行的不一样的快速可用性测试的案例研究,来进行讨论,并给你 10 个可用性测试技巧。
我做过题为“卫报通过快速可用性测试的变身之旅”的演讲,我在卫报担任首席使用者真实的体验官和信息架构师,我们每周发布六版《卫报》(The Guardian)和《周日观察报》(The Observer)。我们的网站uk 每个月有超过 5000 万用户访问,其中 1/3 居住在美国。
虽然我们的软件开发过程是敏捷的,并且我们试图以用户为中心的方式做许多事情,在文化上我们习惯于保密,并且作为新闻组织,要非常谨慎地放弃“独家”。
在英国,报纸使用晚上播出的电视新闻节目作为头版掩饰他们将在早上发布的真正的独家新闻,以避免竞争对象与它竞争,这是众人皆知的。而在 Twitter 上发布前的几天,记者靠笔记本上的联系人的价值或生或死。
在《卫报》(The Guardian)和《周日观察报》(The Observer)之间,有着 400 年关于印刷“独家”的保密史。
我们公司有一个很出色的研究和客户洞察部门,他们提供了很好的市场调研,并帮助促进正式的测试类型,但是,有关保密相关的事项有时很难在开发项目早期完成用户测试。
而且测试的预算总是很紧张,为对抗这一点,我开发了一系列技术来开展快速可用性测试,通过接触公共场合的人,记录他们使用和谈论产品的过程。
该方法有很多不足。但是,所有类型的可用性测试都会有一些固有的偏见。我相信,在这些限制内,快速可用性测试是一个非常好的工具。
我想通过 3 个关于我进行的不一样的快速可用性测试的案例研究,来进行讨论,并给你 10 个可用性测试技巧。
我进行网站快速可用性测试的首批项目之一是重新设计了我们的招聘网站——Guardian Jobs。我们在伦敦赞助了毕业生招聘会,在展览空间中占据了一个非常有利的位置。该展台放了几台笔记本电脑,可以在上面浏览就业网站以及我们的招聘网站,我们在上面发布信息和内容以帮助人们了解员工的工作生活。
为了来测试,我们用自己的 Mac 取代了其中一台电脑,我使用 Silverback App 软件录屏,同时还利用互联网摄像头录制视频和音频。即便拍摄得不好,这也十分有用。事实上,有几个人根本就没有出现在镜头中,就那样我仍然拍到了一些有用的镜头。这不是个大问题,因为我捕捉到了他们的声音和屏幕上的动作。
我没有任何正式的测试脚本,相反,我问他们之前是否曾经用过该网站,以及他们是否用过的其他网站。然后我会告诉他们这一个网站,就能看到他们的反应了。
第一批学生对使用电脑录频的想法感到震惊,我了解到,获得合作最简单的方法就是说一些含糊其辞的话,比如:“笔记本电脑会记录你的工作”而不是“你将被录像”。这不是严格的不真实,但它有点不坦率,我也没有让测试者签署任何形式的许可或授权书。
理解这一点很重要,尽管我已经获得了测试的许可。但我没获得任何许可,将业务以外的视频重新分配的话。
出于这个原因,我从来就没向同事以外的人展示过镜头。虽然这是一种务实的方法,但是为增加参与测试的人数,这是一种耻辱,这使我获得了很多值得分享的教训。
我展示了一个 5 分钟的视频展,并且用 30 秒的时间介绍了快速可用性测试,并设置了场景。我没有按顺序向每个用户展示,按真实的情况进行了调整。我使用幻灯片来显示问题,然后快速切换各种回复,确保我涵盖了想要表达的各种观点。
这不是正式的测试,所以我没有针对用户界面提出任何具体的建议。然而,我们确定毕业生求职者似乎不太可能像使用 LinkedIn 一样寻求求职服务,也不太可能在 Twitter 上找到有用的服务,而是希望找到“通过电子邮件求职”这种十分具体的项目。
我还收到一些反馈,毕业生通过浏览类似“工程”等领域,或选择入门级标准(如:“毕业生就业”),来寻找他们的第一份工作。
当我们决定推出 iPhone 应用时,咱们进行了多次测试。我们通过网站弹窗的形式,招募测试用户。我们大家都希望招募那些对品牌已经建立认知和信任我们的人,并且他们是早起用户,所以我们最终选择了“技术”新闻部分的用户。招募的用户来到我们的办公室,并使用应用的早期版本进行了 45 分钟的测试。
测试由产品经理和我自己进行,毕竟我可是项目的信息架构师。当然,这会打破许多关于怎么样做经典实验室可用性测试的规则。测试用户明白他们正在测试的产品和品牌,来测试的人正在密切合作。尽管如此,这也是十分有价值的。
这部分的测试还是利用 Silverback 进行记录,Silverback 使用电脑上的网络摄像头记录测试。此外,在测试过程中,一个小型翻转摄像机将拍摄测试用户与应用的互动。两种方式录制的视频都是低保真的,这很难获得用户与应用交互的精确细节。但是,这足以满足我们的目的了。
尽管只有少数测试用户,但我们得知了几个关键的可用性问题,引导我们将如何重新构建应用。就图片库这个功能来说,个人会使用了非标准的 UI。用户不但可以在界面中从左向右滚动,还可以垂直滚动。正如预期的那样,用户对此十分惊讶,但因他们发现的内容非常吸引他们,所以我们得知了这个惊喜。
第二个问题是我们在应用中为“相关主题”提供了引导。我们网站上的所有内容,都标有一系列描述新闻主题的关键词。在设计过程中,我们大家都认为在移动电子设备上进一步探索主题和主题层次结构,是令人厌烦的交互过程,并且已经找到一种方式来优化它。
我们的解决方案是关键字列表,点击此位置会弹出图层,列出了所有关键字。这样用户都能够通过点击便签,就能够直接浏览特定主题的标签页。
在测试过程中,我们得知用户似乎很喜欢这样的形式,但同时我们也发现了一个问题。在我们的测试版中,激活弹窗图层的可点击区域太小,作为测试结果,我们扩大了可点击区域,并改进了功能。
测试的关键输出之一不是测试结果本身,而是视频等材料。我剪辑出一个 6 分钟的左右视频,展示了人们对应用设计的积极反应,讨论了多少人——如果有的话将会为该应用付费,并努力发现和使用需要改进的一些功能。我将视频放在我们的内网上,并在公司讨论该项目的一些高级别会议上进行展示。
我所进行的第三种“测试”是更加环保,而且根本就没有专注于任务。卫报最近的一项重大举措是在网上重振我们的艺术和文化,目的是纳入更多用户的意见和建议,并允许用户在所涵盖的内容中发表更多,我想了解我们的核心受众对此的反应是怎样的。
为了做到这一点,我与产品经理和设计经理花了一天时间,参观伦敦的艺术场馆和艺术中心等地方,我们参观了巴比肯(Barbican)、南岸中心(Southbank)和 BFI。我们大家都认为这一些地方,是找到对伦敦艺术圈感兴趣的用户最合适的地方。实际上,我们将场地作为“筛选问题”。
总而言之,我们与大约 35 人进行了交谈,其中超过30 人都是卫报的读者或网站用户,我们确定已经找到了合适的地方。
我们靠近他们,并坐在他们身边,他们三三两两的凑成小组。我们用电脑和 Silverback 来记录他们对我们现有网站的反应,或者使用 Flip 摄像机拍摄。
我再次将它编辑成一个可放在内网上的以主题排列的内容,然后用于与主要利益相关者与董事会成员的主要演讲。虽然招募带有明显的倾向,这些发现却完全是随机的,但它们仍然非常有价值。
我们有一个非常强烈的感觉,那就是在《卫报》和《观察者》上作者的声音,这在我们的文化中很受重视,同时人们对他人的评论也很感兴趣,但这不是人们来到我们的网站的根本原因。我们也发现有些人不愿做出贡献,如评论。
这对该项目很重要,因为在此之前,围绕构建新功能的许多讨论大多会基于“超级用户”贡献大量内容的假设。用户测试使我们能够在内部重新设定预期和目标,让我们的大多数用户愿意撰写评论。
你需要知道此类测试什么时候事无效的。你依靠的是有时用非常特殊的方式招募的测试用户,有时候没有对他们进行大量预先筛选,了解这类测试的局限性很重要。
我们在开发过程中多次采用临时方式对其进行测试,上一轮之后我们的建议是需要对精心招募的用户组进行更正式的测试。我当然不是仅做此类测试的倡导者——但我认为它可以在产品构建过程中增加有价值的见解。
所以,如果你认为这些案例研究在你的组织中可能有更多的适用空间,这里有十个注意点:
快速可用性测试不是实验室测试的替代品,它存在缺陷和固有偏见。但是,每种类型的测试都有缺陷和内在偏见。实验室环境会让用户感到不安,远程测试人员是自我选择的,移动研究正在努力复制使用环境,而在问卷调查时测试用户很容易忘记。但只要意识到你使用的方法都存在缺陷,就可以获得宝贵的见解并改进产品。
在卫报上,引入快速可用性测试为我们改进产品提供了一条新途径,特别是通过我们的移动应用,已成为产品开发流程的重要部分。人们现在总会问我何时要测试他们正在开发的东西,而不是是否要测试它。