调查Yelp评分算法:网络模因如何传播

如果我告诉您Yelp会操纵其评分算法,那么拒绝在Yelp上投放广告的企业最终会在其排名中“被隐藏"的网站上获得正面评价,您会怎么想。不公平!太可恶了!实际上,这是Yelp上许多小企业正在发生的事情,但这是真的吗?

4月下旬,一家小企业(一家小漫画店)联系了MUO,该企业接到了一个电话。 Yelp销售代表,问他是否对Yelp广告感兴趣。企业主拒绝了该提议。一周后,主页上似乎没有出现一些正面评价,将企业主的总体评分从4.5降至3.0。时机已非同寻常,当Yelp评级系统的话题出现时,巧合似乎是整个企业界的共同话题。

巧合是如此不寻常,关于Yelp操纵互联网的模因它的评级系统在整个互联网上如此强大,以至于显然需要对Yelp算法及其销售组织的内部运作进行全面调查。

本文详细介绍了该调查,从一个收集有关Yelp的销售策略的见证帐户,以及该公司如何操纵Yelp评级。接下来将接受Yelp高级公关经理 Kristen Whisenand 和Yelp纽约当地业务拓展负责人 Darnell Holloway 的采访。最后,您会发现对Yelp的商业广告客户的两次简短采访。在本文的底部,您应该能够自己决定是否进行Yelp审查操纵阴谋。

操纵证据?

企业主和博客Cliff Biggers在4月26日撰写了一篇名为“ Yelp保护球拍"的博客文章,他解释说,佐治亚州玛丽埃塔的No's Comics&Games SuperStore博士在获得Yelp 4.5评级之前已有一段时间,他拒绝了Google的广告要约。是的。

根据Cliff的说法,一周之内,几个合法的积极客户评论被移至“不推荐"部分。搬迁对这家商店的Yelp评级产生了如此大的影响,以至于下降了一个半点,对任何一家企业来说都是悲惨的损失,这取决于其Yelp对权威性和信誉的评级。

“在我们拒绝了Yelp大力宣传的广告套餐后不久,我们对Yelp的评分就开始下降。突然,我们所有的好评都被过滤掉了,好评的顾客评论在网站上停留了几个小时或更短的时间,然后就消失在了“不推荐"部分。"

此刻,Cliff认为他拒绝在Yelp上做广告,Yelp一直在共同努力,不仅降低了商店的排名,而且通过系统地将所有正面评论移至“不推荐"部分来保持较低的排名。

“广告下降之前,我们首页上的评论确实移到了“不推荐"页面上–从那以后,我们采取了协调一致的政策,即禁止对No博士进行最积极的评论。

Yelp上的其他三家拒绝刊登广告的企业也分享了类似的经验。他们以匿名的方式这样做,因为担心Yelp团队会发动进一步的攻击,他们认为他们正在操纵审查。

Cliff告诉我们一位企业主报告:

“ Yelp非常清楚

另一家零售商称Yelp的广告明显是敲诈勒索。另一家零售商告诉Cliff:

“当我告诉他们,由于我是一家新公司,我无力投放广告时,我的评分开始下降。我不确定我是否可以保持营业,因为餐馆受到Yelp等级的影响要大于零售商店。"

康涅狄格州一家名为Verace的餐馆的老板凯利卡兰德罗(Kelly Calandro)在2012年对《赫芬顿邮报》(Huffington Post)说道:在拒绝Yelp销售代表提供的广告后不久,她看到更多的正面评论不见了。

Yelp –勒索生意?

早在2009年,揭露在加利福尼亚州奥克兰当地报纸上发表的名为“东湾快车"的报道。在接受Yelp采访时(如下所示),我们被告知East Bay Express是“当地小报"。但是,从其“关于我们"页面上看,East Bay Express似乎只是一家当地报纸,自1978年以来就开始营业,致力于“深入的当地报道,艺术和餐饮报道"。

Yelp的成就是什么代表形容文件是这样吗?可能是2009年2月18日发表的标题为“ Yelp和勒索的商业2.0"的文章,其中详细介绍了奥克兰当地企业主的许多说法,这些说法与Yelp操纵评论的观点相同。

记者提供了在业主拒绝刊登广告后正面评论消失或出现负面评论的特定情况。

最令人印象深刻的是,East Bay Express记者接受了一位前Yelp合同员工的采访,后者告诉该报。 Yelp的销售代表承认承诺要移动评论只是为了获得广告销售。

Yelp的采访

要了解Yelp的观点,我们联系了Yelp公关经理克里斯汀·惠森南(Kristen Whisenand),将我们与Yelp业务拓展负责人Darnell Holloway联系起来。

Ryan:因此,我使用Yelp作为审阅者,并且我注意到经常进行审阅被推入这个“不推荐"的部门他们不算的地方。我知道评分算法是秘密的,但您可能可以理解某些人是如何开始相信正在进行某种操纵的?

Darnell :实际上我们一直都很透明地处理评论。作为消费者,您希望您在评论中在线阅读的体验与您从事该业务时的体验保持一致。因此,我们意识到,需要有一个系统来确保我们向消费者群体显示最有用和最可靠的评论。

当我们首次首次发布时回溯在Yelp上,不久之后,我们在Yelp上看到了我们的第一个明显为假的评论。那不是Yelp特有的问题,而是整个Internet上的问题。这是因为,有很多企业主的心态是:“嘿,我需要获得尽可能多的评论,所以我将尽一切可能提高我的评分。"

有时候,有时您会在一些企业进行自我评估,给予竞争对手负面评价,甚至购买虚假评价的情况下,表现得很糟糕。甚至让所有的朋友和家人给他们留下五星级的评价。

Ryan :有些企业实际上在互相攻击?

Darnell :是的,直到今天。同样,这不是Yelp发生的事情。这通常是在互联网上发生的。因此,我们决定我们想要一个实际上对消费者有用的平台。因此,这就是该推荐软件的作用。

它的工作原理是它是一种计算机算法,它根据质量,可靠性和每个用户在Yelp上的活动来分析每条撰写的评论。因此,它实际上可以看到许多有关每个撰写评论的人在网站上的行为以及他们的习惯的后端数据。

为什么不推荐评论有三个原因。一个是评论显然是伪造的,但也有表明某种偏见的评论。例如,如果我们看到多个帐户使用相同的IP地址为同一企业撰写评论,则不建议使用这些评论。

Ryan :因此,如果

Darnell :对吗?因此,例如,我认识一个拥有汽车经销店的人,他说:“您知道,我认为您的推荐软件已损坏,因为不推荐我最近的所有五星级评论。"出来,他在展厅的地板上建立了一台笔记本电脑,和他用来登录企业主账户的计算机一样,他正在让人们坐下来,创建Yelp个人资料,并给他留下了五星级的评价。 p>

Ryan :那么,基本上,您尝试结合一堆可编程的“传感器"来识别这种行为吗?

Darnell :我们的推荐软件会查看后端的许多信号。除了IP地址数据外,出于显而易见的原因,我们并没有真正详细介绍。但是,我们要看三件事。推荐软件不太可能推荐虚假或偏见的评论,也不能推荐无用的rant或rave。

如果某人发布了一个负面的rant或rave积极的狂欢,并且除了网站之外并没有真正参与其中,我们称这些人为路过的评论者。对于我们的消费者来说,这不一定是最有用的评论内容。最后,来自我们的信息不多的人的评论。

在创建评论之前,您必须先创建个人资料,我们鼓励Yelp用户留下有关的信息他们自己。如果人们选择不真正建立自己的个人资料或成为Yelp社区的活跃成员,那么我们没有足够的信心推荐他们在网站上发布的评论。

Ryan strong>:您是否认为为识别这些行为而提出的某些算法可能会摆脱合法的评论?

Kristen : ,那是第一点。这些评论中有一些是完全合法的,它们可能不是那里最有用或最有用的评论。我发现您有您的条评论中的一条被过滤掉了,您不推荐这样做。毫无疑问,您实际上是该行业的客户。

Ryan :这确实是一个很好的观点。我从事IT工作。当那件事发生在我身上时,我感到惊讶。我是合法客户。我发表了负面评论。这是我第一次使用Yelp,我注意到评论消失了。

直到我意识到自己只有一颗星星,这才是我的第一篇文章,意识到它一定是某种程序或算法。但是您必须意识到,对于没有这种IT背景的人来说,这就像操纵。

Darnell :Ryan,很明显,我们的推荐软件一直在不断评估可获得的信息。因此,如果那是不建议您评论的原因,因为您只是我们所不了解的用户,随着时间的推移,如果您确实成为Yelp社区的活跃成员,那么就有可能系统会将您的评论添加到该企业的“推荐评论"部分。

Ryan :是的,我知道,这就是发生的情况。但是我要说的是,人们很容易误解该系统。您如何克服人们对评论进行操纵的社会观念?

Darnell :好,这就是重点。 Yelp上有两个观众。我们有消费者,也有企业主。对于某些企业主来说,这可能会造成混淆,主要是因为许多企业主希望获得完美的五星级评价。

正如我所提到的,我们已经看到人们竭尽全力来提升自己的水平。通过无机方式对其进行评级。虽然对于某些人来说可能令人沮丧,但在硬币的另一面,消费者继续发现Yelp有用。

如果您看一下我们的数据,我们现在有1.32亿人每月都会访问该网站以查找有关本地企业的信息。因此,我们的目标实际上是确保消费者体验很棒。当人们在Yelp上阅读内容时,我们希望他们在离线世界中获得与网站上所写内容一致的体验。

Kristen :另一个重要的注意事项是Darnell和他的同事四处走走,并教育越来越多的企业主。在PR方面,我们将继续通过与您一样的网站合作并撰写博客文章来教育消费者。当然,还需要继续进行很多教育和提高透明度。

当您说:“您难道看不到消费者可能对此感到困惑吗?" —或者,如果我们要展示消费者该网站上的每条评论,那么消费者就会被这些评论和信息所误导,因为我们会因虚假评论而变得不知所措,并且企业会人为地夸大他们的评论,或者是企业抨击竞争对手。该内容将不再对消费者有用。

销售和广告操纵评论?

Ryan :这很不错,但另一方面让我感到困惑的硬币是所有这些故事都发生在2009年和2010年。在那个时候,Yelp的销售部门是否正在发生什么事情,即使公司否认了,销售人员仍可能承诺进行审查操纵?

Darnell :绝对不是这样。 2009年,一个当地小报(称为《东湾快车》(East Bay Express))发表了一个故事,他们制作了这样一个耸人听闻的标题“ Yelp and Business of Extortion 2.0",并告诉了这个故事,这是关于一家企业做出这些主张的,以及

我认为当时引起这种混乱的原因之一是因为Yelp还是一个相对较新的概念,而整个评论网站的概念没有显示100%的评论,我认为还是有点外国概念。因此,人们误以为“东湾快车"中的故事一定是真实的,这就是为什么不显示这些评论的原因。从那以后,这成为整个互联网模因,一再被反复揭穿。

Ryan :遭到揭穿?有许多广告客户被命名。他们引用了Yelp的一名前合同雇员提出这些索赔。文章中甚至提到了企业本身。您是说所有这些人都在撒谎吗?

Darnell :这是东西。在法庭上提出的主张由于缺乏证据而被一再抛出。哈佛商学院进行了一项独立研究,在查看了我们的推荐软件后,他们自己决定,就软件在我们网站上的运行方式而言,广告商与非广告商之间没有区别。最后,任何人都可以自己搜索并在Yelp上查找负面评论的广告客户。这就引出了一个问题,如果这些广告客户有一个神奇的按钮可以消除所有负面评论,为什么不使用它呢?答案是因为它不存在。

**作者注:哈佛大学的研究实际上是为了确定Yelp上有多少企业在进行审核欺诈。关于广告的部分根本不是研究的重点。实际上,研究人员在报告中指出:

“第三,我们的测试显然没有任何能力来检测与更改决策无关的歧视。因此,尽管我们的分析提供了一些反对Yelp有利于广告商的理论的暗示性证据,但我们强调这既不是详尽无遗也不是结论性的。

Darnell :“关于您的其他观点,这超出了本文的范围,并且超出了我们数据集的能力来评估Yelp可能偏爱广告商的所有方式。"销售人员。如果我们销售人员中的任何人曾经提出这些索赔,该人将被解雇。第二,我们的销售团队完全无法控制网站上的评论内容,而我们这样做是有意的,因为我们希望避免任何利益冲突。如果有人在我们的网站上购买广告,那么他们获得的只是搜索广告和页面上的付费升级,例如视频播放器和照片幻灯片。

Ryan :销售人员是否曾经在Yelp上进行这种活动?

Darnell :否。没有任何证据表明发生这种情况。现在,我们的首席执行官几个月前在做Reddit AMA时说的一件事是,我们是一家大公司,我们有1000多名推销员打电话给企业。

是否有可能一个无赖的销售人员可能会说出类似的话?也许。但是,如果他们这样做了,并且曾经被抓住,那他们就会被开除,也没有办法让他们兑现这一诺言。但是,没有证据表明这确实发生了。我们从这种总体情况推断出,一篇文章引起了人们对我们推荐和不推荐评论的过程的困惑。然后发生了这样的Woozle效应互联网模因。

Kristen :我认为甚至可能发生的事情是,企业在收到客户通知之前就不会知道他们有Yelp列表销售人员打来的电话。因此,他们拒绝做广告。他们对自己说:“我不需要为此付费。我只是要问我的妈妈,我的堂兄,我的朋友们发表正面评论。"然后,突然之间,他们意识到自己为征求这些评论或亲自撰写评论所做的所有努力–他们都“消失了"。然后,他们将所有事情发生的相关性归因于,因为他们拒绝刊登广告。

内部政策和利益冲突

瑞安:您是否对员工有任何内部政策,以至于在为Yelp工作之外进行自己的个人评论有利益冲突?

Darnell :绝对。我们的销售人员中没有人可以对Yelp上的任何业务撰写评论。那是强硬政策。除此之外,我们在质量控制方面经过了不懈的努力,以确保我们的销售人员受到培训,使其首先和最首先尊重企业主,并确保他们出售可以交付的产品,然后再进行销售。是搜索广告并在其业务页面上进行了付费升级。

Kristen :我们还注意到,在所有企业主签署广告合同时都签署的合同中没有联系在Yelp上的广告和内容之间。您还应该在所有商家信息上注明:“您的信任是我们的首要考虑,因此企业无须支付更改或删除其评论的费用。"因此,我们希望非常透明,在支付之间没有任何联系用于广告和接收在线评论。

Ryan :企业是否也不允许有一项赞助评论,可以选择将其列在页面顶部?

Darnell :是的,这是我们于2010年停用的功能。它被称为“收藏夹评论",这意味着他们被允许选择其中一项。他们认为是最好的评论,并在页面顶部突出显示。这不会影响他们的整体评分,也不会影响其他评论的订购方式。但是,我们发现它不是最有用的广告工具之一,而且我认为这也是造成有关处理评论的模因的众多困惑的一部分。

Ryan :那么该功能的退出与2009年开始的不良宣传直接相关?

Darnell :是的,我们退休了那个故事问世之后​​。我们认为这可能是造成这种混乱的原因的一部分。

Yelp代表在这次讨论中非常坦率,即将到来,这是有充分理由的。这些阴谋论多年来一直困扰着公司。实际上,他们甚至发布了一个页面来证明“钱除了广告之外什么都买不到"。

真相? Square Cow Moovers的访谈

在这场辩论的另一端,有非广告客户的主张和证据(证人声明)说,不仅销售人员告诉他们,Yelp会操纵评论,但是在广告减少之后,实际上却操纵了正面的看法。

Yelp代表现在有非常明确的声明,强烈反对这种说法,并说这是企业主的误解,他们没有这样做完全了解推荐软件的功能。为了结束循环,我们决定与两家在Yelp上积极投放广告的企业进行交流。

Ryan:您的企业在Yelp上开展业务已有多长时间了?

韦德: 5年(大约)

瑞安:在决定投资广告之前,您在Yelp上待了多长时间?<

韦德: 1.5年(大约)

瑞安:使用Yelp购买广告后,您是否立即注意到广告的增加或降低您的Yelp评分?

韦德:是和否。是的,因为它似乎确实有所上升。但是,这不是一朝一夕的成功。有一阵子,我们觉得Yelp似乎正在为自己付出代价,但并没有付出更多。大约6个月后,我们到达了一个转折点,似乎我们接到了在Yelp上找到我们的人的电话。好吧,一旦我们为这些人服务,他们就会回去并“喊"我们。然后更多的人在Yelp上阅读了关于我们的信息,他们使用了我们,然后对我们进行了大喊。

Ryan:用Yelp做广告后,随着时间的推移,您最终看到Yelp评分增加还是减少?

< strong>韦德:我们的第一个Yelp评论是一颗星。太可怕了它吓坏了我们。我们立即知道我们需要关注在线消费者评论。一旦我们专注于业务的这一方面,评论就开始堆积起来,大多不错,但有些则不太好。我们认为,重点在于提供高水平的服务和执行力,从而获得积极的评价。

Ryan:您在Yelp广告上的投资会得到什么回报?

Wade:要响铃的电话。这就是所有企业都需要从营销投资中获得的收益。设计有多酷,想法有多新颖或新颖都无关紧要。

Ryan:一些非广告商声称Yelp操纵着选择不做广告的企业的评级。您是否知道这一主张,并且您认识任何主张同一件事的同事或其他企业吗?

韦德:您将不得不住在一个山洞中而听不到这些谣言。在过去的几年中,我给予了很多思考和考虑。最后,我100%反对这一理论。真正专注于提供卓越体验,出色服务以及精确执行的公司在Yelp上似乎总是表现出色。

在Yelp上,借助Lockbusters

我们的下一次采访是与纽约Lockbusters的所有者Jay Sofer一起。

Jay:距现在已有五年多了。

Ryan:在决定投资广告之前,您在Yelp上待了多长时间?

周杰伦:在活跃于Yelp的六个月内。

Ryan:使用Yelp购买广告后,您是否立即注意到Yelp评分有所提高或降低?

Jay:我立即注意到业务增长,评论和评分。广告使我在更多的Yelpers和潜在的评论者面前。由于接触有限,我已经获得了良好的评价。广告将我的公司从一个较小的区域转移到了纽约市的三个行政区。

杰伊:评分和评论一直在不断提高。我几年来一直保持五星级评级。这很大程度上取决于我面前有多少个Yelpers,以及他们如何分享自己的积极经验。

Ryan:您在Yelp中的投资会获得什么回报广告?

周杰伦::我目前报名参加了最高的广告套餐。我90%的客户(新潜在客户)来自Yelp。我公司的总收入是每年一百万。

Ryan:一些非广告商声称Yelp操纵着选择不做广告的企业的评级。您是否知道这一主张,并且您认识任何主张同一件事的同事或其他企业吗?

周杰伦:我听说过许多有趣的传说在这里传播。商业世界。我发现其中大多数人都是荒谬的。在我看来,企业主往往会因自己的不良商业行为而尽力而为。

Yelp与他们的获得方式无关。客户服务和与Yelpers的互动意味着一切。但是,我完全理解对“基于审阅的市场"的反应,对于在成立之初就经历过成功的企业主来说是一个巨大的冲击。我认为他们没有意识到自己现在需要为自己的业务实践承担多少责任,尤其是在客户服务方面。游戏已经变了,所以进化还是死了。

您怎么看?

非广告客户说,评论操纵游戏对Yelp不公平。 Yelp声称没有一开始的游戏。最后,Yelp广告客户说,尽管自广告发布以来,他们获得了更多更好的评论,但这是因为Yelp网站上的曝光率更高,并且更加注重商业惯例和客户服务。

该怎么办您认为?哪种情况最引人注目? Yelp广告操纵阴谋论是否仅仅是阴谋?还是有一些道理?就像Google的秘密搜索算法或肯德基上校的秘密秘诀一样,答案都藏在密闭的门下。因此,我们可能永远无法真正确定。

图片来源:友好的呼叫中心,通过Shutterstock上的Juniart,通过Kristen Whisenand Linkedin的个人资料,通过Darnell Holloway的LinkedIn个人资料,通过Jeremy Stoppelman的个人资料LinkedIn ,Pavel L照片和视频/ Shutterstock.com,Jay Sofer图片来自Lockbusters

标签: Meme 用户评论