天道酬勤,学无止境

Clarification on Sitecore A/B Testing Results

We have recently started using Sitecore A/B Testing and I am getting lots of questions about how the scoring works. I have been through the relevant Sitecore DMS documents but I still am not 100% sure if I understand how the scoring works.

My basic understanding is that the scores are based on Value Per Visit and my assumption is that the the value relates to the whole visit and not just the specific components we may be trying to optimize with the A/B Test.

For example, if option A has a goal associated with it worth 5 points, anyone presented with this option would get 5 points PLUS any other goal values they trigger during that visit to the site. That might add 5, 10, 50 or more to the visit score and then the option A score would be "total visits score/total visits".

Can anyone confirm if my assumptions are correct or explain where I may be off base? Can a user presented with option B change the score for option A?

评论

By default, the Engagement Value is calculated on a per-visit basis. So your assumption is basically correct - and it does make it hard to test how a particular component variation does against another.

That being said; there are tools to help you.

We're currently implementing SBOS Accellerators into our solution. We have the same issue you are describing, and need a more fine-grained approach to testing.

Basically SBOS accellerators will allow you to track individual personalisation performance, not "just" looking at the overall Engagement Value.

Lars Petersen blogs about it here: http://www.larsdk.dk/2014/01/must-have-marketplace-modules-for-sitecore-digital-marketing-system/

Marketplace link for the module here: http://marketplace.sitecore.net/en/Modules/SBOS_Accelerators.aspx

We found a few issues in testing the module, but none were really severe. I know these issues are being fixed if they haven't already.

受限制的 HTML

  • 允许的HTML标签:<a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd> <h2 id> <h3 id> <h4 id> <h5 id> <h6 id>
  • 自动断行和分段。
  • 网页和电子邮件地址自动转换为链接。

相关推荐
  • Unit Testing Sitecore using NUnit, serializing content
    In my business, I am working on Unit Testing, after finishing an example in a .NET application. We want to use a standard .NET Unit Testing project. We also want to mock the Sitecore data by serializing the Sitecore objects. I have been looking for, but could not find a good tutorial to do this. How can I do this?
  • Sitecore搜索的基本用法(Very basic usage of sitecore search)
    问题 我正在尝试设置一个非常基本的搜索索引,以索引特定文件夹中的所有项目。 我并没有真正使用太多的搜索功能,但是我尝试使用开箱即用的功能,因为它的搜索非常简单。 我只想索引所有字段。 sitecore文档确实并没有提供太多信息-我读过一些博客,而且它们似乎都暗示我需要高级数据库搜寻器(http://trac.sitecore.net/AdvancedDatabaseCrawler)-基本上,如果没有自定义抓取工具,它将无法正常运行)。 这是正确的吗? 我只想创建一个简单的索引,然后开始使用它。 没有任何共享模块或其他方式的最简单方法是什么? 我浏览了sitecore上的文档,但是(至少对我而言)不是很清楚。 它在web.config中定义了索引配置的不同元素,但并未真正解释它们的作用以及可用的值。 也许我找的地方不对。 回答1 仅需3个步骤,即可在Sitecore中使用特定节点下的所有项目创建新的Lucene索引的简单方法: 1:将以下配置添加到Sitecore配置中的configuration/sitecore/search/configuration/indexes中: <!-- id must be unique --> <index id="my-custom-index" type="Sitecore.Search.Index, Sitecore.Kernel"> <!-
  • Sitecore性能优化-Sitecore配置,IIS配置(Sitecore performance optimization - Sitecore configurations, IIS configurations)
    问题 我们计划在生产服务器中部署我们的系统。 我有兴趣了解有关优化网站性能的更多信息。 建议对Sitecore做哪些优化? (缓存,网络配置中的其他设置) 我们可以在IIS中进行哪些优化? 找不到关于这些主题的好文章。 感谢任何帮助:)。 回答1 您是否浏览了所有Sitecore建议的做法和性能调整指南,并应用了所有这些方法? 查看这些提示和技巧,以帮助优化您的Sitecore网站,并查看此Sitecore网站实时核对清单。 在此John West博客文章中,也提供了很多很好的信息。 您是否首先将组件设计为以最有效的方式可缓存的? 确保正确设置了缓存: 通过Sitecore的HTML缓存进行缓存缓存配置参考如何验证HTML缓存是否正常工作 您是否在您的站点上进行了负载测试模拟? 有很多工具,请看jMeter和LoadUI来模拟流量。 您可能还需要查看C#代码,以确保没有瓶颈。 我发现90%的时间中,许多可察觉的性能问题都归因于前端渲染。 确保标记尽可能轻巧,JS和CSS最小化并且代码已优化。 优化浏览器渲染编写高效的CSS选择器 Sitecore前端开发最佳实践 使用可用的工具查看您的前端瓶颈在哪里: 雅虎YSlow Google PageSpeed
  • Find sitecore items with a specific OMS profile?
    I have to find all items in Sitecore (or rather, in the contents) that have a certain OMS (marketing suite) profile checked in the "Tracking" attribute. The Tracking attribute appears to be stored as XML and has a raw value like <tracking> <profile name="Widdly Scuds"><!-- some irrelevant keys... --></profile> </tracking> and I need to fetch, for example, all items with the "Widdly Scuds" profile. The first solution I thought of was fast query over the Tracking attribute. Sitecore query or XML would have to crawl the entire contents each time, which would probably be unacceptably slow, but I
  • 模板构建器中sitecore“源”字段的查询表示法(Query notation for the sitecore 'source' field in template builder)
    问题 我正在尝试使用查询符号(或xpath-取其有效)来设置模板的source字段,但是它们似乎都不起作用。 我的内容树是一个多站点内容树: France --Page 1 ----Page1A -------Page1AA --Page 2 --Page 3 --METADATA ----Regions US --Page 1 ----Page1A -------Page1AA --Page 2 --Page 3 --METADATA ----Regions 每个站点都有其自己的METADATA文件夹,因此我想要它,以便在每个主要国家/地区节点内添加页面时,我希望这些值能够反映该站点的METADATA中的内容。 我现在有两个不同的字段-一个droplink和一个treelistex字段。 因此,我认为我可以仅获取作为国家/地区站点的父项,并为此获取元数据文件夹。 当我在两个字段中都输入以下查询时,我得到不同的结果: query:./ancestor::*[@@templatename='CountryHome']/METADATA/Regions/* 对于droplink字段,我仅获得第一个Region(一项) 对于treelistex字段,我得到了整个内容树 然后,我尝试对查询进行一些修改,并删除了“查询”表示法 ./ancestor::*[@@templatename=
  • jQuery调用webmethod始终出现“ 401未经授权”错误(Getting “401 Unauthorized” error consistently with jquery call to webmethod)
    问题 我一直在努力让我的jquery调用一个web方法起作用。 我被服务器退回,并显示“ 401未经授权”。 我必须在web.config或其他地方设置不正确的设置,否则将无法成功进行呼叫。 感谢您的见解! 调用js函数将调用jQuery调用 button.OnClickAction = "PageMethod('TestWithParams', ['a', 'value', 'b', 2], 'AjaxSucceeded', 'AjaxFailed'); return false;"; 进行jquery调用的JavaScript函数 function PageMethod(fn, paramArray, successFn, errorFn) { var pagePath = window.location.pathname; var urlPath = pagePath + "/" + fn; //Create list of parameters in the form: //{"paramName1":"paramValue1","paramName2":"paramValue2"} var paramList = ''; if (paramArray.length > 0) { for (var i = 0; i < paramArray.length; i += 2)
  • 何时在 Sitecore 7 构建中绝对使用 SOLR 而不是 Lucene?(When to definitely use SOLR over Lucene in a Sitecore 7 build?)
    问题 我的客户没有预算来设置和维护 SOLR 服务器以在他们的生产环境中使用。 如果我正确理解了 Sitecore 7 Content Search API,那么配置事物以使用 Lucene 并不是什么大问题。 大多数情况下,配置将是相似的,代码将是相同的,以后可以换入 SOLR 服务器。 网站建设有 分面搜索页面在登陆和其他页面上列出将利用内容搜索 API 的组件具有自定义面的存储桶 该网站有大约 5,000 个页面和组件,不包括媒体库项目。 简单地使用 Lucene 是否有任何顾虑? 主要问题是,在您的架构或设计阶段,您何时知道应该选择 SOLR 而不是 Lucene? 导致您建议这样做的主要迹象是什么? 回答1 我认为,如果您要与预算有限的客户打交道,那么 Lucene 将工作得非常好,并且在您正在做的事情的规模上表现出色。 Lucene 中的实现完全支持您提到的所有内容。 在 Sitecore 场景中,如果出现以下情况,我会开始考虑 Solr: 您需要为大量项目建立索引——比如 5 万个以上——Lucene 对这些数字很满意,但 Solr 改进了查询缓存,专为这些大量项目而设计。 搜索层的弹性具有最大的业务重要性(即站点完全由搜索驱动)——Solr 通过 SolrCloud 提供了更强大的复制/分片和故障转移系统。 在其他应用程序中重新调整搜索层的用途很重要(非
  • 需要澄清有关开发者控制台上的Beta / alpha测试的信息(Need some clarification about beta/alpha testing on the developer console)
    问题 背景 Android开发者控制台具有3个标签,用于发布应用的apk文件:alpha,beta和生产版,如下所示: 正如我在一次Google IO讲座中所回顾的那样,在进行100%规模发布之前,检查您的应用程序质量的一种很酷的方法是仅允许一部分用户下载该应用程序。 我认为这称为“分阶段发布”,因为您可以将发布发布,以防有​​太多问题无法发布给所有人。 我的问题 它们之间到底有什么区别,特别是Alpha和Beta之间有什么区别? 游戏商店中只有生产阶段可供人们使用,对吗? 哪一个/几人只允许发布给特定的人/百分比,您以哪种方式进行发布? 至少在测试阶段,哪个阶段允许进行应用内结算? 我不明白为什么即使在上传应用程序之前我也无法对其进行测试。 在百分比方法中,如果我以相同的方式发布新的应用程序版本,那么它会为有幸安装前一版本的人首先更新吗? 回答1 请参阅Play控制台上针对Android开发人员的四种发布类型; 1.内部测试-这意味着您希望在确定的成员之间共享您的应用程序。 这意味着您必须将他们的Gmail放入测试人员列表。 这通常是给员工的。 2. Alpha测试-与内部测试相同,但是这次您可以将应用发送给您的朋友,家人或智能手机。 3. Beta测试-这是一个严重的问题,这是公共测试。 但是人们无法对您的应用发表评论。 您还可以限制可以安装该应用程序的用户数量。 4.正式版
  • Sitecore Search Predicate Builder multiple keyword search with boosting not working as desired
    I have sitecore pages / lucene documents with the following fields: Title Filename Content File Contents I'm creating a search for these and have the following requirements: Hits containing the whole phrase in the title field should be returned first. Hits containing the whole phrase in the filename field should be returned second. Hits containing the whole phrase in the content should be returned third Hits containing the whole phrase in the file contents should be returned fourth Hits containing all of the keywords (in any order) in the title field should be returned fifth Hits containing
  • Query notation for the sitecore 'source' field in template builder
    I am trying to set the the source field of a template using the query notation (or xpath - whichever works), but none of them seems to be working. My content tree is a multisite content tree: France --Page 1 ----Page1A -------Page1AA --Page 2 --Page 3 --METADATA ----Regions US --Page 1 ----Page1A -------Page1AA --Page 2 --Page 3 --METADATA ----Regions Each site has its own METADATA folder, and I want it so that when adding a page inside each of the main country nodes, I want the values to reflect whatever is in the METADATA of that site. I have two different fields for now - a droplink and a
  • Sitecore和ASP.net MVC(Sitecore and ASP.net MVC)
    问题 我们正在启动一个以sitecore作为CMS的新项目。 我当时正在考虑将Sitecore用作内容创作工具,并与Sitecore一起在Content Delivery(CDA)方面使用ASP.net MVC。 很想听听您对此的想法和想法。 有人尝试过吗? Sitecore和MVC是竞争技术还是互补技术? 任何建筑构想都是值得欢迎的。 回答1 在某些情况下,将两者合并可能会带来巨大的好处。 MVC不太适合内容驱动的网站。 但是,具有结构化流程和多个数据表示形式的Web应用程序将从中受益匪浅。 当涉及到多个数据表示时,Sitecore具有一定的局限性-您只能在一个项目上定义一组设计详细信息。 如果您不需要所见即所得的编辑或简单的一键式预览,则可以将Sitecore用作数据存储库,并利用其管道中的某些Context值(例如语言)。 为了使这项工作正常,必须对Sitecore HTTP管道进行一些修改: 1)如果使用IIS6中的aspx扩展名来获取ASP.NET来处理MVC请求(例如/Controller.aspx/Action),请修复Sitecore的FilePath解析(Sitecore解析文件路径的方式会导致路径获取错误。切碎的)。 要解决此问题,请在httpRequestBegin管道的开始处放置一个新处理器。 public class MvcFixHttpProcessor
  • 设置 FieldRenderer 的 Item 或 DataSource 属性的好方法是什么?(What's a good way to set the Item or DataSource attribute of a FieldRenderer?)
    问题 场景是我有很多 FieldRenderer。 这些应该从不同的地方输出数据,一些来自项目 X,其他来自项目 Y。并且应该从项目 Z 输出属性。 假设我有一个公共属性ItemX想要从中输出一个属性,以下任何一种都可以。 但我没有得到任何输出: <sc:FieldRenderer runat="server" FieldName="Logo" DataSource="<%# ItemX %>" /> <sc:FieldRenderer runat="server" FieldName="Logo" DataSource="<%= ItemX.Paths.FullPath %>" /> <sc:FieldRenderer runat="server" FieldName="Logo" Item="<%# ItemX %>" /> <sc:FieldRenderer runat="server" FieldName="Logo" Item-ID="<%# ItemX.ID %>" /> <sc:FieldRenderer runat="server" FieldName="Logo" Item-ID-Guid="<%# ItemX.ID.Guid %>" /> 如果我向它添加一个 ID MyFieldRenderer并执行下面的丑陋部分,我会得到正确的输出:
  • Sitecore 允许访问父节点周围的子节点(Sitecore enables accessing child node around parent)
    问题 我有一个 sitecore 多站点设置。 我目前正在努力解决“重复内容综合症”,因为 google bot 为我的网站编制了索引,并且能够访问对方网站的内容。 这意味着它会在 2 个不同的主机名上找到相同的内容,这在 google 搜索中给这些网站一个较低的评级。 它发现重复内容的原因是,我能够通过在 URL 中键入名称来访问 oppsosite 站点上的子节点,而不是我当前正在浏览的子节点。 这是我对站点的 web.config 设置: <站点名称="website2" hostName="local.domain.dk" virtualFolder="/" >physicalFolder="/" rootPath="/sitecore/content/talk" startItem="/" database="web" domain=" extranet" allowDebug="true" cacheHtml="true" htmlCacheSize="10MB" registryCacheSize="0" viewStateCacheSize="0" xslCacheSize="5MB" filtersItemsCacheSize="2MB" enablePreview="true" enableWebEdit="true" enableDebugger=" true
  • How to disable Sitecore Analytics entirely
    We are experiencing cpu problems on our production servers. After profiling with the jetbrains cpu profiler, we have noticed that some functions in the assembly Sitecore.Analytics were executed. This is somewhat strange because we have disabled all analytics related configuration in de config files. After looking into the /sitecore/admin/showconfig.aspx we noticed that there are still a lot of Sitecore.Analytics related configurations in this config while these are deactivated in our config files. For example In the file /App_Config/Include/EventHandlers.config the configuration looks like
  • Sitecore中的GeneralLink(GeneralLink in Sitecore)
    问题 我是Sitecore的新手。我创建了一个Page模板,并为General Link类型的URL添加了一个字段。 我为链接的文本创建了另一个字段(这是该项目的标准做法)。 我只是想在用户控件中显示该链接,但是我无法使其正常工作。 这应该很简单,但我正在转圈 这是我尝试过的代码示例。 ascx: <asp:HyperLink runat="server" ID="lnkMain"></asp:HyperLink> ascx.cs: lnkMain.NavigateUrl = SiteCore.Context.Item.GetGeneralLink("Link1"); lnkMain.Text = item.GetFieldValue("Link1Text"); 回答1 您应该小心使用linkField.Url因为它会错误地呈现到Sitecore项目和媒体的内部链接。 您应该改用Sitecore.Links.LinkManager.GetItemUrl(item)和Sitecore.Resources.Media.MediaManager.GetMediaUrl(item) 。 最好有一个辅助方法(扩展名),根据链接的类型为您返回正确的URL。 看一下Sitecore链接与LinkManager和MediaManager的博客文章,其中包含为此所需的正确代码。 以供参考:
  • Why does Sitecore publish draft items from the C# API, and how do I stop it doing so?
    I'm running a scheduled publish of my Sitecore master DB using the Sitecore publishing API. I call a web service at scheduled intervals during the day which runs the following code (slightly condensed for readability): // grab the root content node from sitecore Item contentNode = dbSource.Items[ID.Parse("{0DE95AE4-41AB-4D01-9EB0-67441B7C2450}")]; PublishOptions options = new PublishOptions(sourceDatabase, targetDatabase, PublishMode.Smart, lang, DateTime.Now); options.RootItem = contentNode; options.Deep = true; Publisher p = new Publisher(options); p.PublishAsync(); When we run the above
  • 软件测试初认识(四)
    软件测试流程 一般测试人员介入流程如下: 需求评审 分析需求,编写测试用例 搭建环境,配置数据 执行测试用例 发现bug,提交bug 回归测试,bug追踪与管理 测试报告 测试计划,测试方案等一般由测试经理完成。 测试计划是什么? 软件测试工作正式实施以前,对测试资源、测试时间、测试风险、测试策略、测试范围等方面的分析和规划,保证有序有效的实施测试工作。 不同公司根据项目内容和管理方式会有自己专有的模板,但是主要体现的内容如下: 测试方案是什么? 测试需求的细化,明确测试测试策略,测试用例的设计方法,测试环境的规划,自动化测试框架的设计,测试工具的设计和选择,测试脚本和测试数据的设计。 区别: 测试计划强调“做什么”。 测试方案强调“怎么做”。 测试计划属于管理文件,而测试计划是技术文档。 测试用例 测试用例(Test Case)是对特定软件的具体功能模块的测试描述,由一组测试输入、执行条件以及预期结果等组成,以便测试某个程序路径或核实是否满足某个特定需求。 测试用例的主要包括以下内容: 用例编号、测试标题、重要级别、预置条件、测试输入、操作步骤、预期结果、实际结果、是否通过 来源:https://blog.csdn.net/qq_41661800/article/details/115364808
  • Sitecore authenticate users against external membership database
    I have a Sitecore site where I want to have website visitor accounts stored in an external asp.net membership database but keep Sitecore content editors/admins managed via the Sitecore interface (and hence stored in the 'Core' database). I've read through the following forum post http://sdn.sitecore.net/SDN5/Forum/ShowPost.aspx?postid=35305 in which the following documents are mentioned http://sdn.sitecore.net/upload/sitecore6/62/membership_providers_sc62-a4.pdf http://sdn.sitecore.net/upload/sitecore6/62/security_api_cookbook_sc60-62-a4.pdf http://sdn.sitecore.net/upload/sdn5/modules/ad/low
  • Sitecore 的 core、master 和 web 数据库之间有什么区别?(What is the difference between Sitecore's core, master, and web databases?)
    问题 Sitecore 的 core、master 和 web 数据库之间有什么区别? 回答1 我建议您查看 Launch Sitecore 站点以了解有关 CMS 的更多信息。 从 Sitecore Architecture 上的页面: 掌握 Master 数据库是创作数据库 - 它包含任何内容或资产的所有版本。 核 Core 数据库是所有 Sitecore 设置,以及包含 .Net 成员资格提供程序(即 Sitecore 存储库中包含的用户/角色)的表网络 Web 数据库只是最新发布的版本,以及驱动实时网站的内容。 因此,它是主数据库的一个子集,针对大小和速度进行了优化。 发布内容或完成工作流的发布任务时,会将最新的内容版本从主服务器复制到 Web 数据库。 当然,在企业部署中,您可能有多个 Sitecore 实例,它们可能共享(或不共享)数据库 回答2 Master:包含所有项目的所有版本。 这是内容作者与之交互的数据库,也是 Sitecore 内容编辑器使用的默认数据库。 Web:这仅包含项目的当前版本。 这是支持实时网站的数据库。 核心:这个数据库有两个目的: 它包含 Sitecore 用户界面(内容编辑器、页面编辑器等)的定义。 例如,您可以在此处向内容编辑器添加新的右键单击选项或向页面编辑器添加新的功能区按钮。 它包含驱动身份验证和安全性的 ASP.NET 成员资格表
  • Select node based on child node value in Web.config Transform
    I have the following XML in my web config and I would like to select an attribute for removal using web.config transforms, but I would like to select the element for removal based on the value of one of the child elements. My web.config is something like this: <configuration> <sitecore> <scheduling> <agent type="Sitecore.Tasks.DatabaseAgent"> <param desc="database">core</param> </agent> <agent type="Sitecore.Tasks.DatabaseAgent"> <param desc="database">master</param> </agent> </scheduling> </sitecore> </configuration> I have tried the following to try to select the second agent element for