马红兵

数据分析讲堂

第二课 OLAP系统的功能性需求

第十讲　决策循环

在有意图活动的饿框架中，信息被用于决策制定。正如图2.10.1中描述的，所有有意图的活动，无论其执行者是个人、企业还是政府，都可以用一组决策——执行——环境——表示（DEER）的循环来表达。
在这种循环关系中，主要包括了以下一些相关已经标记出来的行动阶段、角色和功能：
l       决策
l       决策的执行
l       决策的执行和相关结果发生的环境
l       未来决策支持环境的表示
其中的每个阶段都需要基于前面的一些结果。
图2.10.1显示了一个典型的OLAP环境，在其中可以进行决策制定，同时执行产生的结果也能够在这个环境中执行衡量和展示。
需要注意的是，在循环的每个阶段都可能获得或者失去一定的价值。因此，价值的得失与很多因素有关，如决策的好坏、执行的好坏、环境因素的好坏、信息展现形式的好坏等。
之所以选择从DEER循环的角度观察企业和他们的信息系统，是因为这样能够将所有在有意图行为框架中存在的行动和事件联系起来。
下面让我们使用DEER方法来构造图2.10.2，围绕促销数据发生的一些事件。促销数据本身是环境..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第九讲　OLAP的功能性需求（3）

速度是OLAP一个至关重要的组成部分，这并不是为了让你吃惊，而是为了跟上你思维的速度。OLAP需要支持任意的查询，其中的一些需要根据要求即时计算。例如，一个人可能会从查询上季度整体产品在北京的利润情况来开始他的分析。当看到利润小于预计值的时候，他可能会深入到各个省区查看整体产品利润情况。这里，他可能发现有些省区的利润明显低于其他省区，于是他自然就会查看这些省区中不同产品组的利润情况，总的目标就是寻找一些比较异常的数据来解释某种现象。第一眼查看的时候可能不会发现什么问题。产品销售的区域完全没有问题，回报和生产成本也是如此。但是经过一番观察之后，就会发现非直接成本在这些地区明显偏高。进一步对这些非直接成本分析可以发现近期对于某些产品的赋明显增加，从而导致影响了最终的利润，因为产品价格除非由于市场竞争的缘故，否则通常是不会发生变化的。
在这个思考过程中的每一步都会有一个查询。每一个查询在上一个查询的基础上进行，从这个意义上讲它是交互的。任何一个进行这种分析工作的人都会希望保持这种势头。如果对于每个查询的平均响应时间是按照天、小..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第八讲　OLAP的功能性需求（2）

前面我们已经看到了一个挑战可能影响到多个目标，同时也看到了对于OLAP的功能性需求是由挑战到目标的映射的媒介，或者是现实挑战给定目标的手段。
1． 带有层次引用的丰富维结构
正如上文提到的，带有层次引用的丰富维结构是OLAP必不可缺的。我们生活的现实世界就是由一组彼此交互的高维子系统组成的，每个子系统含有很多层次的数据、细节、事实、抽象。OLAP工具的一个基本贡献就是能够有效地对这种复杂性系统建模。
2． 对于维和计算的有效定义
正如前言中提到的，分析工作绝不仅仅是简单数字汇总。正确地对大量数据的汇总和平均自然是重要的，但是最重要的信息是来自于各种比率的比较，随时间变化趋势的推断和其他方面。也就是说，在分析过程中进行查询很大一部分是比较深入的分析。
例如，假设你是一家电子产品公司的销售总监，并且刚刚完成了第一年的全国性运作。你可能想要知道哪些产品类型在什么地区销售的利润水平和在本地的差别最大，并且希望结果能够按照从高到低的顺序排列。为了回答这个查询，系统需要进行一系列的计算。利润需要按照每个产品来计算。由于利润是一个派生值，而且其..

阅读全文>>

数据分析讲堂
第二课 OLAP系统的功能性需求
第七讲　OLAP的功能性需求（1）
对于OLAP产品的功能性需求分成核心和非核心两类。这些核心的，根本的，必须的或者说是最低要求在逻辑层面包括对于多维、层次、维度公式的支持，以及数据结构和表现形式的分离，在物理层面主要就是对于任意查询的高速响应。任何语言或产品，如果不满足这些要求，那严格意义上来说就不是OLAP。
以下汇总了全球几千家企业面临的典型挑战。
1．      核心挑战
1）      产品详细信息会有很多层次，从原始编号到产品、产品组、产品线、品牌甚至更多
2）      数据分析的因素有很多，包括产品、位置、公司组织、市场、时间等
3）      需要指定和执行的派生计算有很多
2．      附加的挑战
1）      大量的数据——非常大型的数据仓库包括了数百、数千甚至数百万GB的数据
2）      大量的用户使用同一批数据——从几百到几千
3）      很多的地理位置——数百、数千甚至更多
4）      分散化的决策——分析并不遵循预定的流程，他们各自独立地决定应..

阅读全文>>

上文中我们介绍了这家企业在全国共有11个总经销商，117个地区性经销商，1280个二级经销商。
对于总经销商的代理价格是所在地市场价格的90%，地区性经销商代理价格是所在地市场价格的95%，二级经销商代理的价格为所在地市场价格的97%。并且各类经销商的代理价格还可以随销售量的增加而降低。销售量又分为1个月销售量、连续销售量等不同，降低的代理价格幅度也不同。每一款产品对于不同级别的经销商又分别在销售量上设立了5档。单一产品销量与代理价格升降幅有关，经销商总销售量与总代理价格也有关。之所以制定这样较为复杂的经销商回报，就是鼓励经销商多销售公司奶制品，从而在销售中获得更好的利润和回报，刺激经销商的积极性。
我们可以想象一下，132类产品在这样一个经销体系下，光是计算经销商回报率就将是：∑（这里是产品循环从1到132）∑（这里是总经销商循环从1到11）∑（这里是销售量档级从1到5）（Y（这里的Y是每一种产品的销量）×（90-∑（这里是销售量相关的进一步折扣）））＋∑（这里是产品循环从1到132）∑（这里是总经销商循环从1到117）∑（这里是销售量档级从1到5）（Y（这里的Y是每一种产品的销量）×（95-∑（这里是销售量相关的进一步折扣）））＋∑..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第六讲　OLAP和数据挖掘

OLAP和数据挖掘的关系问题是很多人都混淆了的，在这有必要将这个问题阐述清楚。当OLAP在1994年、1995年产生的时候，产品供应商们很自然地取得了与其他相关技术一样的成功。于是在1995年到1997年期间，人们进行了很多尝试将数据挖掘产品化，并且用和OLAP工具一样的方式进行推销。但是这些尝试从一开始就是值得怀疑的，因为正确使用数据挖掘工具需要具备基本的统计知识，从而不可能将数据挖掘产品销售给使用OLAP查询工具的同一批商业用户。除此之外，作为销售和市场活动的一部分，很多数据挖掘供应商甚至通过批评OLAP，或至少是置之不理，来提升数据挖掘的地位。于是在很多刊物上都出现了这样的宣传：OLAP是在汇总数据上进行的，而数据挖掘是在详细数据上进行的。这种非常不正确的说话是如此地扎根在很多人的思想中，以至于要花很多时间来消除这种错误的认识。
OLAP和数据挖掘之间的区别完全和汇总及详细数据无关。它们之间的差别，应该是描述型和建模型之间的差别。OLAP工具中的功能和算法（如聚合、分配、比率、比例、乘积等）都是描述型建模功能，而数据挖掘工具包中的功能（如回归、神经元网络、决策..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第五讲　决策阶段

基于分析的信息究竟是如何与决策联系起来的？决策到底是什么东西？
通过观察学会如何证实一个被挑战的决策是否正确，我们就可以很好地了解到制定决策究竟需要什么信息。让我们来看如下的一个例子：将北京商店的零售价格降低25%。
任何可以被证实的决策都必须至少基于目标和预测。设想你的老板问你为何要降低25%的价格，你会如何去证明你的决策是正确的呢？如果你的回答是你没有明确的目标，你不准备取得任何特别的结果，你仅仅就是喜欢降价，那恐怕你就会成为下一个被抄鱿鱼的候补人选了。如果没有目标，任何决策都是没有差别的。如果没有一个期望通过这个决策而达到的目标，你该如何维护你的将北京商店的价格降低25%，而不是将上海商店的价格降低25%的决策呢？在寻找最优决策的过程中，可能用到的算法包括线性编程和蒙特卡洛模拟。协助你在各种选择、外部因素、偶然事件中进行决策思考的工具就是决策分析工具。
因此，一个决策必须拥有一个目标，但仅有目标还是不够的。除了一个目标之外，还需要一个预测。仍然假设你在和老板谈论你建议的降价活动，老板也接受了你的目标是清空库存为接下来的销售腾出空间，..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第四讲　事物处理和决策支持处理的差别（2）

不同于面向操作的和基于较低频率事件的信息活动，管理者和分析师会提出一些更高层次的分析型问题，比如：
1） 今年以来，公司的哪些产品是最有利润的
2） 最有利润的产品和去年的是不是一样
3） 公司今年这个季度的运营和去年相比情况如何
4） 哪些类型的客户是最忠诚的
这些问题的答案就是典型的基于分析面向决策的信息。
基于分析面向决策的软件活动量在一天中会有很大的波动。平均来说，更多进行的是数据的读取而不是写入，如果有写入的话，也往往是采用批量更新的方式。数据可以代表现在、过去和计划中未来的状态，同时常常一次数据操作就会立刻牵涉很多部分的信息。分析型的查询常常在派生数据上进行，而且查询的内容往往是事先不可知的。例如，一个品牌经理可能会以查询品牌利润按地区分布情况来开始他的分析活动。每一个利润的数值指的是，在指定时间内，某个品牌所有产品在该地区的所有地方销售利润的平均值。每一个利润数值都可能是由成千上万的原始数据汇聚而成的。从这个意义上来说，这些利润数值是高层的，且是派生出来的信息。如果它们是计划中的数字，那么它们依..

阅读全文>>

数据分析讲堂

第二课 OLAP系统的功能性需求

第三讲事物处理和决策支持处理的差别（1）

购买、销售、生产、发行都是日常操作型商业活动中的典型例子。资源计划、财务预算、策略联盟和市场企划则是一些产生和使用基于分面向决策信息的商业活动的典型例子。
这些高层次活动中产生的信息是基于分析的，因为一些数据分析，比如趋势、比率的计算或者是一个汇总计算，都会成为活动中的一部分。这些信息又是面向决策的，因为它是以一种能够立即用于决策制定的方式呈现的。一些信息，如哪些产品或着客户是最有价值的，哪些商店今年亏损的最多，对于制订，如哪些产品应该增加产量，哪些客户是特殊促销活动的目标，哪些商店应该关闭等决策，是必不可少的。它应用于针对实用目标的直接分析过程。
相反地，很多操作性事务也是面向决策的，但却不是基于分析的。例如，如果一个信用卡客户需要将他的帐单发送到一个地址，而不是他的主居住地，这时候就需要做出一个决策。如果公司的政策显示帐单必须要发送到客户的居住地，那么这个决策的回答就是否定的。这些政策信息是面向决策的，但是这里并不包含分析的工作。
事务性操作和面向决策的分析是所有商业活动的核心，无论其大小、行业、法律..

阅读全文>>