编辑: You—灰機 | 2015-08-20 |
否则 T(hj|ei)=0.
9 Luciano Floridi. 2004. Outline of a theory of strongly semantic information. Minds and Machines 14:197-221.
10 Luciano Floridi. Semantic conceptions of information. in Stanford Encyclopedia of Philosophy, ed. Edward N. Zalta. http://plato.stanford.edu/entries/information-semantic/
11 鲁晨光,《广义信息论》,[M]. 1993, 中国科技大学出版社.
12 鲁晨光,A generalization of Shannon'
s information theory. Int. J. of General Systems, 1999,28 (6): 453-490. 图1. 股市预测的真值函数和反例的真值 b'
的调整 指数 E 从0到10%构成使预测 hj 为真的集合 Aj=[0,10], E 超出这个范围就是预测的反例. 图中我们且假设真值函数是经典的, 即仅有
0 和1二值. 实际上, 我们不能说涨 9.9%或0.1% 预测就 100%正确,而跌 0.1%或涨 11%就是 100%错误.人脑实际用的真值函数是模糊的, 即是一条山形曲线,而不是一条直上直下的矩形线.但是为了解释方便,我们先用图
1 说明 正反例并简化信息计算,后面我们再改用山形真值函数说明实际的语义信息. 我的语义信息量公式是: ( | ) ( ;
) log ( ) j i i j j T h e I e h T h ? (1) 其中 T(hj)是平均真值或逻辑概率是: j i j i i T h P e T h e ? ? (2) 如果预测后指数 E 确实在 E 在Aj 中, T(hj|ei)就等于 1, 上面公式就变成 I(ei;
hj)=log[1/T(hj)], 类 似于 Barhillel 和卡尔纳普的信息公式.但是加上分子 T(hj|ei)就可以避免 BCP.对于矛盾句, T(hj|E) ≡0 且T(hj) =0,所以 I(ei;
hj) =log(0/0).因为 log(0+/0+) =log1=0 (0+是正无穷小).所以 认为对于矛盾句 I(ei;
hj) =0 是合理的.上面信息公式也可以保证永真句信息是 0,如波普尔 所肯定.对于永真句,T(hj|E)≡1, T(hj)=p(e1)+p(e2)+…+p(em)=1;
所以 I(ei;
hj)=log(1/1)=0. 根据推广的贝叶斯公式,即语义贝叶斯公式13 ,假设 hj 真,预测的 E 发生的条件概率就 是: ( | ) ( ) j j j p E T h E p E h T h ? 是真的 (3) 一般情况下,p(E|hj 是真的)≠p(E|hj).p(E|hj)是样本概率分布,是用以检验假设的,反 例的概率不一定是 0.而p(E|hj 是真的)是理论预测的概率,反例的概率为 0.下面我们简单 地把 p(E|hj 是真的)简记为 p(E|Aj).根据式(1)和(3),我们得到: ( | ) ( ;
) log ( ) i j i j i p e A I e h p e ? (4) 这一公式类似于波普尔的检验严厉性公式14 和Milne 提出的可信度公式15 .不同的是, 公式(4)中,1)hj 变成 Aj, 它表明:hj 是真的,而不是:hj 被选择;
2)省略了背景知识 b.本文中 P(E)已经包含了背景知识,如果没有背景知识,E 就是等概率的,即P(E)≡常数.式(3)和(4) 和经典的相对信息公式类似,从而兼容经典信息论. 图1中T(hj)大约是 1/8, 当指数涨幅 E 大于
0 且小于
10 时, 信息是 log[1/(1/8)]=3 比特. 当小于
0 或大于 10%,信息是负无穷大(-∞).对I(ei;
hj)求平均,我们得到平均语义信息公 式(|)log ( ) j i j i j i j T h e I E h p e h T h ? ? (5) 和广义 Kullback-Leibler 公式(是仙农互信息公式在 H=hj 时的特例): ( | ) log ( ) i j j i j i i p e A I E h p e h p e ? ? (6) 当有一个反例存在, 上面平均信息还是负无穷大. 平均信息负无穷大正好反映波普尔的 证伪思想――一个反例就足以证伪一个全称假设, 不管正例有多少. 但是负无穷大信息不符 合常识. 难道股市预测正确
100 次的信息增量还抵消不了错误一次的信息损失?为此, 我以 前用真值函数在
0 和1之间变化的模糊假设取代真值仅取 0,1 二值的经典假设. 现在我发现 可以把反例的真值从