PDF《第九讲 机器翻译》

15 对目标语言结构树进行语序调整 N/她NP/np SS/zj CS/dj VP/vp VP/vp NP/pp PP/pp V/放#/p PP/sp P/上N/桌#/p NP/np NP/mp P/# NP/np T/一N/束of N/花W/.N/她NP/np SS/zj CS/dj VP/vp VP/vp V/放W/. NP/pp #/p NP/np NP/mp P/# NP/np T/一N/束of N/花PP/pp #/p PP/sp P/上N/桌16 对目标语言词语进行变形调整 N/她NP/np SS/zj CS/dj VP/vp VP/vp V/放W/. NP/pp #/p NP/np NP/mp P/# NP/np T/一N/束of N/花PP/pp #/p PP/sp P/上N/桌She puts a bunch of flowers on table .

17 RBMT系统的知识表示

1 源语言知识

2 目标语言知识

3 源语言-目标语言的对译知识

4 领域知识

5 百科知识 词库 规则库 +

18 2.2 基于实例的MT 源语言实例 目标语言实例 对齐 源语言句子S 匹配命中句子S'

对应句子T'

译文句子T 实例库Makoto Nagao(1984)

19 EBMT示例 英语实例 汉语实例 He eats vegetable 他吃蔬菜 Acid eats metal 酸腐蚀金属 输入: I eat potatoes 我吃土豆 输出:

20 EBMT示例(续) 英语实例 汉语实例 1e 2e 3e 1c 3c 2c 4e 5e 6e 4c 5c 6c 输入: 他把花放在桌上 1e + Replace(2e,(5e + 6e)) + 3e 输出: 1c + 3c + Replace(2c, (5c + 6c)) He is put on the table flower

21 EBMT需要解决的问题 相似度计算技术 ? 如何构建实例库 ? 双语对齐:句子级, 短语级(亚句子级), 词汇级 ? 如何查找翻译实例 ? 匹配精度:句子级匹配 亚句子级匹配 ? 如何生成好的译文

22 词汇对齐(word alignment) ? 互为翻译的一对单词要比相互不为翻译的一对单词更有 可能出现在同一个对齐的句子对中 ? 假设-检验方法 ? 假设阶段 生成所有侯选的对译词对儿(translation equivalent) ? 检验阶段 根据统计关联度量选择出统计意义上较为可靠的对译词对儿 Gale,

1991 23 联立表(contingency table) t ? t s a b ? s c d 是候选对译词对儿 a : 语料中同时出现s和t的句对儿数 b : 语料中出现s不出现t的句对儿数 c : 语料中不出现s出现t的句对儿数 d : 语料中s,t同时不出现的句对儿数 语料规模 n = a+b+c+d

24 词汇对齐可能性的度量方法 ) ( ) ( log ) , (

2 c a b a a n tt st MI ? ? ? ? ? ) ( ) (

2 ) , ( c a b a a tt st DICE ? ? ? ? ) ) ( ) ( log ) ( ) ( log ) ( ) ( log ) ( ) ( log (

2 ) , ( d b d c n d d c a d c n c c d b b a n b b c a b a n a a tt st LL ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ) ( ) ( ) ( ) ( ) ( ) , ( χ

2 2 d c d b c a b a c b d a n tt st ? ? ? ? ? ? ? ? ? ? ? ? (1) (2) (3) (4)

25 词汇对齐示例(chi-square方法) 房子 ? 房子 house

619 120 ? house

93 19168 家庭 ? 家庭 house

174 980 ? house

41 18105 )

19168 93 ( )

19168 120 ( )

93 619 ( )

120 619 ( )

93 120

19168 619 (

20000 ) , (

2 2 ? ? ? ? ? ? ? ? ? ? ? = 房子 house ? )

18105 41 ( )

18105 980 ( )

741 174 ( )

980 174 ( )

41 980

18105 174 (

20000 ) , (

2 2 ? ? ? ? ? ? ? ? ? ? ? = 家庭 house ? = 644847.17 = 13879.98 ) , ( ) , (

2 2 家庭 房子 house house ? ? ? n = 20,000

26 Multi-word translation equivalents Chinese English ?2-score 成人_图书馆 adult_library 68620.5 影子_董事 shadow_director 68469.8 幕_墙curtain_wall 68469.8 卤味_店lo_mei 68282.1 橡胶_手套 rubber_glove 68041.9 橡胶_围裙 rubber_apron 67723.5 疾病_津贴 sickness_allowance 67433.1 计算机_软件 computer_software 67281.6 软_雪糕 ice_cream 67281.6 污水_隧道 sewage_tunnel 66626.8 工程_原理 engineering_principle 66626.8

27 Word-type / Word-token alignment 双语平行/对齐语料库 双语翻译词典 (word type alignment) extraction 双语平行语料库 Bilingual parallel corpora 双语词汇对齐语料库 (word token alignment) alignment