Hacker News 中文摘要

RSS订阅

幽灵萦绕Unicode -- A Spectre Is Haunting Unicode

文章摘要

1978年日本制定的JIS X 0208编码标准中出现了多个来源不明、无人知晓含义和读音的“幽灵字符”。1997年启动调查试图追溯其来源,但即使有记录也往往不够具体。

文章总结

好的,这是根据您的要求,对原文主要内容进行的中文重述,保留了关键细节,并删减了与主题无关的链接和图片说明。


标题:幽灵字符:游荡在Unicode中的“鬼魂”

1978年,日本经济产业省制定了后来被称为JIS X 0208的编码标准,该标准成为日本所有字符编码的重要参考。然而,标准发布后,人们发现其中一些新增的字符来源不明,无人知晓其含义或读音,它们因此被称为“幽灵文字”。

长期以来,这些幽灵字符只是一个被遗忘的谜团。直到1997年,一项调查才启动,试图查明它们的来源。JIS标准中的所有字符本应有来源记录,但即便存在,也往往不够具体,通常只列出其出处文档。

调查人员发现,部分幽灵字符是在编录过程中无意中产生的错误。例如,字符“妛”是在试图记录“山在上、女在下”的合体字时产生的错误。由于当时无法直接打印该合体字,工作人员将“山”和“女”分别打印、剪下、粘贴到纸上再复印。在阅读复印件时,两片纸的接缝线被误认为笔画,从而添加到了字符中。原始字符(𡚴)直到很久以后才被加入JIS和Unicode。

最终,只有一个字符“彁”既没有明确来源,也没有历史先例。最可能的解释是,它是“彊”字的误读,但具体原因已无从考证。

随着JIS标准的广泛采用,这些幽灵字符全部进入了Unicode。总结来说,1978年的一系列小错误凭空创造了一些字符。这些错误在未被发现的时间里被固化下来,如今,这些“幽灵”潜藏在全球每台电脑的字符表暗角中,很可能将永远伴随人类。

评论总结

根据评论内容,主要观点和论据总结如下:

1. 对作者Paul McCann的赞赏(评论1) - 评论者高度评价作者在日语NLP领域的贡献,称其为“最喜爱的程序员之一”。 - 关键引用:"The author Paul McCann (polm) is one of my favourite programmers out there!""He’s done awesome work in the Japanese NLP space over the last decade"

2. 对“幽灵字符”现象的分析(评论2、4) - 评论指出《康熙字典》中存在大量类似“幽灵字符”,并认为CJK字符的独特属性迫使Unicode扩展。 - 关键引用:"vast swaths of the Kangxi dictionary... are such 'ghost' characters"(评论2);"evidence found for the origin of '彁' as the result of a poor scan"(评论4)。

3. 对字符冗余与缺失的权衡(评论5) - 评论者认为“有冗余的无效字符比缺失真实字符更好”。 - 关键引用:"it's better to have superfluous invalid characters than missing real ones"

4. 对字符实际用途的疑问(评论6) - 评论者质疑这些字符是否被用于青年语言或网络俚语。 - 关键引用:"Is anyone using these characters now for anything? No youth language or online slang using it?"

5. 对处理方式的批评(评论7) - 评论者质疑为何不直接替换原始错误字符,并认为OCR技术本可解决查找困难。 - 关键引用:"Why didn't they simply replace the original bad one?""Not that hard to imagine, OCR existed back then?"

6. 对字符的创意使用(评论8) - 评论者提议用“彊”表示“完全未知、无法命名的概念”。 - 关键引用:"we can use 彊 to mean 'a completely unknown concept that cannot be named'"

平衡性说明:评论整体呈现技术性讨论,既有对作者工作的肯定,也有对字符处理逻辑的批评,以及对其实际用途的质疑。不同观点均得到呈现,未出现明显偏向。