作者将原本3GB的SQLite数据库替换为仅10MB的有限状态转换器(FST)二进制文件，实现了300倍的内存缩减。这种优化适用于芬兰语-英语词典的即时前缀搜索功能，通过专用数据结构完美满足了特定需求。

标题：用10MB有限状态转换器(FST)二进制文件替代3GB SQLite数据库

来源：https://til.andrew-quinn.me/posts/replacing-a-3-gb-sqlite-database-with-a-7-mb-fst-finite-state-trandsucer-binary/

发布时间：2026-05-10

核心内容：

作者在优化芬兰语-英语词典应用Taskusanakirja（简称tsk）时，通过采用有限状态转换器(FST)技术，将原本3GB的SQLite数据库压缩至仅10MB，实现了300倍的空间优化。

项目背景： 1. tsk是一个支持输入时实时搜索的芬兰语词典应用，最初使用Go语言开发，采用字典树(trie)结构实现前缀搜索 2. 基础版本通过优化（如限制匹配数量、缓存短字符组合）可将内存占用控制在60MB左右

技术挑战： 1. 芬兰语作为高度黏着语，单个词根可能衍生出上百种变体，且变形规则不规律 2. 传统字典树结构无法有效处理海量词形变化（400万条目需50MB，但4000-6000万条目无法扩展）

临时解决方案： - 使用3GB的SQLite数据库配合全文搜索(FTS)扩展，虽功能可用但体积庞大

突破性改进： 1. 受BurntSushi（ripgrep作者）关于FST技术的启发，改用Rust语言实现 2. FST通过共享前后缀的压缩机制，特别适合处理芬兰语中大量重复的词尾变化 3. 最终生成的二进制文件仅10MB，且保持即时搜索性能

项目启示： 1. 临时方案（SQLite）为后续优化提供了实验基础 2. FST在静态数据集场景下优势显著 3. 新版本安装包预计将缩减至20MB，比原免费版体积减少三分之二

技术细节补充： - FST通过最小化确定性有限状态自动机实现结构相同的子树合并 - 该技术特别适合处理芬兰语中常见的数千个共享相同屈折变化的词汇

注：文中数字均按首位数取整，遵循Rob Eastaway提出的"zequals"简化原则。

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. 关于数据结构相似性的讨论

   • 观点：文章描述的数据结构（DAFSA）与早期技术（DAWG）高度相似
   • 引用：
     "DAFSA is the rediscovery of... Directed Acyclic Word Graph" (lscharen)
     "your article gave me serious déjà vu... same suffix-compression mechanism" (wood_spirit)

2. 开发方法论的价值

   • 观点：先实现简单方案再优化的策略值得借鉴
   • 引用：
     "Start with the obvious, stupid solution... Then do the optimized version" (Hendrikto)
     "motivated now to go solve the same problems twice" (hmokiguess)

3. 技术应用的扩展性疑问

   • 观点：好奇该技术是否适用于非拉丁语系（如土耳其语、日语）
   • 引用：
     "wonder if similar techniques can apply to Turkish or Japanese" (asibahi)

4. 关于压缩效率的质疑

   • 观点：质疑为何不直接使用常规压缩技术
   • 引用：
     "Wouldn’t vanilla compression have dealt with that?" (cadamsdotcom)

5. 文章价值的肯定

   • 观点：认为文章具有启发性且写作风格吸引人
   • 引用：
     "very interesting read" (asibahi)
     "such a pleasant read... thank you for sharing" (hmokiguess)

总结呈现了数据结构讨论、方法论认可、技术质疑和跨语言适用性等核心议题，负面评价仅1条（压缩效率质疑），整体评论倾向积极。