文章介绍了如何在DuckDB中实现全文搜索功能，作者对比了Elasticsearch和Postgres等其他解决方案，并分享了使用DuckDB进行全文搜索的具体方法和优势。

使用DuckDB实现全文检索

本文是作者关于DuckDB系列文章的第二篇，重点介绍了DuckDB的全文检索(FTS)功能。

全文检索基础

DuckDB通过全文检索扩展提供FTS功能，支持以下特性： - 词干提取（如将"walking"转为"walk"） - 停用词过滤（去除"the"等常见词） - 重音符号处理 - 使用Okapi BM25算法进行相关性评分

实践应用

作者以处理大量电子邮件为例，演示了完整的FTS工作流程：

1. 数据预处理：使用Python脚本将.eml格式邮件转换为JSON

   • 提取邮件正文、主题、发件人等元数据
   • 过滤HTML标签，保留纯文本内容

2. 数据库构建： sql CREATE TABLE emails AS SELECT * FROM read_json('*.eml.json'); ALTER TABLE emails ADD COLUMN id INTEGER; UPDATE emails SET id = rowid;

3. 创建FTS索引： sql PRAGMA create_fts_index('emails', 'id', 'subject', 'body');

4. 查询示例：

   • 基本查询：fts_main_emails.match_bm25(id, 'talk')
   • 组合查询：使用conjunctive := 1参数要求所有词匹配
   • 调整BM25参数：通过b控制文档长度影响，k₁控制词频影响

功能评估

与PostgreSQL和Elasticsearch相比，DuckDB的FTS功能尚不完善，缺少： - 匹配结果高亮功能 - 短语查询支持 - 同义词词典集成

但作者认为DuckDB的FTS已能满足大多数探索性需求，其快速部署和易用性使其成为理想的原型工具。

作者计划后续探讨DuckDB的向量搜索功能。

以下是评论内容的总结：

1. DuckDB的功能与应用场景

   • 用户对DuckDB的功能表示赞赏，认为它能轻松连接多种数据源并支持SQL查询，且无需预先导入数据。
     • "You can point DuckDB to almost any data source and boom, you get an SQL table that you can search, sum, or join to any other data."（评论2）
     • "DuckDB is great, and DuckDB-WASM is magic."（评论5）

2. DuckDB与其他数据库的比较

   • 有用户提到ClickHouse本地版与DuckDB的相似性，但认为ClickHouse的市场推广较少。
     • "Anyone tried both duckdb and clickhouse local? Clickhouse seems less marketed, but seems quite similar."（评论3）

3. DuckDB的安全性问题

   • 用户对DuckDB默认运行时下载和运行扩展的功能表示担忧，认为这可能带来不必要的风险。
     • "It seems that DuckDB by default downloads and runs extensions at runtime when you use certain features? This seems unnecessarily risky."（评论4）

4. DuckDB的实际应用案例

   • 用户分享了DuckDB在实际应用中的成功案例，如日志查询和浏览器内LLM基准测试系统。
     • "I build a whole LLM benchmark system around it that lets you run the whole benchmark in your browser."（评论5）
     • "DuckDB has completely replaced my need of using Cloudwatch or Loki etc for logs."（评论6）

5. 对开源邮箱发布工具的需求

   • 用户询问是否有开源工具可以将邮箱内容发布为可浏览和搜索的形式，并分享了自己的初步尝试。
     • "Has anyone used DuckDB (or anything else) to create an open source way to publish a mailbox so that a regular person can browse it and search it?"（评论1）