1. 安装 Google Chrome 浏览器
2. 安装 Python、Selenium 及对应的 ChromeDriver

下面以 Debian 11 (“Bullseye”) 为例，演示具体命令。

在 Debian 上安装 Google Chrome

Google 官方并不把 Chrome 放到 Debian 默认源，需要先添加 Google 的 apt 仓库。

# 1. 更新本地包列表
sudo apt update

# 2. 安装必要工具
sudo apt install -y wget gnupg2 apt-transport-https ca-certificates

# 3. 导入 Google 的公钥
wget -q -O - https://dl.google.com/linux/linux_signing_key.pub \
| sudo gpg --dearmor -o /usr/share/keyrings/google-linux-signing-keyring.gpg

# 4. 添加 Google Chrome 的 apt 源
echo "deb [signed-by=/usr/share/keyrings/google-linux-signing-keyring.gpg] \
http://dl.google.com/linux/chrome/deb/ stable main" \
| sudo tee /etc/apt/sources.list.d/google-chrome.list

# 5. 再次更新并安装 Chrome
sudo apt update
sudo apt install -y google-chrome-stable

安装完成后，你可以用 google-chrome --version 验证版本。

安装 Python、Selenium 及 ChromeDriver

安装 Python 和 pip

Debian 11 默认带有 Python3，但可以确保安装最新：

sudo apt install -y python3 python3-venv python3-pip

安装 Selenium

# 建议在 virtualenv 中安装
python3 -m venv ~/selenium-env
source ~/selenium-env/bin/activate

# 安装 Selenium 库
pip install --upgrade pip
pip install selenium

如果安装比较慢，可以使用国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装 ChromeDriver

ChromeDriver 必须与 Chrome 浏览器版本匹配。可手动下载，也可用 webdriver-manager 自动管理。

方案 A：手动下载

1. 查询 Chrome 版本： google-chrome --version # 比如输出：Google Chrome 115.0.5790.98
2. 到 https://chromedriver.storage.googleapis.com/index.html 找到对应的 “115.0.5790.98” 版本，下载 Linux x64 zip。
3. 解压并移动到 /usr/local/bin： wget -O chromedriver_linux64.zip \ https://chromedriver.storage.googleapis.com/115.0.5790.98/chromedriver_linux64.zip unzip chromedriver_linux64.zip sudo mv chromedriver /usr/local/bin/ sudo chmod +x /usr/local/bin/chromedriver

方案 B：自动管理（推荐开发环境）

pip install webdriver-manager

在脚本中使用时，示例代码：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service

# 自动下载并启动
service = Service(ChromeDriverManager().install())
options = webdriver.ChromeOptions()
# 如果在无头服务器上运行，加上下面两行：
# options.add_argument('--headless')
# options.add_argument('--no-sandbox')

driver = webdriver.Chrome(service=service, options=options)
driver.get("https://www.example.com")
print(driver.title)
driver.quit()

完成以上步骤后，就可以在 Debian 上用 Python + Selenium + ChromeDriver 驱动真实的 Chrome 浏览器来做自动化测试或爬虫／RPA 了。

Selenium（一） | Debian环境搭建最先出现在wqh博客。

Volume 用于持久化和共享容器数据，清理不再使用的 Volume 可以释放磁盘空间。常用的清理方法有：

1. 查看现有 Volume

# 列出所有 Volume
docker volume ls

# 只列出“悬空”（dangling，即未被任何容器使用）的 Volume
docker volume ls -f dangling=true

2. 删除单个 Volume

# 删除指定名字的 Volume
docker volume rm VOLUME_NAME

3. 一键清理所有“悬空”Volume

# 交互式确认
docker volume prune

# 或者跳过确认
docker volume prune -f

此命令会删除所有未被任何容器使用的 Volume。

4. 清理所有未使用的 Docker 资源（网络、镜像、容器、Volume）
   如果想一并清理所有未使用的资源，可以用：

docker system prune --volumes

它会：

• 删除所有停止的容器
• 删除所有未用的网络
• 删除所有 dangling 镜像（中间层）
• 删除所有未使用的 Volume

加上 -a 可以连同未被容器直接引用但不是 dangling 的镜像一并清理：

docker system prune -a --volumes

• 谨慎操作：清理 Volume 会永久丢失其中的数据，务必确认不再需要或已做好备份。
• 定期检查：在开发环境中频繁创建/删除容器，很容易积累大量悬空 Volume，可考虑配置 CI/CD 或定时任务自动执行 docker volume prune -f。
• 脚本化清理：如果想针对名称模式或创建日期做更精细的清理，可以结合 docker volume ls --format '{{.Name}} {{.CreatedAt}}' 输出，再用 shell 脚本过滤并依次 docker volume rm。

这样，你就可以根据需要，按容器级别或全局一次性地清理 Docker Volume，释放磁盘空间。

Docker 清理最先出现在wqh博客。

修改 ~/.vimrc

" 基础设置
set nocompatible        " 关闭兼容模式
set encoding=utf-8
set fileencodings=utf-8,gbk,latin1

" 界面美化
syntax on               " 启用语法高亮
set number              " 显示行号
set relativenumber      " 显示相对行号
set cursorline          " 高亮当前行
set showcmd             " 显示命令
set ruler               " 显示光标位置
set laststatus=2        " 总是显示状态栏
set wildmenu            " 命令行补全增强
set lazyredraw          " 执行宏时不重绘

" 编辑行为
set tabstop=4           " 一个 tab 显示 4 个空格
set shiftwidth=4        " 自动缩进使用 4 个空格
set expandtab           " 用空格代替 tab
set autoindent          " 自动缩进
set smartindent         " 智能缩进
set backspace=2         " 支持用退格删除缩进

" 搜索
set hlsearch            " 高亮搜索
set incsearch           " 增量搜索
set ignorecase          " 忽略大小写
set smartcase           " 智能大小写

" 鼠标支持
set mouse=n             " 在 Normal 模式下启用鼠标支持

" 系统剪贴板（需要 vim-gtk3 支持）
set clipboard=unnamedplus

" 中文支持优化
set helplang=cn
set langmenu=zh_CN.UTF-8
language messages zh_CN.UTF-8

Debian软件源更新

使用清华的软件源 /etc/apt/source.list

deb http://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware

Debian系统配置最先出现在wqh博客。

大语言模型（Large Language Model, LLM）

核心价值：作为AI应用的认知中枢，承担核心推理与内容生成任务

技术要点：

1. 模型架构：

• Transformer架构：基于自注意力机制的编码器-解码器结构
• 参数规模：从70亿到1.8万亿参数不等（如Llama-2到GPT-4架构）
• 预训练范式：自监督学习（掩码语言建模、下一句预测等）

2. 关键技术演进：

   graph LR
     BERT-->RoBERTa-->DeBERTa
     GPT-2-->GPT-3-->GPT-4
     T5-->FLAN-T5-->PaLM

3. 应用场景：

• 文本生成（代码/文案/故事）
• 问答系统
• 多模态理解（文本+图像/视频）

4. 优化方向：

• 量化压缩（4-bit/8-bit量化）
• 微调方法（LoRA/P-Tuning）
• 推理加速（vLLM/TensorRT-LLM）

Embedding技术

核心价值：实现语义到向量空间的映射，构建AI认知的数学基础

技术解析：

1. 特征表示方法：

• 静态嵌入：Word2Vec/GloVe
• 动态嵌入：BERT/ELMo
• 多模态嵌入：CLIP/ImageBind

2. 数学特性：

• 维度：主流模型输出768-4096维向量
• 相似度计算：余弦相似度/欧氏距离
• 空间性质：保持语义拓扑结构（king – man + woman = queen）

3. 性能指标：

   # 相似度计算示例
   from sklearn.metrics.pairwise import cosine_similarity
   similarity = cosine_similarity(query_embedding, doc_embeddings)

4. 优化策略：

• 领域自适应训练
• 降维处理（PCA/t-SNE）
• 混合嵌入融合

向量数据库（Vector Database）

核心价值：构建AI应用的长期记忆系统，实现高效语义检索

架构设计：

graph TD
    A[数据输入] --> B[Embedding模型]
    B --> C[向量化处理]
    C --> D[索引构建]
    D --> E[存储优化]
    E --> F[查询接口]

核心技术要素：

1. 索引算法：

• 树状结构：ANNOY
• 图结构：HNSW
• 量化方法：PQ(Product Quantization)

2. 性能对比： 数据库类型 查询速度 内存占用 精度 FAISS 10ms 低 高 Milvus 15ms 中 极高 Pinecone 20ms 高 极高
3. 关键技术：

• 混合检索（向量+标量）
• 动态更新（增量索引）
• 分布式架构

提示工程（Prompt Engineering）

核心价值：构建人机交互的语义桥梁，释放LLM最大潜能

方法论体系：

1. 核心范式：

• Zero-shot提示
• Few-shot提示
• Chain-of-Thought

2. 设计模式：

   # 结构化提示模板
   prompt_template = """
   [系统指令] 你是一个资深金融分析师
   [背景知识] 当前市场处于牛市阶段
   [输入数据] {user_input}
   [输出要求] 用Markdown格式输出分析报告
   """

3. 优化技术：

• 自动提示生成（AutoPrompt）
• 梯度引导优化（ProGen）
• 多模态提示设计

4. 评估指标：

• 任务完成度（0-1）
• 输出相关性（BLEU/ROUGE）
• 事实准确性（FactScore）

系统集成

典型架构：

sequenceDiagram
    用户->>前端: 输入查询
    前端->>API网关: 转发请求
    API网关->>LLM: 生成初步响应
    LLM->>向量数据库: 检索相关知识
    向量数据库-->>LLM: 返回相关文档
    LLM->>提示引擎: 优化输出格式
    提示引擎-->>用户: 返回最终响应

性能优化点：

1. 端到端延迟控制（<2s）
2. 缓存策略（请求/响应缓存）
3. 负载均衡（模型并行/流水线并行）

典型应用场景

1. 智能客服系统：

• 意图识别（Embedding）
• 知识检索（向量数据库）
• 对话生成（LLM+Prompt）

2. 企业知识库：

• 文档向量化（Embedding）
• 语义搜索（向量数据库）
• 摘要生成（LLM）

3. 推荐系统：

• 用户画像嵌入
• 内容相似度匹配
• 个性化生成

这四个核心环节构成了现代AI应用的基石，实际开发中需要根据具体场景进行深度优化和定制。例如在医疗领域，可能需要使用领域专用的BioBERT模型，配合医学知识图谱的向量化存储，并通过严谨的提示工程确保输出的专业性。技术选型时需要平衡计算资源、响应延迟和准确率等关键指标，最终构建出高效可靠的AI应用系统。

如何开发一个AI应用最先出现在wqh博客。

Hugo 是用 Go 写的高速静态站点生成器（Static Site Generator），以超快的构建速度、灵活的模板系统和丰富的功能集合著称，适合博客、文档、公司站、Landing Page 等场景。 (GitHub)

核心特点

• 极快的构建速度：能在秒级甚至毫秒/页级别生成大型站点（这也是 Hugo 的主要卖点）。 (gohugo.io)
• 单个二进制即可运行：Hugo 是一个可独立运行的二进制 CLI，安装/部署非常简单。 (GitHub)
• 基于文件的内容模型：内容通常用 Markdown（或其他格式）放在 content/，通过 front matter（YAML/TOML/JSON）控制元数据与 taxonomies（分类/标签）。 (gohugo.io)
• 强大的模板系统：使用 Go template 引擎，支持短代码（shortcodes）、布局继承、局部模板、数据模板等。 (gohugo.io)
• 内建资源处理（assets）：支持 image processing、SCSS/SASS 管道、JS/CSS 压缩、Fingerprinting 等静态资源管线。 (gohugo.io)
• 多语言/国际化（i18n）支持：内建多语言站点支持。 (gohugo.io)
• 丰富的主题生态：有官方/社区维护的主题库，可直接套用或作为起点。 (GitHub)

关键概念

• content/：你的 Markdown 文件和目录结构（每个文件是一个“页面”或文章）。 (gohugo.io)
• layouts/：模板目录（决定最终 HTML 的呈现）。 (gohugo.io)
• archetypes/：新建文章的模板（如 hugo new 时使用）。 (gohugo.io)
• shortcodes：在 Markdown 中使用的可复用模板片段（比如嵌入视频、响应式图集等）。 (gohugo.io)
• data/：可以放 JSON/YAML/TOML 的数据文件，在模板中直接读取并渲染（适合制作动态目录或外部数据驱动的页面）。 (gohugo.io)

内部实现 & 技术亮点

• 用 Go 实现：跨平台构建、单二进制分发，编译后的二进制体积小、启动快。 (GitHub)
• 模板基于 Go 的 text/template/html/template，性能与安全性好，但模板语法与某些其他 SSG（如 Liquid）略有差异，需要适应。 (gohugo.io)
• 静态资源处理（image resizing、Sass/SCSS、concat/minify、fingerprint）内置在 Hugo 的管道里，减少额外构建工具依赖。 (gohugo.io)

常用命令

假设已安装 hugo 二进制（见安装文档）：

# 新建站点
hugo new site mysite

# 本地预览（开发服务器，实时热重载）
hugo server -D

# 新建一篇文章（会根据 archetype 自动填 front matter）
hugo new posts/my-first-post.md

# 生成静态站点（输出到 public/）
hugo -v

# 指定输出目录
hugo --destination ./dist

（这些命令与教程在官方文档/入门页可查到）。 (gohugo.io)

部署与托管

Hugo 生成静态文件后可托管到任何静态站点主机或 CDN：

• GitHub Pages（通过 gh-pages 或 actions 自动部署）。 (gohugo.io)
• Netlify（支持自动构建、预览分支、表单、函数等）。 (Netlify Docs)
• Cloudflare Pages / AWS S3 + CloudFront / Vercel 等静态托管或边缘平台均可。 (Cloudflare Docs)

生态与社区

• 主题库：官方/社区主题集中在 themes.gohugo.io（也有 GitHub 仓库索引）。 (GitHub)
• 活跃发布与维护：Hugo 发布频繁（可查看 Releases 页面与官方 News 列表），社区活跃。 最近若干次小版本和功能更新详见 Releases。 (GitHub)
• 文档齐全：官方文档覆盖安装、模板、管道、部署等，适合查阅与学习。 (gohugo.io)

优点 / 适用场景

优点

• 构建速度快（大型站点也能秒级完成）。 (gohugo.io)
• 无需运行时服务器（生成静态文件后可放 CDN），运维成本低。 (gohugo.io)
• 内置丰富的功能（图像处理、管道、多语言、taxonomy），减少外部工具依赖。 (gohugo.io)

适用场景

• 个人/团队博客、技术文档站、公司站、产品落地页、知识库（非交互式）等。 (gohugo.io)

缺点 / 需要注意的点

• 不是动态应用框架：对需要用户交互（登录、动态评论、实时功能）的场景，需要额外接入服务（如 Netlify Functions、第三方评论、后台 API）。
• 模板学习曲线：Go template 的语法/模板逻辑对新手可能有点不直观（尤其从 Liquid/Handlebars 转来）。 (gohugo.io)
• 部分高级功能依赖构建时逻辑：例如需要 CMS（内容管理后台）可以用 Netlify CMS、Forestry、Netlify CMS 等第三方或 headless CMS 来配合。
  （这些是选择 SSG 时通用的权衡点。）

实操建议

1. 先在本地用 hugo new site + 一个社区主题 快速搭建并用 hugo server -D 调试。 (gohugo.io)
2. 把站点托管在 Git 仓库，配置 CI（GitHub Actions / GitLab CI / Netlify）在 push 时自动 hugo 构建并部署到静态托管服务。 (gohugo.io)
3. 若要图像优化或 Sass 管理，优先尝试 Hugo 内置的资源管道，必要时再补充外部构建工具。 (gohugo.io)

参考与文档

• 官方 GitHub 仓库（源码、Issues、Releases）：gohugoio/hugo。 (GitHub)
• 官方站点与文档（入门、模板、管道、部署）：gohugo.io。 (gohugo.io)
• Releases（查看最近版本、变更日志）：GitHub Releases。 (GitHub)
• 主题库（themes.gohugo.io / 主题索引仓库）。 (GitHub)

Hugo 介绍最先出现在wqh博客。

把set mouse=a修改为set mouse-=a

报错修改就可以正常使用鼠标右键功能

Debian中的vi开启鼠标右键功能最先出现在wqh博客。

Bleve在存储mime_type字段，有类似“image/jpeg”这样数据的时候，我们可以设置字段的Analyzer为keyword，不分词查询：

fileMapping := bleve.NewIndexMapping()
fileMapping.DefaultAnalyzer = "keyword"
docMapping := bleve.NewDocumentMapping()
// 关键字类型字段，不分词
keywordField := bleve.NewKeywordFieldMapping()
docMapping.AddFieldMappingsAt("mime_type", keywordField)
fileMapping.AddDocumentMapping("file", docMapping)
index, err = bleve.New(path, fileMapping)
if err != nil {
	return err
}

可以使用下面代码查看keyword是否生效：

// 获取 mime_type 字段的所有词条
fieldDict, _ := index.FieldDict("mime_type")
defer fieldDict.Close()

for {
	termEntry, err := fieldDict.Next()
	if err != nil || termEntry == nil {
		break
	}
	fmt.Printf("Term: %s\n", termEntry.Term)
}

如果结果是Term: image/jpeg，就表示映射设置成功了

当使用NewPrefixQuery时，可以保证查询的时候，对关键词使用keyword分析器，不进行分词查询

prefixQuery := bleve.NewPrefixQuery(mimeType)
prefixQuery.SetField("mime_type")
prefixSearch := bleve.NewSearchRequest(prefixQuery)
prefixResults, err := index.Search(prefixSearch)
if err != nil {
	return err
}
fmt.Printf("前缀查询结果数: %d", prefixResults.Total)

Bleve 查询时如何处理特殊字符最先出现在wqh博客。

部署mysql

首先部署数据库，如果只是测试，也可以不安装数据库，直接使用sqlite做数据库即可，但如果是生产环境，建议使用其他数据库：

docker run --name nextcloud_db -e TZ='Asia/Shanghai' -e MYSQL_ROOT_PASSWORD='你的密码' -e MYSQL_DATABASE=nextcloud -e MYSQL_USER=nextcloud -e MYSQL_PASSWORD='你的密码' -v /你的路径/mysql_data:/var/lib/mysql -p 3306:3306  -td  mysql:8.4

部署nextcloud

docker run --name nextcloud -e TZ='Asia/Shanghai' -e MYSQL_HOST=localhost:3306 -e MYSQL_DATABASE=nextcloud -e MYSQL_USER=nextcloud -v /你的路径/collabora_data:/var/www/html/data -p 8080:80  -td  nextcloud:production

部署完成之后，通过http://<服务器IP>:8080 完成配置

部署collabora

docker run --name nextcloud_collabora -e TZ='Asia/Shanghai' -e domain=服务器IP -e username=admin -e password='你的密码'  -e "extra_params=--o:ssl.enable=false" --cap-add MKNOD -p 9980:9980  -td  collabora/code:24.04.9.1.1

安装完成之后，访问http://<服务器IP>:9980 如果页面显示ok，表示安装成功

安装netcloud office插件

由于自动下载安装插件需要翻墙，所以这里需要下载离线安装包，并手动安装

访问https://apps.nextcloud.com/，搜索collabora online和nextcloud office，然后下载离线安装包 richdocuments和richdocumentscode

#把安装包复制到对应的目录下面
docker cp richdocumentscode.tar.gz nextcloud:/var/www/html/apps

#进入容器
docker exec -it -uroot nextcloud /bin/bash

#解压文件并修改权限
tar -zxvf richdocumentscode.tar.gz
chown www-data:www-data richdocumentscode -R

#另一个安装包也是同样的操作

退出容器，然后重启

docker restart nextcloud

重启之后，在http://<服务器IP>:8080/settings/apps/disabled下面启用Collabora Online – Built-in CODE Server和Nextcloud Office插件

然后在http://<服务器IP>:8080/settings/admin/richdocuments下选择使用自有服务器，设置collabora的服务器地址：

http://<服务器IP>:9980/

点击保存，在上面会显示连接成功

Collabora Online 服务器可以访问。
Collabora Online Development Edition 24.04.9.1 55317ef
浏览器使用的 URL： http://<服务器IP>:9980
Collabora 使用的 Nextcloud URL： http://<服务器IP>:8080 (Determined from the browser URL)

Nextcloud文档在线协作Collabora服务的部署最先出现在wqh博客。

生成自签名 CA 证书

首先，生成 CA 私钥和 CA 自签名证书。CA 证书用于签署 TLS 服务器证书

openssl genrsa -out ca.key 4096

这将生成一个 4096 位的 RSA 私钥并保存为 ca.key 文件。

openssl req -x509 -new -nodes -key ca.key -sha256 -days 3650 -out ca.crt

• -x509 表示生成自签名证书
• -new 表示创建一个新的证书请求
• -nodes 表示不对私钥加密
• -key ca.key 表示使用之前生成的 ca.key 私钥
• -days 3650 表示证书有效期为 3650 天（约 10 年）
• -out ca.crt 表示将证书保存为 ca.crt

提示填写证书的信息（如国家代码、组织名、域名等），这些信息会包含在 CA 证书中。

生成服务器的私钥和证书请求 (CSR)

接下来，为服务器生成私钥和证书签名请求 (CSR)：

openssl genrsa -out server.key 2048

这将生成一个 2048 位的 RSA 私钥并保存为 server.key。

openssl req -new -key server.key -out server.csr

• -new 表示生成一个新的证书请求
• -key server.key 表示使用刚才生成的服务器私钥
• -out server.csr 表示生成的 CSR 文件名为 server.csr

在此过程中，需要填写有关服务器的信息，最重要的是 Common Name (CN)，应填写服务器域名或 IP 地址。

用 CA 签署服务器证书

现在，使用之前生成的自签名 CA 证书和私钥来签署服务器证书请求。

openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 825 -sha256

• -req 表示基于证书请求 (CSR) 生成证书
• -CA ca.crt 表示使用 CA 证书来签署服务器证书
• -CAkey ca.key 表示使用 CA 的私钥来签署证书
• -CAcreateserial 表示自动生成一个 ca.srl 文件，保存 CA 的序列号
• -out server.crt 表示将生成的服务器证书保存为 server.crt
• -days 825 表示证书的有效期为 825 天
• -sha256 表示使用 SHA256 进行签名

验证生成的证书

可以使用以下命令来检查生成的证书是否有效：

openssl x509 -in server.crt -text -noout

这将显示 server.crt 的详细信息。

配置 TLS

• ca.crt 是自签名 CA 证书，可以分发给客户端，供其信任
• server.crt 是服务器证书，用于配置在你的服务器上
• server.key 是服务器私钥，用于安全连接

你可以将这些文件用于设置 HTTPS 服务器或其他 TLS 应用。

OpenSSL 自签名证书最先出现在wqh博客。

Nominatim

Nominatim（https://github.com/osm-search/Nominatim）是一个可以按名称和地址来搜索OSM中的数据，并生成OSM点的合成地址的工具（反向地理编码）。可用在http://nominatim.openstreetmap.org找到这个工具。Nominatim也用在OpenStreetMap首页的搜索工具栏中，同时也为MapQuest Open Initiative提供搜索支持。

数据导入阶段

读取原始OSM数据，并提取对地理编码有用的所有信息。这部分由osm2pgsql完成，该工具也可用于导入渲染数据库。它使用osm2pgsql/src/output-gatetter中的特殊地名词典输出插件。[ch]pp.导入的结果可以在数据库表中找到。

地址计算或索引阶段

从位置获取数据，并添加地理编码所需的其他信息。它按重要性对地点进行排名，将属于一起的对象链接在一起，并计算地址和搜索索引。大部分工作是通过数据库触发器在PL/pgSQL中完成的，可以在sql/functions/目录中的文件中找到。

搜索前端

实现了实际的API。它接受用户的搜索和反向地理编码查询，查找数据并以请求的格式返回结果。这部分是用PHP编写的，可以在lib/和website/目录中找到。使用apache。

Docker compose安装

services:
    nominatim:
        container_name: nominatim
        image: mediagis/nominatim:4.4
        ports:
            - "5432:5432"
            - "8080:8080"
        environment:
            TZ: Asia/Shanghai
            PBF_URL: https://download.geofabrik.de/asia/china-latest.osm.pbf
            REPLICATION_URL: https://download.geofabrik.de/asia/china-updates/
            NOMINATIM_PASSWORD: 123456
            IMPORT_WIKIPEDIA: "true"
            IMPORT_US_POSTCODES: "true"
            IMPORT_GB_POSTCODES: "true"
            REPLICATION_UPDATE_INTVAL: 86400
            THREADS: 16
        volumes:
            - type: bind
              source: /home/test/nominatim/data/db
              target: /var/lib/postgresql/14/main
            - type: bind
              source: /home/test/nominatim/data/flatnode
              target: /nominatim/flatnode
        shm_size: 1gb

5432是PostgreSQL数据库的端口，8080是服务启动之后提供的web接口端口

PBF_URL：数据包地址

REPLICATION_URL：更新包地址

NOMINATIM_PASSWORD：数据库密码

IMPORT_WIKIPEDIA：导入wiki数据

IMPORT_US_POSTCODES：导入美国邮编

IMPORT_GB_POSTCODES：导入邮编

REPLICATION_UPDATE_INTVAL：更新间隔，单位秒

THREADS：解析地址的线程

如果docker下载osm.pbf很慢，也可以用下载工具下完之后，映射到docker里面：

#PBF_URL: https://download.geofabrik.de/asia/china-latest.osm.pbf
PBF_PATH: /nominatim/data/osm/planet-latest.osm.pbf

volumes:
  - /home/test/nominatim/data/osm:/nominatim/data/osm

这里使用中国的pbf，安装解析过程比较长（可能需要2、3天的时间），具体时间由服务器配置决定。

看到日志出现下面的内容表示服务启动成功：

LOG: database system was shut down at 2022-08-16 05:33:06 UTC
LOG: database system is ready to accept connections

全球地址数据

如果使用全量pbf数据，替换PBF_URL和REPLICATION_URL 的链接：https://ftp5.gwdg.de/pub/misc/openstreetmap/planet.openstreetmap.org/pbf/planet-latest.osm.pbf

https://ftp5.gwdg.de/pub/misc/openstreetmap/planet.openstreetmap.org/replication/day/

全量数据对硬件要求比较高，而且解析时间更长，可能需要一周的时间：

- 16 core CPU (set THREADS variable to number of cores/threads available)
- 64GB RAM
- 1.5TB (NVMe) SSD storage

接口API

https://nominatim.org/release-docs/develop/api/Overview/

这里主要介绍其中的3个

健康检查（/search?q=avenue%20pasteur）

[]

逆地址编码（/reverse?lat=28.259719364765736&lon=112.91566526653007&format=jsonv2&accept-language=zh）

{
    "place_id": 52339186,
    "licence": "Data © OpenStreetMap contributors, ODbL 1.0. http://osm.org/copyright",
    "osm_type": "node",
    "osm_id": 3569911293,
    "lat": "-41.2903464",
    "lon": "174.7779487",
    "category": "place",
    "type": "house",
    "place_rank": 30,
    "importance": 0.00000999999999995449,
    "addresstype": "place",
    "name": "",
    "display_name": "138, Wakefield Street, Te Aro, 惠灵顿 / 惠靈頓 / 威靈頓, 6011, 紐西蘭/新西兰",
    "address": {
        "house_number": "138",
        "road": "Wakefield Street",
        "suburb": "Te Aro",
        "city": "惠灵顿 / 惠靈頓 / 威靈頓",
        "county": "惠灵顿 / 惠靈頓 / 威靈頓",
        "state": "惠灵顿 / 惠靈頓 / 威靈頓",
        "ISO3166-2-lvl4": "NZ-WGN",
        "postcode": "6011",
        "country": "紐西蘭/新西兰",
        "country_code": "nz"
    },
    "boundingbox": [
        "-41.2903964",
        "-41.2902964",
        "174.7778987",
        "174.7779987"
    ]
}

ID详情（/details?osmtype=W&osmid=1274999787&format=json&accept-language=zh）

{
    "place_id": 73967428,
    "parent_place_id": 74020996,
    "osm_type": "N",
    "osm_id": 3569911293,
    "category": "place",
    "type": "house",
    "admin_level": 15,
    "localname": "138",
    "names": [],
    "addresstags": {
        "city": "Wellington",
        "housenumber": "138",
        "postcode": "6011",
        "street": "Wakefield Street",
        "suburb": "Te Aro"
    },
    "housenumber": "138",
    "calculated_postcode": "6011",
    "country_code": "nz",
    "indexed_date": "2024-08-13T00:20:54+00:00",
    "importance": 9.99999999995449e-6,
    "calculated_importance": 9.99999999995449e-6,
    "extratags": [],
    "calculated_wikipedia": null,
    "rank_address": 30,
    "rank_search": 30,
    "isarea": false,
    "centroid": {
        "type": "Point",
        "coordinates": [
            174.7779487,
            -41.2903464
        ]
    },
    "geometry": {
        "type": "Point",
        "coordinates": [
            174.7779487,
            -41.2903464
        ]
    }
}

压力测试

使用lua脚本进行压力测试

-- 设置随机数种子
math.randomseed(os.time())

-- 随机生成经度和纬度的函数
function generate_random_coordinates()
        local longitude = math.random() * 360 - 180 -- [-180, 180]
        local latitude = math.random() * 180 - 90 -- [-90, 90]
        return longitude, latitude
end

-- 定义请求的函数，wrk会在每次请求之前调用这个函数
request = function()
        -- 生成随机的经纬度
        local longitude, latitude = generate_random_coordinates()

    -- 构建带有随机经纬度的请求URL
    local url = "/reverse?lon=" .. string.format("%.6f", longitude) .. "&lat=" .. string.format("%.6f", latitude).."&format=jsonv2&accept-language=zh"

    -- 返回 GET 请求，包含自定义的 URL
    --print(url)
    return wrk.format("GET", url)
end

-- 定义返回的函数
response = function(status, headers, body)
        if status ~= 200 then
                print(body)
        return
      

测试命令

wrk -t100 -c10000 -d600s -s request.lua --latency http://localhost:8080

开启100个线程，模拟10000个连接，持续600秒，结果如下：
Running 10m test @ http://localhost:8080
100 threads and 10000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 32.97ms 38.66ms 1.99s 92.99%
Req/Sec 70.11 61.57 2.96k 89.25%
Latency Distribution
50% 24.34ms
75% 42.52ms
90% 64.47ms
99% 116.16ms
2609713 requests in 10.00m, 1.22GB read
Socket errors: connect 0, read 17012, write 50793, timeout 26407
Requests/sec: 4349.02
Transfer/sec: 2.08MB

Nominatim 地址编码最先出现在wqh博客。