这个项目运行了多年，我一直没有去做一个更有趣的功能：通用型网页抓取。除了那些设置起了高墙的主流信息流通渠道——社交媒体之外，占据互联网世界另外半壁江山的“古法通讯”的传统网页，包括各类机构的官方网站，大型公共新闻媒体网站，以及个人博客，同样值得留档。

我正在对这坨屎山进行清理重构。一旦完成，会另写文章讲解开发该项目时的一些心得。

通用型网页抓取原理

常规的网站难以被抓取的一大原因是其网页格式的不确定性。各个社交媒体的帖子格式完全固定。哪怕没有访问 API 到机会，只要能通过浏览器访问，就有机会将其结构化爬取。而随便扔出来一条古法时代的屎山网页，其对 Web 语义规范的遵循程度各异。此时我们很难直接通过特定的 HTML 标签将我们所需的正文爬取。

我在 Telegram 上曾长期利用过另一古法爬取通用型网页的公共 bot InstantViewBot。该 bot 的爬取发挥时好时坏，正是吃了各个网站格式各异的亏。

好在大语言模型的出现解决了这一痛点。大语言模型可以根据其经验准确地判断出繁杂的 HTML 屎山里何为标题何为作者名何为正文内容何为评论区，并生成结构化的输出。我们只需要攻克爬取部分即可，解析交由大语言模型来做。

Firecrawl

Firecrawl 是一个用于通用型网页批量爬取的开源项目，同时其官方也提供量贩爬取服务。

该项目系统化地集成了从 Playwright 虚拟浏览器爬取网页，到使用大语言模型解析网页内容，再到保存内容至数据库的流程。整个系统还搭配了 Redis 和 RabbitMQ 等消息队列组件，健壮性尚可。对使用者来说，只要访问 API 就可等待解析结果送上桌来。

我们只要自己部署，就不用给官方送钱了。

自建流程参考

Firecrawl 的官方文档对如何自建写得含混不清，强烈怀疑是为了骗你买官方服务。

建议在自己的 VPS 上直接 git clone 下载 Firecrawl repo，然后本地编译 image，否则 Postgre 部分还需要额外自建，略显麻烦。而且实际上数据库以外的其他几个组件使用线上 image 亦可。

我的服务器用的是 Traefik 做的反向代理，所以部署的难点在于如何对 Traefik 进行设置。

自建公网服务的一大隐患是被攻击者滥用。Firecrawl 官方不支持自建用户使用内置的鉴权系统，但是我们可以使用 Traefik 的中间件实现相同的效果。以下是 Traefik 的 traefik.yml 所需添加的中间件部分：

experimental:
  plugins:
    api-key-middleware:
      moduleName: "github.com/dtomlinson91/traefik-api-key-middleware"
      version: "v0.1.2"

Docker compose 文件如下，记得把 API 所需的 CPU 调低一点（我最多只能到3），免得把小鸡烧了：

name: firecrawl

x-common-service: &common-service
  # NOTE: If you don't want to build the service locally,
  # comment out the build: statement and uncomment the image: statement
  # image: ghcr.io/firecrawl/firecrawl
  build: apps/api

  ulimits:
    nofile:
      soft: 65535
      hard: 65535
  networks:
    - backend
  extra_hosts:
    - "host.docker.internal:host-gateway"
  logging:
    driver: "json-file"
    options:
      max-size: "10m"
      max-file: "3"
      compress: "true"

x-common-env: &common-env
  REDIS_URL: ${REDIS_URL:-redis://redis:6379}
  REDIS_RATE_LIMIT_URL: ${REDIS_URL:-redis://redis:6379}
  PLAYWRIGHT_MICROSERVICE_URL: ${PLAYWRIGHT_MICROSERVICE_URL:-http://playwright-service:3000/scrape}
  POSTGRES_USER: ${POSTGRES_USER:-postgres}
  POSTGRES_PASSWORD: "${POSTGRES_PASSWORD:-postgres}"
  POSTGRES_DB: ${POSTGRES_DB:-postgres}
  POSTGRES_HOST: ${POSTGRES_HOST:-nuq-postgres}
  POSTGRES_PORT: ${POSTGRES_PORT:-5432}
  USE_DB_AUTHENTICATION: ${USE_DB_AUTHENTICATION:-false}
  NUM_WORKERS_PER_QUEUE: ${NUM_WORKERS_PER_QUEUE:-8}
  CRAWL_CONCURRENT_REQUESTS: ${CRAWL_CONCURRENT_REQUESTS:-10}
  MAX_CONCURRENT_JOBS: ${MAX_CONCURRENT_JOBS:-5}
  BROWSER_POOL_SIZE: ${BROWSER_POOL_SIZE:-5}
  OPENAI_API_KEY: ${OPENAI_API_KEY}
  OPENAI_BASE_URL: ${OPENAI_BASE_URL}
  MODEL_NAME: ${MODEL_NAME}
  MODEL_EMBEDDING_NAME: ${MODEL_EMBEDDING_NAME} 
  OLLAMA_BASE_URL: ${OLLAMA_BASE_URL} 
  SLACK_WEBHOOK_URL: ${SLACK_WEBHOOK_URL}
  BULL_AUTH_KEY: ${BULL_AUTH_KEY}
  TEST_API_KEY: ${TEST_API_KEY}
  SUPABASE_ANON_TOKEN: ${SUPABASE_ANON_TOKEN}
  SUPABASE_URL: ${SUPABASE_URL}
  SUPABASE_SERVICE_TOKEN: ${SUPABASE_SERVICE_TOKEN}
  SELF_HOSTED_WEBHOOK_URL: ${SELF_HOSTED_WEBHOOK_URL}
  LOGGING_LEVEL: ${LOGGING_LEVEL}
  PROXY_SERVER: ${PROXY_SERVER}
  PROXY_USERNAME: ${PROXY_USERNAME}
  PROXY_PASSWORD: ${PROXY_PASSWORD}
  SEARXNG_ENDPOINT: ${SEARXNG_ENDPOINT}
  SEARXNG_ENGINES: ${SEARXNG_ENGINES}
  SEARXNG_CATEGORIES: ${SEARXNG_CATEGORIES}

services:
  playwright-service:
    # NOTE: If you don't want to build the service locally,
    # comment out the build: statement and uncomment the image: statement
    # image: ghcr.io/firecrawl/playwright-service:latest
    build: apps/playwright-service-ts
    environment:
      PORT: 3000
      PROXY_SERVER: ${PROXY_SERVER}
      PROXY_USERNAME: ${PROXY_USERNAME}
      PROXY_PASSWORD: ${PROXY_PASSWORD}
      BLOCK_MEDIA: ${BLOCK_MEDIA}
      # Configure maximum concurrent pages for Playwright browser instances
      MAX_CONCURRENT_PAGES: ${CRAWL_CONCURRENT_REQUESTS:-10}
    networks:
      - backend
    # Resource limits for Docker Compose (not Swarm)
    cpus: 2.0
    mem_limit: 4G
    memswap_limit: 4G
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"
        compress: "true"
    tmpfs:
      - /tmp/.cache:noexec,nosuid,size=1g

  firecrawlapi:
    <<: *common-service
    environment:
      <<: *common-env
      HOST: "0.0.0.0"
      PORT: ${INTERNAL_PORT:-3002}
      EXTRACT_WORKER_PORT: ${EXTRACT_WORKER_PORT:-3004}
      WORKER_PORT: ${WORKER_PORT:-3005}
      NUQ_RABBITMQ_URL: amqp://rabbitmq:5672
      ENV: local
    depends_on:
      redis:
        condition: service_started
      playwright-service:
        condition: service_started
      rabbitmq:
        condition: service_healthy
    # ports:
    #   - "${PORT:-3002}:${INTERNAL_PORT:-3002}"
    command: node dist/src/harness.js --start-docker
    # Resource limits for Docker Compose (not Swarm)
    # Increase if you have more CPU cores/RAM available
    cpus: 3.0
    mem_limit: 8G
    memswap_limit: 8G
    labels:
      - traefik.enable=true 
      - traefik.http.routers.firecrawlapi.rule=Host(`example.com`) 
      - traefik.http.routers.firecrawlapi.entrypoints=websecure 
      - traefik.http.routers.firecrawlapi.tls.certresolver=myResolver 
      - traefik.http.services.firecrawlapi.loadbalancer.server.port=3002
      - traefik.http.routers.firecrawlapi.middlewares=fc-auth
      - traefik.http.middlewares.fc-auth.plugin.api-key-middleware.bearerHeader=true
      - traefik.http.middlewares.fc-auth.plugin.api-key-middleware.bearerHeaderName=Authorization
      - traefik.http.middlewares.fc-auth.plugin.api-key-middleware.keys=yourkeys


  redis:
    # NOTE: If you want to use Valkey (open source) instead of Redis (source available),
    # uncomment the Valkey statement and comment out the Redis statement.
    # Using Valkey with Firecrawl is untested and not guaranteed to work. Use with caution.
    image: redis:alpine
    # image: valkey/valkey:alpine

    networks:
      - backend
    command: redis-server --bind 0.0.0.0
    logging:
      driver: "json-file"
      options:
        max-size: "5m"
        max-file: "2"
        compress: "true"
    
  rabbitmq:
    image: rabbitmq:3-management
    networks:
      - backend
    command: rabbitmq-server
    healthcheck:
      test: ["CMD", "rabbitmq-diagnostics", "-q", "check_running"]
      interval: 5s
      timeout: 5s
      retries: 3
      start_period: 5s
    logging:
      driver: "json-file"
      options:
        max-size: "5m"
        max-file: "2"
        compress: "true"
  
  nuq-postgres:
    build: apps/nuq-postgres
    environment:
      POSTGRES_USER: ${POSTGRES_USER:-postgres}
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-postgres}
      POSTGRES_DB: ${POSTGRES_DB:-postgres}
    networks:
      - backend
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"
        compress: "true"

networks:
  backend:
    driver: bridge

环境变量方面，OPENAI_API_KEY 自然不可少，而 OPENAI_BASE_URL 居然也需要手动设置，使用官方的 https://api.openai.com/v1 即可。此外别忘记设置 BULL_AUTH_KEY ，避免被人看光光管理界面。其他采用默认即可。

代码整合

Firecrawl 官方提供了 Python SDK。下面是我手动调整过的一个 Gemini 3 Pro 给我 vibe 出来的单例模式客户端，供君参考：

from __future__ import annotations

import threading
from dataclasses import dataclass
from typing import Any, Dict, List, Optional

from firecrawl import Firecrawl

from app.config import FIRECRAWL_API_URL, FIRECRAWL_API_KEY, FIRECRAWL_TIMEOUT_SECONDS


@dataclass(frozen=True)
class FirecrawlSettings:
    api_url: str
    api_key: str
    timeout_seconds: int = 60  # 你也可以在反代侧控制超时


class FirecrawlClient:
    """
    FirecrawlClient: 对 firecrawl python SDK 的封装 + 单例访问点。

    - 提供 scrape / crawl 等常用方法，方便其他模块调用
    - 线程安全单例（适合 Web 服务 / worker 多线程场景）
    """

    _instance: Optional["FirecrawlClient"] = None
    _lock = threading.Lock()

    def __init__(self, config: FirecrawlSettings):
        self._settings: FirecrawlSettings = config
        self._app: Firecrawl = self._create_app(config)

    @staticmethod
    def _create_app(config: FirecrawlSettings) -> Firecrawl:
        try:
            return Firecrawl(api_url=config.api_url, api_key=config.api_key)
        except TypeError:
            return Firecrawl(api_url=config.api_url, api_key=config.api_key)

    @classmethod
    def get_instance(cls) -> "FirecrawlClient":
        """
        线程安全的单例获取。
        - 首次调用可传 settings
        - 之后重复调用可不传
        """
        if cls._instance is not None:
            return cls._instance

        with cls._lock:
            if cls._instance is not None:
                return cls._instance

            config = FirecrawlSettings(
                api_url=FIRECRAWL_API_URL,
                api_key=FIRECRAWL_API_KEY,
                timeout_seconds=FIRECRAWL_TIMEOUT_SECONDS,
            )

            cls._instance = cls(config)
            return cls._instance

    @classmethod
    def reset_instance(cls) -> None:
        """测试用：重置单例。"""
        with cls._lock:
            cls._instance = None

    def scrape_url(
            self,
            url: str,
            formats: Optional[List[str]] = None,
            only_main_content: bool = True,
            timeout_seconds: Optional[int] = None,
            extra_params: Optional[Dict[str, Any]] = None,
    ) -> Dict[str, Any]:
        """
        单页抓取（最常用）
        """
        params: Dict[str, Any] = {
            "formats": formats or ["markdown"],
            "onlyMainContent": only_main_content,
        }
        if extra_params:
            params.update(extra_params)

        # if timeout_seconds is None:
        #     timeout_seconds = self._settings.timeout_seconds

        try:
            return self._app.scrape(url, formats=formats, only_main_content=only_main_content).model_dump(
                exclude_none=True)
        except Exception as e:
            raise RuntimeError(f"Firecrawl scrape_url failed: url={url}") from e

在你的代码中记得把 Traefik 那个中间件的密钥输入进 api_key 部分去创建 Firecrawl 对象。Firecrawl 的 SDK 会把这个 key 添加到 HTTP Header 的 Authorization 里。

 return Firecrawl(api_url=config.api_url, api_key=config.api_key)

调用该单例 fc = FirecrawlClient.get_instance() ，使用 scrape_url 即可进行爬取。

后 AI 时代写技术博客的碎碎念

虽然本文的绝大多数内容都是通过和 Gemini 3 Pro 聊天聊出来的，但我觉得进行一个记录还是有价值的。一是把最近做的有趣的事情分析给朋友；二是其实做一件事的大多数流程都很顺利，但被卡住的那部分痛点可能即使是问 AI 也要折腾很久，而这部分才是 AI 时代真正值得人类去做的工作。

参考文献

1. Setup Firecrawl with Docker and Traefik - Tim Kleyersburg

先辱骂一下索尼

然后，这个系列就不负众望的拉了。

狗屎一样的升级

22年年初，我把那台 XM3 摔坏了。本着买新不买旧的原则不得已买了一个 XM4。用到了2023年年初，我的 XM4 又不幸中招，降噪器元件坏掉，自己反复维修都失败。于是我本着买新不买旧的原则，想要试试 XM5。只在图书馆试用了一个小时，我就决定把这台 XM5 退掉：XM5 没法折叠，放到书包里都怕挤坏；佩戴起来非常不适，拉到最大依然夹头；自适应降噪无法关闭，给我的感觉就是外界的声音忽大忽小，非常干扰我的注意力，这种情况还不如没降噪呢。

结果是，我又买了一台 XM4，用到现在。

如今，三年之期已到，Sony 又推出了最新款的 WH1000-XM6。我满怀期待地看了一些 XM6 的测评视频，发现哪怕是再收了钱的商单评测，也不敢回避 XM6 最大的设计问题：为了所谓的机制降噪性能，佩戴起来更夹头了，而降噪性能本身却不存在什么质的飞跃——和两年前一样，这就直接把我劝退了啊。得，要不，再买一台 XM4？

甚至再找到一些23年时的帖子，我发现当年很多人实测就和我个人感受一样：XM5 相对 XM4 的升级聊胜于无，反而有很多激进但未必讨喜的设计更新，比如夹头的结构和性能不稳定的自适应降噪。

我就不懂了，从我第一次持有 Sony WH-1000XM 系列耳机到现在五年过去了，我居然对这个系列的新产品毫无购买欲望。而索尼也就死心眼，绝对不愿意基于 XM4 的模具推出更新版。看来这台作为 XM3 增强版的 XM4 还得再战三年……

定期报废的固件负优化

制造业的悖论：硬件做得质量太好，反而会导致下一代产品卖不出去没法持续割韭菜。于是和苹果会对先前两代的 iPhone 性能在 iOS 更新后进行负优化一样，也有大量群众反映，Sony 对降噪蓝牙耳机也会在固件升级后有意识地削弱其降噪性能。我个人也有类似体验。

朋友，我真不是不愿意给你的新品掏钱，但是你的新模具真的太他妈夹头了。算了，还是研究一下怎么降级固件吧。索尼你逼我的啊。

固件降级

搜来搜去，搜到一篇帖子讲怎么固件降级的。感谢 GitHub 上有一位国人大神开发出了专门针对索尼系耳机固件的定向刷机软件。

其原理是：反编译 Sound Connect 手机 APP 后拆解其逻辑，伪造索尼官网的 SSL 证书并在本地架设固件更新服务器，诱使 Sound Connect 从用户自行架设的更新服务器获取更新信息并安装特定版本的固件。

警告：民间大神毕竟不可能面面俱到地考虑到所有更新时可能出现的意外情况，他仅仅修改了提供的固件资源那部分。所以这么做多少还是有变砖风险。当然我是办成了没事，你们自己看着办。

流程

前往项目的 GitHub 页面：https://github.com/lzghzr/MDR_Proxy。进入 Release 页面下载打包好的使用包即可。

XM4 的版本已经算比较老的了，所以必须先卸载手机上已有的 Sound Connect，再下载 10 版本的 Sound Connect APP 进行安装。

除此之外，还要下载 MDR_Proxy 这个代理服务器架设工具本体。

把 APP 安装包 zip 下的证书文件放到 MDR_Proxy/security 目录下。然后点击 run.bat 或者进入 terminal 输入 node mdrproxy.js 即可启动运行。为了方便不懂编程的群众使用，作者还在安装包里内置了一个 Node.js 环境的 exe 文件，非常感人了。（如果你是 Mac OS，请自行安装 node。）

在那之前，先阅读 GitHub 上的 README 文档，下载对应版本的固件，放置在 MDR_Proxy/custom 目录下。

其中，00-03是不同地区固件的编码。00、01，和 02 分别是国际，日本，和中国。应该是对应固件的语音语言。

在手机方面。需要在 Sound Connect APP 内对手机 APP 进行设置：

• 禁止手机 APP 自动更新 - 防止应用商城把手机 APP 更新到新版，导致作者的代理服务器失效。
• 禁止耳机一段时间不使用后自动关机 - 防止更新过程中出现意外变砖。

然后，将手机和电脑置于同一 Wi-Fi 环境下，在手机的 Wi-Fi 设置中调整代理类型为“手动”，输入运行代理服务器软件的设备的 IP 地址，以及该代理服务器的默认架设端口 8848。

Windows 电脑的局域网 IP 地址，可以通过在控制台中输入 ipconfig 找到。

一切准备就绪后，手机启动 Sound Connect，电脑输入3，然后选择你想要刷的固件。Sound Connect 上就会出现更新提示了。

记得在更新前确保网络稳定，给手机和耳机都充好电，防止意外变砖。

降级成功后体验

……还真更安静了一点。群众测试结果诚不我欺。可惜的是目前还找不到 2.5 以前版本的固件，新出厂的 XM4 都是预装 2.7.1 版本了。不知道是不是其实 XM4 的降噪性能本身还可以更好。

参考文献

1. 哪一代最值得买 ？索尼 WH-1000XM6 全面测评 - 直推小新
2. 2024年了，它还值不值 索尼 WH-1000XM4 & XM5 性能对比测评 - 直推小新
3. MDR Proxy - FW sidegrade tool for Sony bluetooth headphones/earbuds - MrWalkman
4. 想回味xm4刚出时候的降噪性能？xm5刚出时候的默认声音？【索尼耳机固件降级方法】
5. WH-1000XM3 custom firmware flash (MDR_Proxy) - Reddit r/sony

我不想把 MySQL 运行在我的 VPS 上，因为我的 VPS 经常会搞一些实验性质的东西把服务器搞炸。

2025年了，于是我直接问我们的 GPT 老师，外接 MySQL 托管哪家强：

I have an application that needs a MySQL database. I dont want to set it up on my own server but use a cloud provider's. Do you have any suggestions?
The data volume and traffic volume is low but I hope it can persist long with low price while I can backup the data and transfer it at any time

答曰：

Absolutely — for low-traffic, low-volume MySQL databases with persistent storage, backups, and easy migration, there are several good cloud options. Since you're optimizing for **low cost**, **longevity**, and **portability**, here are some curated suggestions:

---

### 🔹 1. **PlanetScale** *(Highly recommended for your use case)*
- **Pricing**: Free tier available with generous limits.
- **Key Features**:
  - MySQL-compatible (built on Vitess, used by YouTube).
  - Serverless scaling.
  - Non-blocking schema changes.
  - Automatic daily backups (paid tiers have longer retention).
  - CLI and web-based data export.
- **Best for**: Projects needing long-term free hosting and easy backups.

📌 **Notes**:
- Doesn't allow direct access to `mysqldump` (uses its own export tools).
- Slightly different from traditional MySQL in some low-level admin operations.

---

### 🔹 2. **Railway**
- **Pricing**: Free tier includes 500MB of storage, with paid plans starting low.
- **Key Features**:
  - Easy MySQL deployment with backup/export options.
  - Integration with Git-based workflows.
  - Nice for quick prototyping and persistent development.
- **Best for**: Simple apps needing database + backend hosted together.

---

### 🔹 3. **Render**
- **Pricing**: $7/month for Managed MySQL.
- **Key Features**:
  - Daily backups, automatic scaling.
  - Simple UI for database access.
- **Best for**: More traditional MySQL feel, small production apps.

---

### 🔹 4. **Google Cloud SQL / Amazon RDS / Azure Database for MySQL**
- **Pricing**: Paid from the start (~$15+/month for the lowest setup).
- **Key Features**:
  - Fully managed, high availability, easy snapshot backup and export.
- **Best for**: Production-grade reliability, enterprise-level features.
- **Not recommended** if you're trying to keep it super cheap.

---

### 🔹 5. **DigitalOcean Managed Databases**
- **Pricing**: Starts from $15/month, but frequent discounts for new users.
- **Key Features**:
  - Automatic backups, metrics, scaling.
  - Easy migration using `mysqldump` or `pg_dump`.
- **Best for**: If you may later scale up without changing platforms.

---

### ✅ Summary Recommendation:

| Provider       | Free Tier | Backup/Export | Best For                            |
|----------------|-----------|----------------|-------------------------------------|
| **PlanetScale** | ✅         | ✅ (with CLI)   | Long-term, low-traffic apps         |
| **Railway**     | ✅         | ✅              | Quick setups with portability       |
| **Render**      | ❌         | ✅              | More control with affordable price  |
| **GCP/AWS/Azure**| ❌        | ✅              | Production, but more costly         |
| **DigitalOcean**| ❌ (trials) | ✅             | Budget production hosting           |

---

Let me know your preferred tech stack or budget limit and I can help you choose/setup one of these platforms with actual steps.

PlanetScale 已经不给白嫖了，于是我去查 Railway。Railway 价格还是可以的，基本款5刀一个月，而且给5刀的免费试用。

用了一下，发现这个 Railway 其实就是拖控件开 Docker 构建数据流。理论上可以把自己的大多数容器化服务都托管到上面。

部署过程中遇到了一个问题。Waline 不支持8以上的 MySQL，于是我需要把 Railway 默认提供的 MySQL 版本改掉。但是当我把 Docker image 的版本从9改到5.7再重新部署，Railway 一直在报错。查看错误日志，原来是因为绑定的 Data Volume 依然保存了创建时默认的9版本的内容。所以需要先改 image 版本，再手动删掉那个默认提供的 Volume ，再绑一个新的空 Volume 上去。

为了这个我折腾了半个多小时。这个网站的设计师一定觉得自己聪明坏了，拖控件编程好帅好爽好方便一定能大卖吧……然而这样的反直觉的操作流程还不如用命令行操作 Docker 时得到的提示直接——至少我可以直接 docker compose down -v，连带着 container 及其挂载的持久化卷一同删除。总觉得搞这种创业项目费力不讨好，高不成低不就，不知道什么样的用户会依赖这样的服务。

不管怎么说，这家还算价格公道，暂且先用着了。以后可以考虑把更多 VPS 上的东西用这家部署。

躺在床上，赶紧用手机上的 JuiceSSH 进去看了一下，有好几个 Docker 服务都停了。其中一个是我 Telegram Bot 的自建 API 服务器，提示

can't create directories in the directory "/var/lib/telegram-bot-api/". Use --dir option to specify a writable working directory

我觉得很奇怪，一开始以为是 Docker Image 出了问题。于是起床打开电脑，发现居然无法用 VS Code 的 Remote 功能 SSH 进入服务器。

Failed to connect to the remote extension host server (Error: WrappedError(WrappedError { message: "error unpacking /root/.vscode-server/cli/servers/Stable-cd4ee3b1c348a13bafd8f9ad8060705f6d4b9cba.staging/server/node_modules/@xterm/addon-webgl/lib/addon-webgl.mjs.map", original: "Custom { kind: StorageFull, error: TarError { desc: \"failed to unpack vscode-server-linux-x64/node_modules/@xterm/addon-webgl/lib/addon-webgl.mjs.map into /root/.vscode-server/cli/servers/Stable-cd4ee3b1c348a13bafd8f9ad8060705f6d4b9cba.staging/server/node_modules/@xterm/addon-webgl/lib/addon-webgl.mjs.map\", io: Os { code: 28, kind: StorageFull, message: \"No space left on device\" } } }" }))

反复尝试后无果。直接复制这段问 ChatGPT 老师。回答说“The error message indicates that the system is running out of disk space (No space left on device)”。

于是进一步询问如何查容量使用。

df -h
du -ah / | sort -rh | head -n 20

然而由于空间已经所剩无几，连运行完检索最大20个文件的 pipeline 的容量都不足了。因为我服务器上所有的服务都是跑在 Docker 上的，我估计大概率又是哪个 Docker 容器出问题了。

于是我先清理了一下不用的容器

docker prune image

有了空间再运行 du -ah / | sort -rh | head -n 20。

76G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240
39G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/merged
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/merged/tmp/rod/user-data
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/merged/tmp/rod
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/merged/tmp
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/diff/tmp/rod/user-data
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/diff/tmp/rod
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/diff/tmp
38G     /var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240/diff
4.3G    /var/lib/docker/volumes
3.0G    /var/lib/docker/overlay2/3762ba957ba504bf1fe2de7e08b46ab449133ccb2292fab0f61e26901efb916e/merged
3.0G    /var/lib/docker/overlay2/3762ba957ba504bf1fe2de7e08b46ab449133ccb2292fab0f61e26901efb916e
2.8G    /var/lib/docker/overlay2/64759dec53597f35b23513cf7bec2880d43ef6acc79ece0338a5d0ec314702c7/merged
2.8G    /var/lib/docker/overlay2/64759dec53597f35b23513cf7bec2880d43ef6acc79ece0338a5d0ec314702c7

虽然不知道是哪个容器造成的容量无限吞噬，只好直接 docker prune 了，然后关闭 Docker，手动移除/var/lib/docker/overlay2/c4fd02de5c772625977613bd995d71be1faa6f8fd237d54c88028b6b75123240 目录。

之后就好了，好像也没啥事。

更新：

手动移除 /var/lib/docker/overlay2/ 是不合适的。实际上这些文件是 Docker container 挂载在硬盘的文件目录。只要关闭对应的 container，这些文件就会立刻消失。

可以使用这个命令查看哪个目录占空间最多：

du -h --max-depth=1 /var/lib/docker/overlay2 | sort -hr | head -20

Claude 帮我写了一个脚本查看每个目录对应的 container 是哪个：

for container in $(docker ps -q); do
  echo "Container: $(docker inspect --format '' $container)"
  echo "ID: $container"
  echo "Overlay: $(docker inspect --format '' $container)"
  echo "---------------------------------------"
done

查出来后关掉对应的 container 就好。

几年来，我的 IT 水平突飞猛进，逐渐意识到 WordPress 其实不太适合我这种纯文字为主的站点。很多 PHP 才能做到的高级动态功能我都没用上，反而各类 PHP 的使用还加剧了内存消耗，降低了读者访问速度和阅读体验。干脆把这个博客也迁移到 Jekyll 得了。

提取 WordPress 内容为 Jekyll 所需格式

好在 GitHub 早年为了推自家的 GitHub Pages，做了个 WordPress 插件 WordPress to Jekyll Exporter。坏消息是，

Docker 在容器中调试 WordPress

使用 Docker 命令 docker exec -it <container_id> bash 进入该容器的 Shell 界面。

一路 cd 进入到 /var/www/html/wp-content/plugins/jekyll-exporter/ 里，根据 WordPress to Jekyll Exporter 官网的建议使用命令行运行。

php jekyll-export-cli.php > jekyll-export.zip

发现提示内存不足。修改配置文件把允许读取内存从64MB提升到256MB。

此外，还发现其他插件有影响该插件运行的可能，于是试图关闭其他插件。

WordPress 的原理是只看 wp-content/plugins/ 里的内容。所以只要把插件目录用 mv 指令改名，然后弄一个新的 plugins 目录，再把需要的插件复制一份进去就好。

Docker 部署下操作容器内的文件

依然提示有 bug，似乎是某个 php 的函数无法顺利运行。搜索 GitHub 的项目 Issue 区，看到了一个 Issue 提起此问题。

原来是少添加了一条引用的函数。只要把 include "../../../wp-admin/includes/file.php"; 加到 jekyll-export-cli.php 的最上方就好。非常可笑的是，十年过去了，这招居然还适用。

然而，我的 WordPress Docker 容器里并没有 vi 命令软件，没法直接编辑 jekyll-export-cli.php。这里就只能曲线救国了：

docker cp <container_id>:/var/www/html/wp-content/plugins/jekyll-exporter/jekyll-export-cli.php ~

即把该文件复制到我的 VPS 的用户根目录下。修改完文件后把 cp 命令的源地址和目标地址交换，再次使用即可传回容器内。

这次再使用 php jekyll-export-cli.php > jekyll-export.zip，终于成功了。

编辑文章元数据

这个插件导出的文章 markdown 文件的文件名都是一串乱码，然而文件内的 YAML 头文字 title 都是对的。这种事情用一个 Python 脚本处理再好不过了。现如今，这种前人已经做过无数次的文本处理小场景问题肯定用不着自己重新造轮子。用 ChatGPT 写 Python 脚本还是很方便的，直接问：

write me a python script to change all my .md files’ title from “yyyy-mm-dd-xxxxxx” to “yyyy-mm-dd-$title” according to the yaml front matter in each files. they both have title attribute in the yaml frontmatters

出来的内容复制粘贴，稍微改一下目录所在地址，直接在 VS Code 下运行，一点 bug 都没有。

我还类似地问 ChatGPT 写脚本，添加了一些 YAML 元数据，脚本的表现都很好。

AI 确实取代了一部分所谓程序员的工作——然而，这只是小场景的切入，是最容易被模仿并且用自然语言表达的。仅仅会做这些是没法完成大型工程的。反倒是某些希望能使用编程提升自己工作效率的文本处理人员会学一点这些——不过也可以由 GPT 代劳了。由此看来，AI 目前取代的其实依然只是低级文员的工作。

山寨制造 Jekyll 博客主题

一直没下定决心把主博客搬迁到 Jekyll 的原因还有一个，就是没有找到心仪的适合随笔类博客主体。姑且先山寨之前在 WordPress 上使用的那个主题随手做一个吧，也自己看习惯了……毕竟博客很大的程度上就是给自己看的小玩具嘛。

ChatGPT 做前端小组件什么的还是很方便的。给出 prompt，导航栏的下拉菜单和主页尾端的分页菜单这种一下就写好，再稍微手动调整下 CSS 就好。

很多实用 HTML 小组件比如分页和图片包装，直接抄了 Chirpy 的代码稍微改改就用。说实在的，我觉得 Chirpy 的那一套设计都可以当作 Jekyll 主题制作的规范了，功能实在是全面到不像话。

具体怎么制作的主题，遇到了以后再单出一篇细讲吧。也许那时候抄袭完善得差不多了可以放出来给大家用。现在还有很多想要的功能没做出来，CSS 之类的也写得很混乱，不方便放出来。

参考文献

1. Migrating from Wordpress to Jekyll
2. Moving from WordPress to Jekyll
3. From Wordpress To Jekyll