ArchiveBox: self-hosted веб-архив

источник ↗ ·

Open-source инструмент для сохранения веб-страниц, закладок, RSS и медиа в долговечные файлы на собственной инфраструктуре.

self-hosted web-archiving open-source docker data-preservation cli-tool warc sqlite

privacy

Эта заметка участвует в semantic memory.

AI Summary

ArchiveBox — это open-source self-hosted система веб-архивирования, которая сохраняет сайты, закладки, RSS-ленты, социальные посты, медиа и исходный код в обычные файлы (HTML, PDF, PNG, TXT, JSON, WARC, MP4, SQLite).

Ключевые тезисы:

  • Snapshots хранятся как обычные файлы и папки с метаданными в SQLite/JSON, не зависят от проприетарных сервисов.
  • Поддерживает множественные захваты одной ссылки: rendered HTML, скриншоты, PDF, WARC, текст статьи, заголовки, favicon, медиа, субтитры, git-репозитории.
  • Импорт из любых источников: CLI, браузерная история, RSS, JSON, CSV, TXT, Pocket, Pinboard, Instapaper, Wallabag и др.
  • Управление через Web UI, CLI, REST API, Python API или напрямую через файловую систему.
  • Docker Compose — рекомендуемый способ установки с предустановленными зависимостями (Chrome, wget, yt-dlp, SingleFile, readability).

Важные детали и нюансы:

  • Настройка через переменные окружения, archivebox config или ArchiveBox.conf; ключевые параметры: TIMEOUT, CHECK_SSL_VALIDITY, PUBLIC_INDEX, PUBLIC_SNAPSHOTS, CHROME_USER_DATA_DIR, COOKIES_FILE.
  • Структура данных: data/index.sqlite3, ArchiveBox.conf, archive// с index.html, index.json, screenshot.png, output.pdf, warc/*.warc.gz, media/ и git/.
  • Экспорт: archivebox list --html/--json/--csv для статических копий.
  • Хранение: ~1–50 ГБ на 1000 снимков; index.sqlite3 желательно на SSD, archive/ можно на NFS/SMB/S3.
  • Приватность: PUBLIC_INDEX=False, PUBLIC_SNAPSHOTS=False, PUBLIC_ADD_VIEW=False; создание суперпользователя через archivebox manage createsuperuser.
  • Риски: archived JS может выполнять запросы; для приватных URL нужно тщательно настраивать доступ.

Практические выводы и следующие шаги:

  1. Установить через Docker Compose: mkdir ~/archivebox/data, curl docker-compose.yml, docker compose run archivebox init --install, docker compose up.
  2. Добавить первую ссылку: docker compose run archivebox add 'https://example.com'.
  3. Настроить конфигурацию и политики публикации перед открытием публичного доступа.
  4. Изучить документацию README/wiki по Chrome setup, storage backends, authentication, security и publishing.

Мои мысли

graph

Карта связей