Sail: Rust-замена Apache Spark 🚀

источник ↗ ·

Sail — это drop-in замена Apache Spark на Rust, объединяющая batch/stream/AI-ворклоады с 4× ускорением и 94% экономией затрат.

rust spark big-data ai-workloads stream-processing batch-processing performance pysail

AI Summary

Обзор: Sail — это высокопроизводительная замена Apache Spark, написанная на 100% чистом Rust без JVM-overhead. Проект унифицирует batch/stream processing и compute-intensive AI-ворклоады на распределённом multimodal compute engine. Совместим с Spark Connect протоколом, поддерживает Spark SQL/DataFrame API без переписывания кода. Установка через PyPI: pip install pysail + PySpark. Документация доступна онлайн. 📊

Ключевые тезисы: • ⚡ ~4× быстрее Spark (до 8× в специфических нагрузках), 94% дешевле на infra (TPC-H benchmarks). • 🏆 Лидер ClickBench: обходит Spark, Databricks, Snowflake и ускорители. • 🛡️ Rust-native: memory safety, instant startup, предсказуемая производительность. • 🔗 Zero-code changes: полная совместимость с Spark Connect/SQL/DataFrame APIs. • 🐳 Установка: pip install pysail + PySpark, quick start готов. • 📚 Документация последней версии на официальном сайте.

Мои мысли