Инструменты
Подборка AI-инструментов. Только то, что работает.
Sutra: как собрать локальный playground для изучения агентного ИИ без облаков и API
Минималистичный фреймворк Sutra для изучения агентного ИИ на локальных моделях. Сравнение с LangChain, установка, примеры использования.
Pathway + Ollama + Llama 2.5: локальный детектор логических дыр в текстах на 100 тысяч слов
Гайд по сборке полностью локальной системы для анализа консистентности в длинных документах с помощью Pathway, Ollama и Llama 2.5 7B.
OpenAgent: контрольная панель для локальных AI-агентов, которая наконец-то изолирует их друг от друга
Обзор OpenAgent — open-source control plane для оркестрации локальных AI-агентов с изоляцией через systemd-nspawn и Git для конфигов.
Temple Bridge: ваш личный офлайн-ассистент на Apple Silicon, который не забывает ничего
Полный гайд по настройке офлайн-ассистента с памятью и доступом к файлам на базе Hermes-3 и MLX для Mac. Приватность без облаков.
Adaptive-K Routing: практический гайд по экономии 30-52% ресурсов на MoE-моделях (Mixtral, Qwen, OLMoE)
Как Adaptive-K Routing экономит 30-52% вычислений на MoE-моделях. Практическое руководство по установке, настройке и использованию с TensorRT-LLM.
KoboldCpp 1.106: MCP серверы для локальных моделей — выкиньте Claude Desktop
Полное руководство по настройке MCP серверов в KoboldCpp 1.106. Замена Claude Desktop для работы с тул-коллами на локальных моделях.
Recursive Data Cleaner: как автоматизировать очистку данных с помощью LLM и Python
Обзор Recursive Data Cleaner - Python-библиотеки для рекурсивной очистки JSONL и CSV с помощью LLM. Автоматическая генерация функций, сравнение с аналогами.
Offloom: первый локальный AI-ассистент в Steam для не-технарей — обзор функций и системных требований
Первый локальный AI-ассистент в Steam для обычных пользователей. Генерация изображений, RAG-поиск по документам, приватность. Системные требования: 12/8 ГБ VRAM
PyTorch 2.7.1 для старых GPU: как запустить современные модели на Kepler 2.0+
Инструкция по установке backport PyTorch 2.7.1 для старых GPU Kepler 2.0+. Запускайте современные модели на K40, GTX 780. CUDA 12.1, MKL, cuDNN.
PersonaPlex от NVIDIA: как запустить локальную full-duplex модель для живого диалога
Обзор PersonaPlex от NVIDIA — 7B full-duplex модель для естественных диалогов без пауз. Установка, сравнение с Moshi, примеры использования.
Personica AI: когда NPC в Unreal Engine начинают думать локально
Обзор Personica AI — плагина для интеграции локальных языковых моделей в Unreal Engine. Создавайте умных NPC без облачных API.
Piemme: Ваши промпты теперь под контролем версий. Наконец-то.
Обзор Piemme — инструмента на Rust для версионирования, композиции и динамического выполнения промптов. Сравнение с аналогами и примеры использования.