о создании недорогой (и всё ещё работающей) системы искусственного интеллекта,

 Автор статьи — Кристофер Пенн, опубликовано на сайте 'Almost Timely News' substack.

Я разрабатываю новый курс для Trust Insights, «Искусственный интеллект для письма (и писателей)», который выйдет 25 августа, и в процессе создания курса я понял, что никогда раньше не проходил пошаговый процесс настройки недорогой системы искусственного интеллекта.

Уже довольно давно многие из нас, работающие в корпорациях, имели доступ к, казалось бы, неограниченным возможностям искусственного интеллекта (хотя в крупных компаниях эта бесплатная услуга подходит к концу из-за абсурдно высоких счетов). Как же обычному человеку, не имеющему поддержки корпорации, можно использовать возможности агентных систем, не тратя при этом огромные деньги?

Это возвращает нас к вопросу от Лесли из  группы Analytics for Marketers в Slack :

« Вы снимали видео или публиковали посты с рекомендациями по недорогому второму компьютеру, который можно использовать для создания собственной машины искусственного интеллекта? »

Итак, на этой неделе давайте проявим бойцовский дух.

Предупреждения, оговорки, раскрытие информации

Если вы работаете в компании, пожалуйста, проконсультируйтесь с ИТ-отделом, прежде чем устанавливать программное обеспечение бездумно. Как бывший ИТ-специалист, мы благодарим вас.

Во-вторых, в этом выпуске я расскажу о моделях искусственного интеллекта китайского производства, таких как Qwen и DeepSeek. Существует ОГРОМНАЯ разница между китайской моделью, размещенной компанией в Китайской Народной Республике (КНР), и китайской моделью, размещенной компанией за пределами КНР.

Использовать любые модели ИИ, размещенные в КНР, для получения какой-либо конфиденциальной информации, абсолютно небезопасно. Однако использовать эти модели для общедоступных целей, таких как исследовательские запросы, вполне допустимо.

Однако использовать китайские модели ИИ на собственном оборудовании или в надежной инфраструктуре совершенно безопасно. Существует множество отличных поставщиков услуг по обработке данных, предлагающих такие решения, как хостинг с нулевым хранением данных (ZDR), которые даже безопаснее в использовании, чем модели крупных технологических компаний, поскольку эти поставщики гарантируют, что они вообще не хранят ваши данные. (В условиях предоставления услуг большинства крупных технологических компаний есть пункт «мы храним ваши данные в течение 30 дней для предотвращения злоупотреблений»).

Сейчас активно раздувается паника по поводу моделей с открытыми весами (включая китайские), потому что на кону прибыль крупных технологических компаний, если эти модели продолжат предлагать одинаковые возможности за гораздо меньшую цену. Не верьте этой шумихе; модели с открытыми весами настолько безопасны, что такие компании, как HuggingFace, используют их для собственной защиты от киберугроз.

Во-третьих, там, где у меня есть коммерческие связи, я буду их раскрывать. В статье на этой неделе есть партнерская ссылка на Amazon, и, очевидно, я работаю в своей компании  Trust Insights . На момент написания статьи у меня нет финансовой заинтересованности в других упомянутых компаниях (но я с удовольствием сообщу вам об этом по телефону).

Часть 1: Модель

Начнём наш обзор с выбора подходящей модели. В целом, вам нужны модели, сочетающие в себе экономичность и эффективность. Один из моих любимых сайтов для этого — Artificial Analysis;  на их странице с моделями есть удобная таблица, показывающая соотношение стоимости и интеллекта . В этой таблице нам нужны модели, которые находятся в верхнем левом углу — вертикальная (ось Y) обозначает интеллект, где чем выше значение, тем лучше, а горизонтальная (ось X) — стоимость, где слева — меньше.

В настоящее время лидером является DeepSeek V4 Flash 0731, который отличается невероятно низкой стоимостью и огромным количеством интеллектуальных функций, сравнимых с новейшей моделью OpenAI, GPT-5.6 Luna. Справа находится Claude Opus 5, который обладает примерно на 15% большим количеством интеллектуальных функций, но стоит в 40 раз дороже. Худший квадрант — нижний правый: высокая стоимость, низкая производительность.

Для создания самой дешевой агентской системы DeepSeek станет вашей основной рабочей моделью.

Стоит отметить, как я уже говорил в своей книге «  Почти вне времени: 48 основополагающих принципов генеративного ИИ»,  что модель для повседневного использования, возможно, не самая умная, но с точки зрения ежедневной работы такая модель, как DeepSeek v4 Flash, в большинстве случаев справится со своей задачей.  Кстати, немного ретроспективы: сравним DeepSeek со всеми основными моделями OpenAI за эти годы, чтобы увидеть, как она выглядит с точки зрения интеллекта .

DeepSeek V4 Flash превосходит все модели OpenAI за прошедшие годы, за исключением самых последних версий; он почти на 50% умнее флагманской модели прошлого лета, GPT-5, и лишь на 17% уступает по производительности нынешней флагманской модели OpenAI.

Вот та же диаграмма из мира Клода :

DeepSeek V4 Flash примерно на одном уровне с Claude Opus 4.7, который вышел в апреле 2026 года, всего ЧЕТЫРЕ МЕСЯЦА НАЗАД.

Времена меняются, технологии меняются, и вам следует следить за подобными графиками, чтобы определить, какая модель находится ближе всего к верхнему левому углу. В этом месяце это DeepSeek V4 Flash. В следующем месяце ситуация может быть совершенно иной. Наша обязанность — следить за графиками и использовать самые дешевые и лучшие решения, которые нам доступны.

Теперь, когда мы знаем, какую модель мы хотим использовать, нам нужно выяснить, где её применять.

Часть 2: Хозяин

Подобно тому, как компании, предоставляющие веб-хостинг, размещают веб-сайты, компании, предоставляющие услуги хостинга моделей — называемые поставщиками услуг вывода — размещают модели. Таких компаний очень много, и они конкурируют в основном по двум параметрам: скорости и цене. Некоторые провайдеры взимают высокую плату, но генерируют результаты (токены в секунду) с невероятной скоростью, как, например, Cerebras. Другие предлагают широкий выбор моделей с меньшей скоростью, но по низкой цене (например, DeepInfra).

Выбор поставщика довольно прост: поскольку вы уже определились с моделью, вопрос сводится к цене и доступности. В режиме Google AI Mode измените это сообщение в соответствии с вашими потребностями:

Помогите мне составить список поставщиков услуг вывода, соответствующих этим критериям. Во-первых, и это самое важное, они ОБЯЗАТЕЛЬНО должны предлагать именно эту модель: {model}. Это неизменяемое и не подлежащее обсуждению условие; поставщик, не предлагающий эту модель, не попадает в список. Во-вторых, определите ценообразование для этой модели в трех категориях: стоимость за входные токены, стоимость за выходные токены, стоимость за кэшированные токены. Если поставщик не предлагает ценообразование для этой модели для кэшированных токенов, исключите его из списка. В-третьих, поставщик ОБЯЗАТЕЛЬНО должен быть поставщиком услуг вывода с нулевым хранением данных (ZDR). Если ценообразование ZDR является дополнительным, рассчитайте его как часть стоимости токенов. Возможность ZDR обязательна; если поставщик не предлагает ZDR, исключите его из списка. В-четвертых, если это возможно, получите количество токенов в секунду для этой модели для каждого поставщика. Верните результаты в виде упорядоченного списка в порядке возрастания наименьшей стоимости за токен для каждого поставщика для выбранной нами модели.

В зависимости от ваших потребностей, вы можете добавить в запрос дополнительные требования, такие как соответствие стандарту SOC 2, соответствие GDPR и т. д., поэтому настройте его по своему усмотрению.

При выборе любой модели обязательно указывайте полное название модели; например, у DeepSeek v4 Flash отсутствует суффикс 0731. Нам нужна именно модель DeepSeek v4 Flash 0731.

Когда я ввожу этот запрос в Google, DeepInfra, Fireworks AI и OpenCode Zen отображаются как хорошие варианты. Выбор будет зависеть от того, насколько вы отдаете приоритет скорости и стоимости. Если бы меня попросили выбрать только один вариант, я бы ответил, что являюсь клиентом DeepInfra уже пару лет и у меня нет никаких нареканий, НО есть и аргументы в пользу OpenCode Zen. Подробнее об этом чуть позже.

Что мне нравится в конкретном случае Лесли, так это то, что при использовании провайдеров с оплатой по факту использования вы не платите, если не используете ИИ, и при этом существует сильный экономический стимул использовать ИИ как можно меньше и максимально эффективно. Одна из проблем с токенами (включая такие тарифы, как Claude Pro/Max и т. д.) заключается в том, что если вы не достигли своих еженедельных/месячных лимитов, вы тратите деньги впустую — и, следовательно, с большей вероятностью будете использовать ИИ бездумно. При оплате по факту использования вы платите только за то, что используете.

Часть 3: Аппаратное обеспечение

Для недорогой второй компьютерной системы нам нужно задуматься о том, как работают компьютеры. Графический пользовательский интерфейс, к которому мы все привыкли в Windows, Mac или даже настольных Linux, а также на наших телефонах и планшетах, — это НЕВЕРОЯТНО неэффективная трата вычислительных ресурсов. Для отрисовки и поддержки интерфейса требуется огромное количество памяти и вычислительной мощности по сравнению с чисто текстовыми интерфейсами.

Конечно, мой внутренний старомодный компьютерный гик поколения X подсказывает, что каждый должен уметь пользоваться текстовым интерфейсом (часто называемым командной строкой, командной строкой или терминалом), но это нереалистично. Однако есть один пользователь, который ОБОЖАЕТ текстовые интерфейсы.

Да, вы угадали. Это ИИ. ИИ гораздо эффективнее печатает, чем использует мышь, поэтому для нашего второго компьютера, как и спрашивала Лесли, мы будем ориентироваться на очень дешевый компьютер, который сможет запускать терминал, хранить данные и запускать систему ИИ. При цене примерно в 500 долларов США вы не сможете запускать модели ИИ напрямую на этом оборудовании (поэтому мы и искали хостинг-провайдеров во второй части), но у вас будет приличный компьютер с хорошим объемом памяти.

В выбранном вами магазине обратите внимание на так называемые игровые мини-ПК. Обычно они оснащены процессорами AMD Ryzen, небольшим жестким диском (как правило, 256 ГБ или 512 ГБ SSD) и от 16 до 32 ГБ оперативной памяти. Главное правило работы с компьютером — чем больше оперативной памяти, тем лучше; немного более медленный процессор с большим объемом памяти лучше, чем быстрый процессор с недостаточным объемом. Оперативная память — это как полосы движения на шоссе; Bugatti, застрявший в пробке на однополосной грунтовой дороге, не поедет так же быстро, как Prius по восьмиполосному шоссе без пробки.

Здесь также пригодится режим искусственного интеллекта Google. Измените это сообщение в соответствии со своими потребностями, особенно если есть компании, с которыми вы бы предпочли не вести дела:

Помогите мне составить список продавцов, предлагающих игровые мини-ПК с доставкой в ​​мой регион: {местоположение}. Мои критерии: стоимость компьютера должна быть меньше {сумма}, включая доставку, и он должен иметь минимум 16 ГБ оперативной памяти и 500 ГБ дискового пространства, в идеале с SSD. Предпочтительно 32 ГБ оперативной памяти, а больший объем дискового пространства всегда предпочтительнее. Система ОБЯЗАТЕЛЬНО должна поддерживать работу Ubuntu Linux 26.06 в безмониторном режиме. Процессор может быть любой марки или модели с базовой тактовой частотой 3 ГГц; AMD, Intel или другие производители подойдут, если они полностью поддерживаются Ubuntu. Наличие Ethernet и Wi-Fi обязательно. Наличие USB-C, Bluetooth и HDMI желательно. Поддержка eGPU приветствуется. Предпочтительные продавцы и реселлеры: {предпочтительный список}. Следующие продавцы и реселлеры запрещены: {запрещенный список}. Предназначение этого устройства — запуск OpenCode и Ubuntu Linux, а также таких приложений, как PostgreSQL, Docker, SQLite, Apache2 и аналогичных серверных систем для одного пользователя. Расположите результаты в порядке возрастания цены в виде упорядоченного списка.

На Amazon я наткнулся на какой-то случайный китайский компьютер, продававшийся за 499 долларов США, с 32 ГБ оперативной памяти и SSD на 1 ТБ  (партнерская ссылка!), название которого напоминает то, что происходит, если засунуть фишки для игры в «Скрэббл» в рот, а затем выплюнуть их на стол. В нем установлен процессор AMD Ryzen 7730U 2023 года выпуска, которого вполне достаточно для наших задач.

Зачем нужны именно такие характеристики? Вам нужна дополнительная оперативная память и дисковое пространство, чтобы запускать несколько локальных приложений одновременно на одном компьютере. Например, если вы хотите запустить Hermes Agent, скорее всего, вам понадобится контейнер Docker, и в этом случае дополнительная оперативная память и дисковое пространство ОЧЕНЬ помогут. Аналогично, если вы хотите создавать собственные локальные приложения, вам, вероятно, понадобится сервер с базой данных, возможно, даже локальный веб-сервер, и в этом случае дополнительная память и дисковое пространство действительно окажутся полезными.

Технически, хотя это и неприятный опыт, мини-ПК, подобный этому, МОЖЕТ выполнять локальный вывод с небольшими моделями. Используя что-то вроде llama.cpp, koboldcpp или Unsloth Studio, вы ТЕОРЕТИЧЕСКИ МОЖЕТЕ запустить небольшую модель, например Gemma 4 E4B, и получить небольшой сервер ИИ, способный выполнять базовые задачи, такие как суммирование.

После приобретения оборудования вам потребуется удалить с него операционную систему и установить версию Linux. Linux — лучший выбор для такого типа компьютеров, поскольку он может работать с минимальными системными ресурсами. Я бы посоветовал Ubuntu Linux в версии LTS — LTS означает Long Term Support (долгосрочная поддержка), и фонд Ubuntu гарантирует, что версия Ubuntu будет поддерживаться в течение 10 лет с момента выпуска. Текущая версия — 26.04 LTS, Resolute Raccoon.

Одно из преимуществ Ubuntu Linux заключается в том, что вы можете запустить её с графическим интерфейсом для настройки и всеми удобствами современных вычислительных систем, а затем, когда всё будет настроено должным образом, вы можете закрыть графический интерфейс, чтобы освободить ресурсы, и запустить её только в текстовом режиме.

Часть 4: Упряжь

Сами по себе модели ИИ умны, но склонны к таким вещам, как галлюцинации. Модели-носители могут добавить некоторые ограничения и настройки, но настоящая магия происходит, когда вы помещаете хорошую модель в отличную среду. Представьте себе модель как двигатель автомобиля. Сам по себе двигатель мало что значит, а автомобиль без двигателя — это просто украшение для газона, тем более если он стоит на бетонных блоках.

Но хороший двигатель в отличном автомобиле? Вот где, в буквальном смысле, решающее значение имеет качество. И, как и в случае с автомобилями, иногда хороший двигатель может пригодиться, но не отличный, если остальная часть автомобиля хороша. Если вы не участвуете в гонках NASCAR или Формулы-1, Prius не нуждается в двигателе V8.

«Регуляторы» — это интерфейсы для ИИ. Когда вы используете ChatGPT в веб-браузере, OpenAI накладывает на свои модели «регулятор», и то, что вы воспринимаете как ChatGPT, — это их настроенный регулятор. То же самое верно для Gemini, Claude и т. д. — и разные регуляторы выполняют разные функции. Например, в Claude Code в подсказки системы встроены сотни слов определенного языка, которые обеспечивают определенное поведение, а также множество детерминированных правил, которые незаметно отклоняют некорректные результаты от моделей Claude еще до того, как вы их увидите как пользователь.

Для наших целей, поскольку мы пытаемся создать гибкую систему искусственного интеллекта, нам нужен бесплатный инструмент, поддерживающий множество провайдеров. Для этого нет лучшего варианта, чем OpenCode.  OpenCode — это бесплатное программное обеспечение с открытым исходным кодом , и оно выпускается в двух вариантах: с командной строкой и с графическим интерфейсом пользователя. Его главное преимущество в том, что версия с графическим интерфейсом построена на основе версии с командной строкой, поэтому вам не нужно ничего менять, и вы можете настроить её в режиме графического интерфейса, а затем использовать позже в режиме командной строки без каких-либо изменений.

OpenCode также поддерживает все современные навыки и плагины, используемые другими системами искусственного интеллекта, поэтому, если вы видите, например, какой-то интересный навык, который кто-то демонстрирует в Claude Code, вы можете установить тот же навык в OpenCode.

OpenCode также предлагает 2 платных тарифных плана для программирования: OpenCode Zen, оплата по мере использования, и OpenCode Go, подписка. В OpenCode Zen есть несколько бесплатных моделей, но они собирают ваши данные и не гарантируют нулевое хранение данных. Помните, что в мире ИИ, если вы не платите, вы и ваши данные — это товар, продаваемый кому-то другому.

Если вам нужно удобство, заключающееся в отсутствии необходимости управлять хостингом ИИ отдельно от вашей инфраструктуры ИИ, OpenCode Zen — отличный выбор. Если же вы хотите минимизировать затраты, используйте OpenCode с DeepInfra.

Часть 5: Подведение итогов, процесс вкратце.

Итак, вкратце, вот порядок действий для начала работы — и вы можете загрузить этот список (или, скорее, всю эту рассылку) в свой любимый инструмент для общения с использованием ИИ, чтобы он помог вам пройти весь этот процесс.

1. Выберите модель.

2. Выберите хостинг-провайдера.

3. Выберите какой-нибудь ящик для инструментов.

4. Установите Linux на этот компьютер.

5. Установите OpenCode на этот компьютер.

6. Подключите OpenCode к своему хостинг-провайдеру.

Выполнив эти шесть важных шагов, вы готовы! Я бы также посоветовал установить и настроить tmux на вашем новом устройстве, поскольку это позволит вам очень легко управлять им удаленно. А если хотите чего-то более сложного, установите на него Tailscale, чтобы создать VPN-соединение между вашими компьютерами и получить доступ к вашему новому устройству с искусственным интеллектом из любой точки мира. Впрочем, это, пожалуй, лучше сделать позже, хотя ваш выбранный вами ИИ с легкостью поможет вам в этом.

Главное, что нужно помнить: эта машина — автономный небольшой сервер. После установки OpenCode и подключения к выбранной вами модели, одной из первых задач будет обеспечение его безопасности. Используя ваши любимые инструменты для углубленного анализа, запросите руководство по лучшим практикам обеспечения безопасности вашего небольшого компьютера и оптимизации его для использования ИИ, особенно с наиболее популярными инструментами командной строки, которые помогут ИИ экономить токены и ресурсы. Поскольку вы используете такого провайдера, как DeepInfra, каждый ваш запрос обходится вам в небольшую сумму, и чем меньше вы сможете это сократить, тем больше сэкономите.

Если вы развернете эту систему в том виде, в котором она описана, вы потратите около 500 долларов США на оборудование и, вероятно, от 5 до 10 долларов США в месяц на затраты на вывод ИИ при умеренном использовании, которое я определяю как крупный проект по программированию в неделю, когда ваш ИИ работает с постоянными усилиями около 2 часов в день. Модели, такие как DeepSeek V4 и аналогичные по возможностям модели, невероятно эффективны и очень дешевы в использовании.

Стоит отметить, что если у вас сегодня есть работающий компьютер, вы можете обойтись без покупки оборудования и установить OpenCode на свой компьютер как есть, исключив затраты на оборудование. Для людей с ограниченным доходом это отличный способ получить доступ к высокопроизводительному ИИ без дорогостоящих подписок, например, для соискателей работы со стабильным доходом.

Наслаждайтесь управлением собственным небольшим центром управления искусственным интеллектом!