Русскоязычное сообщество Debian GNU/Linux

Парни, сознайтесь, кто из нас занимается изучением и использованиием ИИ? 
Хотелось бы поделиться опытом, объединить наши познания и т.д.
Одному скучно и сложно...

Мне ИИ интересен в технологическом (на уровне научпопа), экономическом, философском, психологическом, футуристическом и даже религиозном аспектах. С DeepSeek уже накопил несколько достаточно интересных бесед (как говорится, правильная постановка вопроса - уже половина ответа), которые могут стать хорошей пищей для ума. Собираюсь снабдить это собственными размышлениями, комментариями и опубликовать, если лень не помешает.

Цитата: Craftsman от 05 февраля 2025, 23:13:33кто из нас занимается изучением и использованиием ИИ?

лишь как пользователь, особенно с появлением халявных и мощных Qwen 2,5+ и deepseek

А как насчет того, чтобы поднять свой собственный свечной заводик небольшой ИИ-серверок, чтобы на нем ни в чем себе не отказывать? 

Цитата: Craftsman от 06 февраля 2025, 09:47:26А как насчет того, чтобы поднять свой собственный свечной заводик небольшой ИИ-серверок, чтобы на нем ни в чем себе не отказывать?

не получится. С тем же deepseek, чтобы ни в чем не отказывать, на локальный сервер требуется Nvidia A100 80gbx16 - 20 тысяч баксов    .

Такую увеситую модельку... ну да, не получится. Но ведь множество вполне достойных моделей, например, от Ollama, вполне помещаются в 8 ГБ.

Цитата: Craftsman от 06 февраля 2025, 10:56:06Но ведь множество вполне достойных моделей

а как же критерий - ни в чем себе не отказывая ? 

Так то простенькая модель deepseek работает и на рс с Nvidia 3060 12gb, но уже со скромными возможностями

Так это, про распределённые вычисления надо вспомнить)) Не помню как называется проект, то ли инопланетян ищут, то ли новые галактики, то ли научные вычисления ведут, а может и не один, по сети из разных компов. Вроде в дебиане даже пакет был.

Цитата: yoric от 06 февраля 2025, 19:11:13Так это, про распределённые вычисления надо вспомнить)) Не помню как называется проект, то ли инопланетян ищут, то ли новые галактики, то ли научные вычисления ведут, а может и не один, по сети из разных компов. Вроде в дебиане даже пакет был.

BOINC
https://boinc.berkeley.edu/
https://ru.wikipedia.org/wiki/BOINC
https://packages.debian.org/sid/boinc

Цитата: ek-nfn от 06 февраля 2025, 11:08:07

Цитата: Craftsman от 06 февраля 2025, 10:56:06Но ведь множество вполне достойных моделей

а как же критерий - ни в чем себе не отказывая ? 

Ну что же, придется использовать губоскатыватель 

Ок, если есть заинтересованные любители ИИ, то хочется привлечь вас к одной конкретной теме.
Ах да, забыл сказать - когда Земля была еще тепленькая, я купил неплохую для тех времен видяху - RADEON RX580 и намайнил на ней немного лайтокинов.
Потом времена для нее ушли, и она просто лежала в чулане, выбросить жалко, а продавать лень.

И вот еще в прошлом году случайно натыкаюсь а эту животрепещую тему - Add support for older AMD GPU gfx803, gfx802, gfx805 (e.g. Radeon RX 580, FirePro W7100) #2453
Тема, которой еже год, как сами видите, просто агромадная, в ней тыщи копий сломано в попытках заставить работать RX580, видать, далеко не один я купил ее и всем хочется ее запустить для ИИ. Самый продвинутый и продуктивный в теме парень, имхо - это mnccouk, который натворил много полезного.
Пошел и я по этим шагам, пробуя все варианты, которые сумел понять.
Что отталкивает, то все они на бубунту, к которой у меня стойкая аллергия.
И вот, за нескольких месяцев траханины мне таки удалось запустить ROCm, причем на нашем любимом Debian 11 !  👍

Такого успеха в теме не достиг никто, все возятся исключительно с бубунту или мастдайкой.
Почему на 11 - потому что ROCm крайне ненадежная штука, для нее надо специально давать определенное ядро, и на какой-попало версии оно работать не будет.
Соответственно удалось запустить Llama 3.1 по этой инструкции mnccouk/ollama-gpu-rx580 и получить вожделенные 25 токенов/сек.
После чего специально написал на bash скриптик для упрощения настройки этого весьма капризного ROCm.
Он чудесно работал в прошлом году, а в этом увы, посыпались неудовлетворенные зависимости, видать, что-то поменялось в репах, и он опять нуждается в осмыслении и доработке.
В-общем, ROCm по большому счету, ненадежная, капризная и недолговечная штуковина без гарантий на перспективу, сегодня она работает, а завтра нет.
Но на ROCm свет клином не сошелся, есть же еще какие-то Vulkan'ы, OpenGL, что ли, но в них  я совершенно не разбираюсь.

В-общем, если кому интересно, можем продолжить. Со своей стороны могу предоставить вам  на растерзание Debian-сервачок с RX580, на котором можете тренироваться до упоения 😊
Развалите систему - нет проблем, я переустановлю Debian на какой вам угодно.

Понимаю. (c) Нас и здесь неплохо кормят 
В том смысле что пока всех вполне устраивает многочисленные облачные ИИ с их мощными возможностями.
Но поверьте старому деду: это замануха, и эта бесплатная лавочка со временем закроется.
Собственно, она уже начала потихоньку  закрываться - топовые  возможности только за деньги, всякие временные лимиты, и чем дальше, тем их будет больше.
Так что альтернативы собственному свечному заводику нет, и чем раньше вы его смастерите, тем будет лучше для вас.

Цитата: Craftsman от 08 февраля 2025, 23:30:35топовые  возможности только за деньги,

на своем свечном заводике, скорее всего, топовых возможностей вообще не будет. А если и будут, то за очень большие деньги - ценник на nvidia a100 выше уже показывал. И это лишь одна плата. И это дело будет регулярно устаревать и требовать замены. Так что тут еще надо смотреть что выгодней.

Ну да, топовых возможностей не скорее всего, а точно не будет. А так уж точно ли они нужны?
Когда в прошлом году я тренировался на Llama 3.1 на допотопной RX580, то в качестве бессменного помощника 24/7 она меня более чем вполне устроила.
Сколько же задач я на ней порешал, не счесть. А ведь есть еще проекты, которые оптимизированы для работы на обычном CPU, например, Llama.cpp.
В-общем, было бы желание 

Craftsman,

Суть предожения в чем простыми словами? Скинуться на сервак и вместе юзать? Честно говоря, пока у меня нет такой необходимости. Да и сомневаюсь, что на наших вычислительных мощностЯх тот же Дип сможет работать в полную силу. Он юморит, хитрит; выделяет ресурсы! (как мне показалось) для разговоров, которые ему больше интересны; и прочим образом демонстрирует разумные свойства. Отличный способ улучшить имидж Китая. И да, такое, на мой взгляд, требует централизованной платформы, пока квантовые компьютеры не получат массового распространения.         

Цитата: Листик от 09 февраля 2025, 13:28:41Суть предожения в чем простыми словами? Скинуться на сервак и вместе юзать?

Да нет же, суть совсем в другом, прочтите еще разок сообщение #9.
А скидываться нет смысла, поскольку есть готовые GPU-хостинги, например, и я не уверен, что свечной заводик обойдется в эксплуатации дешевле.
Главное его преимущество - независимость, если это, конечно, кому-то нужно.

Цитата: Листик от 09 февраля 2025, 13:28:41Честно говоря, пока у меня нет такой необходимости.

Значит, вы еще не созрели