Debian на многопроцессорной системе

Impuls · 09 ноября 2011, 23:21:57

Доброго времени суток уважаемые эксперты. Долго думал в какой раздел поместить тему, и решил поместить сюда.
В общем решил я немного поэкспериментировать.
Имеется ноутбук dell vostro 3300 n series. На борту несет процессор Intel i3. Благодаря технологии Hyper-threading системой данный процессор определяется как 4 различных CPU.
Отсюда пришла в голову идея реализовать что-то на подобие "суперкомпьютера", когда на одном процессоре стоит ОС, а на всех остальных запускаются пользовательские задачи.
Как такой фокус можно осуществить с Debian и как это может сказаться на производительности системы?
Заранее спасибо.

Razzeeyy · 10 ноября 2011, 01:44:35

1) вы заблуждаетесь, это не 4 разнцых CPU, а всего-лишь специальная технология HyperThreading, которая виртуально делит 1 физический процессор на 4 (эмулирует)
2) система сама знает как лучше распределить ресурсы, она старается как можно лучше и равнее распределять нагрузку на процессор. и в такие дела лучше не влазеть.

Impuls · 10 ноября 2011, 02:11:26

Цитировать1) вы заблуждаетесь, это не 4 разнцых CPU, а всего-лишь специальная технология HyperThreading, которая виртуально делит 1 физический процессор на 4 (эмулирует)

Я знаю что это не 4 процессора. Я об этом написал в первом посте. Но система его видит как 4 разных ЦПУ, а следовательно она не должна ругаться на то, что у меня недостаточно процессоров, чтобы "ставиться" на одном из них.

Цитировать2) система сама знает как лучше распределить ресурсы, она старается как можно лучше и равнее распределять нагрузку на процессор. и в такие дела лучше не влазеть.

Вот я и хочу поэкспериментировать с этим распределением, дабы узнать его эффективность. В теории это должно увеличить производительность, т.к. разгрузятся ядра от ненужных приложению процессов.
Как будет на практике - не знаю, но думаю что прирост будет незначительный (в реальности загрузка всех ядер 6% +/- 2%). + одно ядро будет всегда загружено на %30-40, что может негативно сказаться на энергопотреблении... Но попробовать всегда стоит...

Rock · 10 ноября 2011, 08:55:15

ИМХО для твоей задачи хватит ulimit. Им можно отдать процессу (группе процессов) определенное кол-во процессорного времени.

Impuls · 10 ноября 2011, 13:06:41

Цитата: Rock от 10 ноября 2011, 08:55:15
ИМХО для твоей задачи хватит ulimit. Им можно отдать процессу (группе процессов) определенное кол-во процессорного времени.

Это не так интересно. Я же хочу попробовать именно описанную ситуацию.

Brainey · 10 ноября 2011, 15:33:10

ЦитироватьБлагодаря технологии Hyper-threading системой данный процессор определяется как 4 различных CPU.

Он может определяться как 4 различных ядра CPU, а не 4 физических CPU. Поэтому, как минимум, название темы не соответствует действительности, т.к. никакой многопроцессорности у вас нет. Да и выигрыш от вышеописанного вы вряд ли получите, а вот обратный эффект - вполне возможно.

Impuls · 10 ноября 2011, 16:40:56

Цитата: Brainey от 10 ноября 2011, 15:33:10
ЦитироватьБлагодаря технологии Hyper-threading системой данный процессор определяется как 4 различных CPU.
Он может определяться как 4 различных ядра CPU, а не 4 физических CPU. Поэтому, как минимум, название темы не соответствует действительности, т.к. никакой многопроцессорности у вас нет. Да и выигрыш от вышеописанного вы вряд ли получите, а вот обратный эффект - вполне возможно.

Открыть содержимое (спойлер)

cat /proc/cpuinfo
processor   : 0
vendor_id   : GenuineIntel
cpu family   : 6
model      : 37
model name   : Intel(R) Core(TM) i3 CPU M 380 @ 2.53GHz
stepping   : 5
cpu MHz      : 931.000
cache size   : 3072 KB
physical id   : 0
siblings   : 4
core id      : 0
cpu cores   : 2
apicid      : 0
initial apicid   : 0
fpu      : yes
fpu_exception   : yes
cpuid level   : 11
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt lahf_lm arat dts tpr_shadow vnmi flexpriority ept vpid
bogomips   : 5053.97
clflush size   : 64
cache_alignment   : 64
address sizes   : 36 bits physical, 48 bits virtual
power management:

processor   : 1
vendor_id   : GenuineIntel
cpu family   : 6
model      : 37
model name   : Intel(R) Core(TM) i3 CPU M 380 @ 2.53GHz
stepping   : 5
cpu MHz      : 931.000
cache size   : 3072 KB
physical id   : 0
siblings   : 4
core id      : 2
cpu cores   : 2
apicid      : 4
initial apicid   : 4
fpu      : yes
fpu_exception   : yes
cpuid level   : 11
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt lahf_lm arat dts tpr_shadow vnmi flexpriority ept vpid
bogomips   : 5053.91
clflush size   : 64
cache_alignment   : 64
address sizes   : 36 bits physical, 48 bits virtual
power management:

processor   : 2
vendor_id   : GenuineIntel
cpu family   : 6
model      : 37
model name   : Intel(R) Core(TM) i3 CPU M 380 @ 2.53GHz
stepping   : 5
cpu MHz      : 931.000
cache size   : 3072 KB
physical id   : 0
siblings   : 4
core id      : 0
cpu cores   : 2
apicid      : 1
initial apicid   : 1
fpu      : yes
fpu_exception   : yes
cpuid level   : 11
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt lahf_lm arat dts tpr_shadow vnmi flexpriority ept vpid
bogomips   : 5053.89
clflush size   : 64
cache_alignment   : 64
address sizes   : 36 bits physical, 48 bits virtual
power management:

processor   : 3
vendor_id   : GenuineIntel
cpu family   : 6
model      : 37
model name   : Intel(R) Core(TM) i3 CPU M 380 @ 2.53GHz
stepping   : 5
cpu MHz      : 931.000
cache size   : 3072 KB
physical id   : 0
siblings   : 4
core id      : 2
cpu cores   : 2
apicid      : 5
initial apicid   : 5
fpu      : yes
fpu_exception   : yes
cpuid level   : 11
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2 popcnt lahf_lm arat dts tpr_shadow vnmi flexpriority ept vpid
bogomips   : 5053.89
clflush size   : 64
cache_alignment   : 64
address sizes   : 36 bits physical, 48 bits virtual
power management:

[свернуть]

И вот сюда: http://ru.wikipedia.org/wiki/Hyper-threading
Так что тема названа правильно. Естественно что физической многопроцессорности нету, но есть логическая. И ОС абсолютно все равно есть у меня 4 процессора, или нету. Ей главное что она видит, а не что она имеет.

SeHELLioN · 10 ноября 2011, 16:48:20

Согласен с Brainey. По идее, вы получите в итоге только проигрыш
Ну и что?

Открыть содержимое (спойлер)

sehellion@sehellionPK:~$ cat /proc/cpuinfo
processor   : 0
vendor_id   : AuthenticAMD
cpu family   : 16
model      : 4
model name   : AMD Phenom(tm) II X4 925 Processor
stepping   : 3
cpu MHz      : 2809.225
cache size   : 512 KB
physical id   : 0
siblings   : 4
core id      : 0
cpu cores   : 4
apicid      : 0
initial apicid   : 0
fpu      : yes
fpu_exception   : yes
cpuid level   : 5
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nonstop_tsc extd_apicid pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips   : 5618.44
TLB size   : 1024 4K pages
clflush size   : 64
cache_alignment   : 64
address sizes   : 48 bits physical, 48 bits virtual
power management: ts ttp tm stc 100mhzsteps hwpstate

processor   : 1
vendor_id   : AuthenticAMD
cpu family   : 16
model      : 4
model name   : AMD Phenom(tm) II X4 925 Processor
stepping   : 3
cpu MHz      : 2809.225
cache size   : 512 KB
physical id   : 0
siblings   : 4
core id      : 1
cpu cores   : 4
apicid      : 1
initial apicid   : 1
fpu      : yes
fpu_exception   : yes
cpuid level   : 5
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nonstop_tsc extd_apicid pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips   : 5618.75
TLB size   : 1024 4K pages
clflush size   : 64
cache_alignment   : 64
address sizes   : 48 bits physical, 48 bits virtual
power management: ts ttp tm stc 100mhzsteps hwpstate

processor   : 2
vendor_id   : AuthenticAMD
cpu family   : 16
model      : 4
model name   : AMD Phenom(tm) II X4 925 Processor
stepping   : 3
cpu MHz      : 2809.225
cache size   : 512 KB
physical id   : 0
siblings   : 4
core id      : 2
cpu cores   : 4
apicid      : 2
initial apicid   : 2
fpu      : yes
fpu_exception   : yes
cpuid level   : 5
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nonstop_tsc extd_apicid pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips   : 5618.77
TLB size   : 1024 4K pages
clflush size   : 64
cache_alignment   : 64
address sizes   : 48 bits physical, 48 bits virtual
power management: ts ttp tm stc 100mhzsteps hwpstate

processor   : 3
vendor_id   : AuthenticAMD
cpu family   : 16
model      : 4
model name   : AMD Phenom(tm) II X4 925 Processor
stepping   : 3
cpu MHz      : 2809.225
cache size   : 512 KB
physical id   : 0
siblings   : 4
core id      : 3
cpu cores   : 4
apicid      : 3
initial apicid   : 3
fpu      : yes
fpu_exception   : yes
cpuid level   : 5
wp      : yes
flags      : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc rep_good nonstop_tsc extd_apicid pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips   : 5618.76
TLB size   : 1024 4K pages
clflush size   : 64
cache_alignment   : 64
address sizes   : 48 bits physical, 48 bits virtual
power management: ts ttp tm stc 100mhzsteps hwpstate

[свернуть]

у меня 4 проца по четыре ядра?

Brainey · 10 ноября 2011, 17:06:37

Многопроцессорность (Мультипроцессорность, Многопроцессорная обработка, англ. Multiprocessing) — использование пары или большего количества физических процессоров в одной компьютерной системе. Так что ваш вариант не подходит под это определение.

Impuls · 10 ноября 2011, 17:52:37

Цитата: Brainey от 10 ноября 2011, 17:06:37
Многопроцессорность (Мультипроцессорность, Многопроцессорная обработка, англ. Multiprocessing) — использование пары или большего количества физических процессоров в одной компьютерной системе. Так что ваш вариант не подходит под это определение.

Ну какая же разница. Главное как система их видит. ОС совершенно не нужно лезть в особенности устройства процессора. Если ОС видит 4 процессора, значит такую архитектуру реализовать возможно впринципе. А тут, как видите, система думает что у компьютера именно 4 процессора, а не 1 процессор с двумя ядрами. А насчет производительности - все таки хочется попробовать сделать, и знать лично.

SeHELLioN · 10 ноября 2011, 17:55:38

Цитироватьprocessor : 0physical id : 0
processor : 1physical id : 0
processor : 2physical id : 0
processor : 3physical id : 0

-какбы намекает

Impuls · 10 ноября 2011, 18:29:13

Цитата: SeHELLioN от 10 ноября 2011, 17:55:38
Цитироватьprocessor : 0physical id : 0
processor : 1physical id : 0
processor : 2physical id : 0
processor : 3physical id : 0
-какбы намекает

Тоесть вы хотите сказать что такое сделать невозможно?

SeHELLioN · 10 ноября 2011, 19:34:31

Цитировать4.13 Многопроцессорные системы

Есть ряд сообщений, что Debian работает хорошо (и очень быстро) на машинах с двумя процессорами Pentium Pro, находящимися на одной материнской плате. Чтобы воспользоваться многопроцессорной системой вы должны инсталлировать пакет с исходными кодами ядра и затем перекомпилировать его, разрешив поддержку симметричного мультипроцессинга. Чтобы сделать это для ядра версии 2.0.27 , отредактируйте Makefile верхнего уровня для ядра и откомментируйте строчку с текстом " SMP = 1". Если вы компилируете ядро на многопроцессорной системе, поищите в документации на "make" описание флага "-j".

http://www.ru.j-npcs.org/usoft/doc/Start/koi/debian.html(очень старо)
При желании, можно найти информацию и по новее....но врятли заработает...не попробуешь - не узнаешь

Brainey · 10 ноября 2011, 19:37:58

Ядро уже давным-давно соберается с поддержкой SMP. Википедию хотя бы почитайте...

SeHELLioN · 10 ноября 2011, 19:52:01

Cори, да, информация ОЧЕНЬ стара, но если вернуться к теме

Цитироватьреализовать токогда на одном процессоре стоит ОС, а на всех остальных запускаются пользовательские задачи.как это может сказаться на производительности системы?

Давайте разбираться...
1)а будет ли грузить ли система целиком и полностью одно предоставленное её ядро?
2)1 ядро занято и неприкосновенно и пользовательскому процессу достается уже не 4 ядра, а 3, т.е. производительность должна бы упасть
но здесь стоит оговорится, что возможно уменьшение проблем с когерентностью кэш-памяти...но даст ли это эффект, и каков проигрыш...ведь и нагрузка тогда на эти ядра ляжет бОльшая