Параллельное тестирование - Revision history

Cher: ...

2023-08-10T22:21:47Z

...

Cher: ...

2022-12-27T09:14:16Z

...

Cher: ...

2022-12-26T09:08:41Z

...

Cher: ...

2022-12-25T23:29:00Z

...

Cher: update

2022-04-17T13:12:58Z

update

Cher at 11:59, 4 April 2017

2017-04-04T11:59:19Z

Cher at 14:04, 4 December 2013

2013-12-04T14:04:28Z

Cher at 11:29, 4 December 2013

2013-12-04T11:29:05Z

Cher at 11:28, 4 December 2013

2013-12-04T11:28:49Z

Cher at 12:16, 3 December 2013

2013-12-03T12:16:24Z

← Older revision		Revision as of 22:21, 10 August 2023
Line 92:		Line 92:
	В этой инсталляции может не быть турниров, но она как таковая должна быть		В этой инсталляции может не быть турниров, но она как таковая должна быть
	работоспособной.		работоспособной.
		+
		+	=== Кеширование результата компиляции ([[изменения в версии 3.11.0\|3.11.0]]) ===
		+
		+	Типичный путь поступившего на тестирование файла выглядит следующим образом:
		+	* исходный файл передается через каталоги обмена от [[ej-contests]] к [[ej-compile]]. Если компоненты находятся на разных хостах, файл копируется по сети.
		+	* после компиляции скомпилированный файл передается через каталоги обмена от [[ej-compile]] к [[ej-contests]]. Если компоненты находятся на разных хостах, файл копируется по сети.
		+	* скомпилированный файл передается через каталоги обмена от [[ej-contests]] к [[ej-super-run]]. Если компоненты находятся на разных хостах, файл копируется по сети.
		+
		+	Размер скомпилированного файла может быть весьма большим (несколько мегабайт), например, для программ на kotlin или go, и копирование исполняемого файла
		+	по сети туда и обратно может потребовать заметного времени, сравнимого со
		+	временем тестирования.
		+
		+	В случае, когда и компонент компиляции [[ej-compile]], и компонент тестирования [[ej-super-run]] выполняются на одном и том же хосте, отличном от хоста [[ej-contests]], и только на этом хосте, передавать результат компиляции по сети на сервер [[ej-contests]] и обратно не имеет смысла.
		+
		+	В этом случае можно использовать локальное кеширование результатов компиляции.
		+	Компонент [[ej-compile]] не скопирует файл на сервер, а положит его в
		+	локальный каталог, из которого он будет забран компонентом [[ej-super-run]].
		+	Локальное кеширование включается с помощью опции <code>--local-cache</code>
		+	программы [[ejudge-control]]. Например,
		+
		+	ejudge-control --mirror MIRROR-DIR --local-cache CACHE-DIR --queue QUEUE-ID --agent ssh:HOST --instance-id INST-ID -s start
		+
		+	Кроме того, у турнира должна быть установлена глобальная конфигурационная
		+	переменная <code>[[Serve.cfg:global:enable_remote_cache\|enable_remote_cache]]</code>. Если она не установлена, файлы будут копироваться по обычной схеме.

@@ Line 3: / Line 3: @@
 Система ejudge поддерживает распараллеливание тестирования программ как на многоядерных процессорах, так и по сети. На каждом экземпляре тестировщика единицей тестирования является одна посылка, то есть на тестирование берется исполняемый файл, и пока он не будет проверен до конца (в зависимости от типа турнира либо на всех тестах, либо до первого неуспешного тесте), данный тестировщик не перейдет к тестированию следующего решения.
-Очередь тестирования является общей для всех турниров, в очереди посылки упорядочиваются по приоритету тестирования. Чем меньше значение приоритета, тем выше приоритет. Стандартное значение приоритета - 0. Значние приоритета может быть повышено до +15 (минимальный приоритет), либо понижено до -16 (максимальный приоритет). Отталкиваясь от базового значения 0 приоритет тестирования можно изменять для всего турнира, задачи, языка программирования, пользователя и т. п. Кроме того, решения, оправляемые на перепроверку, получают +10 к приоритету.
+Очередь тестирования является общей для всех турниров, в очереди посылки упорядочиваются по приоритету тестирования. Чем меньше значение приоритета, тем выше приоритет. Стандартное значение приоритета - 0. Значние приоритета может быть повышено до +15 (минимальный приоритет), либо понижено до -16 (максимальный приоритет). Отталкиваясь от базового значения 0 приоритет тестирования можно изменять для всего турнира, задачи, языка программирования, пользователя и т. п. Кроме того, решения, оправляемые на перепроверку, получают +3 к приоритету.
 За тестирование посылок отвечает программа [[ej-super-run]].
@@ Line 87: / Line 87: @@
   ejudge-control -s stop

@@ Line 79: / Line 79: @@
   ejudge-control --mirror MIRROR-DIR --queue QUEUE-ID --agent ssh:HOST --instance-id INST-ID -s start
-* <code>MIRROR-DIR</code> &mdash; это локальный каталог, который будет
+* <code>MIRROR-DIR</code> &mdash; это локальный каталог, который будет использоваться для кеширования файлов тестов с сервера.
-использоваться для кеширования файлов тестов с сервера.
+* <code>QUEUE-ID</code> &mdash; это имя очереди на сервере. В самом простом варианте имя очереди на сервере совпадает с именем хоста сервера ejudge.
 * <code>HOST</code> &mdash; это имя хоста сервера ejudge.
-* <code>INST-id</code> &mdash; это имя данного компьютера. Оно
+* <code>INST-id</code> &mdash; это имя данного компьютера. Оно используется на сервере, чтобы различать хосты, на которых выполняется тестирование.
 Для останова компиляции и тестирования достаточно выполнить команду:
   ejudge-control -s stop

← Older revision		Revision as of 23:29, 25 December 2022
Line 66:		Line 66:

	ej-super-run -m /tmp/super-run -p SERVER		ej-super-run -m /tmp/super-run -p SERVER
		+
		+	=== Параллельное тестирование по сети с помощью [[ej-agent]] ([[изменения в версии 3.10.0\|3.10.0]]) ===
		+
		+	Компонент [[ej-agent]] упрощает организацию тестирования
		+	по сети. Для использования [[ej-agent]] необходимо, чтобы для пользователя,
		+	под которым выполняется тестирование, был настроен вход по ssh
		+	без пароля на сервер ejudge под пользователем ejudge.
		+
		+	Для запуска компиляции и тестирования на хосте достаточно выполнить
		+	следующую команду:
		+
		+	ejudge-control --mirror MIRROR-DIR --queue QUEUE-ID --agent ssh:HOST --instance-id INST-ID -s start
		+
		+	* <code>MIRROR-DIR</code> — это локальный каталог, который будет
		+	использоваться для кеширования файлов тестов с сервера.
		+	* <code>QUEUE-ID</code> — это имя очереди на сервере.
		+	в самом простом варианте имя очереди на сервере совпадает
		+	с именем хоста сервера ejudge.
		+	* <code>HOST</code> — это имя хоста сервера ejudge.
		+	* <code>INST-id</code> — это имя данного компьютера. Оно
		+	используется на сервере, чтобы различать хосты, на которых
		+	выполняется тестирование.
		+
		+	Для останова компиляции и тестирования достаточно выполнить команду:
		+
		+	ejudge-control -s stop

@@ Line 39: / Line 39: @@
 Пример:
-  sshfs USER@SERVER:/home/judges /home/judges
+  sshfs USER@SERVER:/home/judges /home/judges -o ServerAliveInterval=30,reconnect,allow_other
   cd /home/judges
   /opt/ejudge/bin/ej-super-run
@@ Line 54: / Line 54: @@
   ej-super-run -m /tmp/super-run
 в этом случае для локального кеширования файлов будет использоваться каталог /tmp/super-run.

@@ Line 25: / Line 25: @@
 Фрагмент, как показано, добавляется внутрь корневого элемента <config>. Вместо <tt>IP-ADDRESS</tt> необходимо подставить IP-адрес сервера. В значение атрибута <tt>value</tt> подставляется требуемое количество параллельно запускаемых экземпляров ej-super-run.
-На данный момент еще не наработано достаточно опыта, чтобы рекомендовать значения параллелизма в зависимости от количества ядер. Консервативной эвристикой будет брать число параллельно тестируемых решений равным половине от числа ядер процессора.
+ВНИМАНИЕ. На многоядерной машине узким местом скорее всего окажется дисковая подсистема. Если будет указан большой параллелизм компиляции и выполнения может оказаться так,
 === Параллельное тестирование на нескольких компьютерах по сети ===

← Older revision		Revision as of 14:04, 4 December 2013
Line 50:		Line 50:
	Для того, чтобы рабочие каталоги и временные файлы располагались в другом месте (на локальной файловой системе), при конфигурировании ejudge необходимо указать опцию <tt>--enable-local-dir</tt>, указав путь к локальному каталогу. Например, <tt>--enable-local-dir=/var/lib/ejudge</tt>.		Для того, чтобы рабочие каталоги и временные файлы располагались в другом месте (на локальной файловой системе), при конфигурировании ejudge необходимо указать опцию <tt>--enable-local-dir</tt>, указав путь к локальному каталогу. Например, <tt>--enable-local-dir=/var/lib/ejudge</tt>.

−	<b>Кеширование тестовых данных и проверяющих программ.</b>	+	<b>Кеширование тестовых данных и проверяющих программ.</b> Файлы с тестами и проверяющими программами можно кешировать на локальной файловой системе, чтобы избежать пересылок файлов по сети каждый раз, когда они требуются при тестировании. Для этого используется опция -m программы ej-super-run. Например,
		+	ej-super-run -m /tmp/super-run
		+	в этом случае для локального кеширования файлов будет использоваться каталог /tmp/super-run.

@@ Line 46: / Line 46: @@
 === Оптимизация тестирования по сети ===
-<b>Размещение рабочих каталогов и временных файлов на локальной файловой системе.</p> По умолчанию рабочие каталоги для запуска тестируемых программ размещаются в подкаталоге var турнира или в подкаталоге /home/judges/super-run/var. На тестирующих компьютерах, которые подключают сетевой каталог /home/judges, рабочие каталоги тоже окажутся на сетевом диске. Тестирование будет работать корректно, но медленно, из-за лишних операций с сетевой файловой системой.
+<b>Размещение рабочих каталогов и временных файлов на локальной файловой системе.</b> По умолчанию рабочие каталоги для запуска тестируемых программ размещаются в подкаталоге var турнира или в подкаталоге /home/judges/super-run/var. На тестирующих компьютерах, которые подключают сетевой каталог /home/judges, рабочие каталоги тоже окажутся на сетевом диске. Тестирование будет работать корректно, но медленно, из-за лишних операций с сетевой файловой системой.
 Для того, чтобы рабочие каталоги и временные файлы располагались в другом месте (на локальной файловой системе), при конфигурировании ejudge необходимо указать опцию <tt>--enable-local-dir</tt>, указав путь к локальному каталогу. Например, <tt>--enable-local-dir=/var/lib/ejudge</tt>.
 <b>Кеширование тестовых данных и проверяющих программ.</b>

← Older revision		Revision as of 11:28, 4 December 2013
Line 45:		Line 45:

	=== Оптимизация тестирования по сети ===		=== Оптимизация тестирования по сети ===
		+
		+	<b>Размещение рабочих каталогов и временных файлов на локальной файловой системе.</p> По умолчанию рабочие каталоги для запуска тестируемых программ размещаются в подкаталоге var турнира или в подкаталоге /home/judges/super-run/var. На тестирующих компьютерах, которые подключают сетевой каталог /home/judges, рабочие каталоги тоже окажутся на сетевом диске. Тестирование будет работать корректно, но медленно, из-за лишних операций с сетевой файловой системой.
		+
		+	Для того, чтобы рабочие каталоги и временные файлы располагались в другом месте (на локальной файловой системе), при конфигурировании ejudge необходимо указать опцию <tt>--enable-local-dir</tt>, указав путь к локальному каталогу. Например, <tt>--enable-local-dir=/var/lib/ejudge</tt>.
		+
		+	<b>Кеширование тестовых данных и проверяющих программ.</b>

← Older revision		Revision as of 12:16, 3 December 2013
Line 28:		Line 28:

	=== Параллельное тестирование на нескольких компьютерах по сети ===		=== Параллельное тестирование на нескольких компьютерах по сети ===
		+
		+	При параллельном тестировании по сети всем тестирующим компьютерам должен быть доступен каталог с турнирами ejudge. Путь к этому каталогу задается при конфигурировании ejudge с помощью опции <tt>--enable-contests-home-dir</tt>. Предположим, что ejudge сконфигурирована со значением данной опции равным <tt>/home/judges</tt>, то есть конкретные турниры размещаются в каталогах <tt>/home/judges/000001</tt> и т. д.
		+
		+	Каталог /home/judges для тестирующих компьютеров должен быть доступен как на чтение, так и на запись. Тестирующие компьютеры используют тестовые данные и проверяющие программы, находящиеся в соответствующих каталогах, только для чтения, но читают и записывают файлы из каталогов обмена данными. По умолчанию каталоги обмена данными создаются открытыми для всех на запись, поэтому система ejudge на тестирующих компьютерах может работать и под другим идентификатором пользователя, чем на сервере.
		+
		+	Тип сетевой файловой системы для каталога /home/judges не имеет значения. Это может быть как NFS, SMB, так и SSHFS, то есть тестирующие компьютеры могут взаимодействовать с сервером по защищенному протоколу через Интернет.
		+
		+	После настройки сетевых каталогов тестирование запускается аналогично локальному тестированию, то есть с помощью ej-super-run.
		+
		+	Пример:
		+	sshfs USER@SERVER:/home/judges /home/judges
		+	cd /home/judges
		+	/opt/ejudge/bin/ej-super-run
		+
		+	Здесь предполагается, что система ejudge установлена в каталог <tt>/opt/ejudge</tt>. Если при конфигурировании ejudge была указана опция <tt>--enable-hidden-server-bins</tt>, программа ej-super-run размещается по пути <tt>/opt/ejudge/libexec/ejudge/bin/ej-super-run</tt>.
		+
		+	=== Оптимизация тестирования по сети ===