Бесконечный running

Обсуждение вопросов, связанных с системой проведения турниров ejudge.
Post Reply
berl0ga
Posts:17
Joined:26 September 2015, 00:10
Бесконечный running

Post by berl0ga » 06 October 2015, 22:55

Ни с того ни с сего один из прилетевших пакетов успешно скомпилился и ушел в бесконечный running...
Теперь все пакеты делают так.

Был перезагружен ejudge, а потом и сам сервер.
Сервер при этом при запуске стал выдавать ошибку (возможно выдавал и раньше):

:info:ej-super-server 3.4.1 #1, compiled 2015-09-26 22:52:02
:info:configuration file parsed ok
:reuse:error:task_Start: process not started: 109, execv() failed: 2, No such file or directory

:info:ej-jobs 3.4.1 #1, compiled 2015-09-26 22:52:02
:info:ej-contests 3.4.1 #1, compiled 2015-09-26 22:52:02
:info:using files as the new-server database

В логи ej-super-run ничего не пишет, последняя запись (возможно тот самый пакет):

Code: Select all

contest_id = 1
judge_id = 4
run_id = 51
reply_spool_dir = "/home/judges/000001/var/run/000001/status"
reply_report_dir = "/home/judges/000001/var/run/000001/report"
reply_packet_name = "51f31f60-4de0-4215-a0b6-6fd0486942d8"
priority = 0
variant = 0
lang_short_name = "g++"
arch = ""
secure_run = 1
detect_violations = 1
enable_max_stack_size = 1
user_id = 7
user_login = "Elianse"
score_system = "ACM"
max_file_length = 64K
max_line_length = 4K
max_cmd_length = 256
mime_type = 0
notify_flag = 1
advanced_layout = 1
ts1 = 1444073721
ts1_us = 296252
ts2 = 1444073721
ts2_us = 393061
ts3 = 1444073722
ts3_us = 6574
ts4 = 1444073722
ts4_us = 424702
lang_time_limit_adj_ms = 0
exe_sfx = ""
time_limit_retry_count = 0
run_uuid = "51f31f60-4de0-4215-a0b6-6fd0486942d8"

[problem]

type = "standard"
id = 3
use_stdin = 1
use_stdout = 1
real_time_limit_ms = 5000
time_limit_ms = 1000
full_score = 100
full_user_score = 0
test_score = 1
use_corr = 1
tests_to_accept = 1
min_tests_to_accept = -1
checker_real_time_limit_ms = 30000
short_name = "C"
long_name = "Плитка"
problem_dir = "/home/judges/000001/problems/C"
test_dir = "/home/judges/000001/problems/C/tests"
corr_dir = "/home/judges/000001/problems/C/tests"
input_file = "input"
output_file = "output"
standard_checker = "cmp_long_long"
interactor_time_limit_ms = 0
test_pat = "%03d.dat"
corr_pat = "%03d.ans"
info_pat = "%03d.inf"
tgz_pat = "%03d.tgz"
tgzdir_pat = "%03d.dir"
check_cmd = "/home/judges/000001/problems/C/check"
max_vm_size = 64M
max_data_size = -1
max_stack_size = 64M
max_core_size = -1
max_file_size = 64M
max_open_file_count = 0
max_process_count = 0

[tester]

name = "tst_dflt_1_3"
priority_adjustment = 0
arch = ""
memory_limit_type = "default"
secure_exec_type = "static"
no_core_dump = 1
enable_memory_limit_error = 1
kill_signal = "KILL"
clear_env = 1
time_limit_adjustment_ms = 0
error_file = "error"
>>
2015-10-05T19:35:23Z:info:Copy: /home/judges/super-run/var/exe/G71B15K7QD81121J -> /home/judges/super-run/var/work/localhost.localdomain_1890/000051
2015-10-05T19:35:23Z:info:clear_directory: /home/judges/super-run/var/check/localhost.localdomain_1890 cleared
2015-10-05T19:35:23Z:info:Copy: /home/judges/super-run/var/work/localhost.localdomain_1890/000051 -> /home/judges/super-run/var/check/localhost.localdomain_1890/000051
2015-10-05T19:35:23Z:info:Copy: /home/judges/000001/problems/C/tests/001.dat -> /home/judges/super-run/var/check/localhost.localdomain_1890/input
2015-10-05T19:35:23Z:info:starting: ./000051
2015-10-05T19:35:23Z:info:CPU time = 1, real time = 1, used_vm_size = 1597440
2015-10-05T19:35:23Z:info:reading file /home/judges/000001/problems/C/tests/001.dat
2015-10-05T19:35:23Z:info:reading file /home/judges/super-run/var/check/localhost.localdomain_1890/output
2015-10-05T19:35:23Z:info:reading file /home/judges/super-run/var/check/localhost.localdomain_1890/error
2015-10-05T19:35:23Z:info:reading file /home/judges/000001/problems/C/tests/001.ans
task_Start: execv(4): /home/ejudge/inst-ejudge/libexec/ejudge/checkers/cmp_long_long /home/judges/000001/problems/C/tests/001.dat output /home/judges/000001/problems/C/tests/001.ans 0</dev/null 1>>/home/judges/super-run/var/work/localhost.localdomain_1890/checkout_1.txt 2>&1
2015-10-05T19:35:23Z:info:process 9198 is exited with code 4
2015-10-05T19:35:23Z:info:reading file /home/judges/super-run/var/work/localhost.localdomain_1890/checkout_1.txt
2015-10-05T19:35:23Z:info:clear_directory: /home/judges/super-run/var/check/localhost.localdomain_1890 cleared
2015-10-05T19:35:23Z:info:reading file /home/judges/super-run/var/work/localhost.localdomain_1890/messages
2015-10-05T19:35:23Z:info:Copy: /home/judges/super-run/var/work/localhost.localdomain_1890/report -> /home/judges/000001/var/run/000001/report/51f31f60-4de0-4215-a0b6-6fd0486942d8
2015-10-05T19:35:23Z:info:writing file /home/judges/000001/var/run/000001/status/in/1890_localhost.localdomain_51f31f60-4de0-4215-a0b6-6fd0486942d8
2015-10-05T19:35:23Z:info:Move: /home/judges/000001/var/run/000001/status/in/1890_localhost.localdomain_51f31f60-4de0-4215-a0b6-6fd0486942d8 -> /home/judges/000001/var/run/000001/status/dir/51f31f60-4de0-4215-a0b6-6fd0486942d8
2015-10-05T19:35:23Z:info:clear_directory: /home/judges/super-run/var/work/localhost.localdomain_1890 cleared
Что делать, как быть?

P.S> Последнее что делал с ejudge: сделал ejudge.service и поставил на автозапуск, удалял несколько посылок через веб-интерфейс master

cher
Posts:1153
Joined:13 March 2004, 17:00
Contact:

Re: Бесконечный running

Post by cher » 07 October 2015, 15:34

вы не удалили случайно ej-super-run?
Попробуйте повторить make install

berl0ga
Posts:17
Joined:26 September 2015, 00:10

Re: Бесконечный running

Post by berl0ga » 08 October 2015, 18:50

cher wrote:вы не удалили случайно ej-super-run?
Попробуйте повторить make install
Спасибо, помогло

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 10 October 2015, 20:52

Аналогичная проблема, только в моем случае ej-super-run упал, оставив сообщение в логах:

Code: Select all

*** Error in `/usr/libexec/ejudge/bin/ej-super-run': corrupted double-linked list: 0x00000000016290a0 ***
======= Backtrace: =========
/lib64/libc.so.6(+0x77a8d)[0x7f3cfcbe7a8d]
/lib64/libc.so.6(+0x7e793)[0x7f3cfcbee793]
/lib64/libc.so.6(+0x80bfd)[0x7f3cfcbf0bfd]
/lib64/libc.so.6(__libc_malloc+0x6e)[0x7f3cfcbf346e]
/lib64/libc.so.6(+0xc4a31)[0x7f3cfcc34a31]
/usr/libexec/ejudge/bin/ej-super-run(clear_directory+0x37)[0x4720cf]
/usr/libexec/ejudge/bin/ej-super-run[0x40e12b]
/usr/libexec/ejudge/bin/ej-super-run(do_loop+0x109)[0x40e242]
/usr/libexec/ejudge/bin/ej-super-run(main+0xe18)[0x4100a8]
/lib64/libc.so.6(__libc_start_main+0xf0)[0x7f3cfcb90700]
/usr/libexec/ejudge/bin/ej-super-run(_start+0x29)[0x40d169]
======= Memory map: ========
00400000-004b5000 r-xp 00000000 fd:01 36982319                           /usr/libexec/ejudge/bin/ej-super-run
006b4000-006b5000 r--p 000b4000 fd:01 36982319                           /usr/libexec/ejudge/bin/ej-super-run
006b5000-006b8000 rw-p 000b5000 fd:01 36982319                           /usr/libexec/ejudge/bin/ej-super-run
006b8000-006cb000 rw-p 00000000 00:00 0 
015a5000-01634000 rw-p 00000000 00:00 0                                  [heap]
7f3cfc74c000-7f3cfc762000 r-xp 00000000 fd:01 19802695                   /usr/lib64/libgcc_s-5.1.1-20150618.so.1
7f3cfc762000-7f3cfc961000 ---p 00016000 fd:01 19802695                   /usr/lib64/libgcc_s-5.1.1-20150618.so.1
7f3cfc961000-7f3cfc962000 r--p 00015000 fd:01 19802695                   /usr/lib64/libgcc_s-5.1.1-20150618.so.1
7f3cfc962000-7f3cfc963000 rw-p 00016000 fd:01 19802695                   /usr/lib64/libgcc_s-5.1.1-20150618.so.1
7f3cfc963000-7f3cfc96f000 r-xp 00000000 fd:01 16927742                   /usr/lib64/libnss_files-2.21.so
7f3cfc96f000-7f3cfcb6e000 ---p 0000c000 fd:01 16927742                   /usr/lib64/libnss_files-2.21.so
7f3cfcb6e000-7f3cfcb6f000 r--p 0000b000 fd:01 16927742                   /usr/lib64/libnss_files-2.21.so
7f3cfcb6f000-7f3cfcb70000 rw-p 0000c000 fd:01 16927742                   /usr/lib64/libnss_files-2.21.so
7f3cfcb70000-7f3cfcd27000 r-xp 00000000 fd:01 16927724                   /usr/lib64/libc-2.21.so
7f3cfcd27000-7f3cfcf26000 ---p 001b7000 fd:01 16927724                   /usr/lib64/libc-2.21.so
7f3cfcf26000-7f3cfcf2a000 r--p 001b6000 fd:01 16927724                   /usr/lib64/libc-2.21.so
7f3cfcf2a000-7f3cfcf2c000 rw-p 001ba000 fd:01 16927724                   /usr/lib64/libc-2.21.so
7f3cfcf2c000-7f3cfcf30000 rw-p 00000000 00:00 0 
7f3cfcf30000-7f3cfcf34000 r-xp 00000000 fd:01 16944219                   /usr/lib64/libuuid.so.1.3.0
7f3cfcf34000-7f3cfd133000 ---p 00004000 fd:01 16944219                   /usr/lib64/libuuid.so.1.3.0
7f3cfd133000-7f3cfd134000 r--p 00003000 fd:01 16944219                   /usr/lib64/libuuid.so.1.3.0
7f3cfd134000-7f3cfd135000 rw-p 00004000 fd:01 16944219                   /usr/lib64/libuuid.so.1.3.0
7f3cfd135000-7f3cfd145000 r-xp 00000000 fd:01 22462654                   /usr/lib64/libzip.so.2.1.0
7f3cfd145000-7f3cfd344000 ---p 00010000 fd:01 22462654                   /usr/lib64/libzip.so.2.1.0
7f3cfd344000-7f3cfd345000 r--p 0000f000 fd:01 22462654                   /usr/lib64/libzip.so.2.1.0
7f3cfd345000-7f3cfd346000 rw-p 00010000 fd:01 22462654                   /usr/lib64/libzip.so.2.1.0
7f3cfd346000-7f3cfd349000 r-xp 00000000 fd:01 16927730                   /usr/lib64/libdl-2.21.so
7f3cfd349000-7f3cfd548000 ---p 00003000 fd:01 16927730                   /usr/lib64/libdl-2.21.so
7f3cfd548000-7f3cfd549000 r--p 00002000 fd:01 16927730                   /usr/lib64/libdl-2.21.so
7f3cfd549000-7f3cfd54a000 rw-p 00003000 fd:01 16927730                   /usr/lib64/libdl-2.21.so
7f3cfd54a000-7f3cfd570000 r-xp 00000000 fd:01 16944265                   /usr/lib64/libexpat.so.1.6.0
7f3cfd570000-7f3cfd770000 ---p 00026000 fd:01 16944265                   /usr/lib64/libexpat.so.1.6.0
7f3cfd770000-7f3cfd773000 r--p 00026000 fd:01 16944265                   /usr/lib64/libexpat.so.1.6.0
7f3cfd773000-7f3cfd774000 rw-p 00029000 fd:01 16944265                   /usr/lib64/libexpat.so.1.6.0
7f3cfd774000-7f3cfd87b000 r-xp 00000000 fd:01 16927732                   /usr/lib64/libm-2.21.so
7f3cfd87b000-7f3cfda7a000 ---p 00107000 fd:01 16927732                   /usr/lib64/libm-2.21.so
7f3cfda7a000-7f3cfda7b000 r--p 00106000 fd:01 16927732                   /usr/lib64/libm-2.21.so
7f3cfda7b000-7f3cfda7c000 rw-p 00107000 fd:01 16927732                   /usr/lib64/libm-2.21.so
7f3cfda7c000-7f3cfda91000 r-xp 00000000 fd:01 16944175                   /usr/lib64/libz.so.1.2.8
7f3cfda91000-7f3cfdc90000 ---p 00015000 fd:01 16944175                   /usr/lib64/libz.so.1.2.8
7f3cfdc90000-7f3cfdc91000 r--p 00014000 fd:01 16944175                   /usr/lib64/libz.so.1.2.8
7f3cfdc91000-7f3cfdc92000 rw-p 00015000 fd:01 16944175                   /usr/lib64/libz.so.1.2.8
7f3cfdc92000-7f3cfdcb3000 r-xp 00000000 fd:01 19802722                   /usr/lib64/ld-2.21.so
7f3cfde48000-7f3cfdea4000 rw-p 00000000 00:00 0 
7f3cfdea9000-7f3cfdeaa000 rw-p 00000000 00:00 0 
7f3cfdeaa000-7f3cfdeb1000 r--s 00000000 fd:01 16928093                   /usr/lib64/gconv/gconv-modules.cache
7f3cfdeb1000-7f3cfdeb2000 rw-p 00000000 00:00 0 
7f3cfdeb2000-7f3cfdeb3000 r--p 00020000 fd:01 19802722                   /usr/lib64/ld-2.21.so
7f3cfdeb3000-7f3cfdeb4000 rw-p 00021000 fd:01 19802722                   /usr/lib64/ld-2.21.so
7f3cfdeb4000-7f3cfdeb5000 rw-p 00000000 00:00 0 
7ffd65fa3000-7ffd65fd8000 rw-p 00000000 00:00 0                          [stack]
7ffd65ff6000-7ffd65ff8000 r--p 00000000 00:00 0                          [vvar]
7ffd65ff8000-7ffd65ffa000 r-xp 00000000 00:00 0                          [vdso]
ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0                  [vsyscall]

cher
Posts:1153
Joined:13 March 2004, 17:00
Contact:

Re: Бесконечный running

Post by cher » 10 October 2015, 22:33

Когда проявляется ошибка?

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 10 October 2015, 22:38

Система запущена на образе ВМ из соседней темы. Первые две посылки прошли нормально, после чего я решил поиграться со штрафом за дисквалифицированные посылки. Поставил Disqualified, загрузил еще посылку, удовлетворился результатом, убрал штраф, нажал 'Rejudge' у дисквалифицированной посылки, из которого она уже не вышла. После этого все посылки получают такой же бесконечный Running. Трейс в первом сообщении вываливается уже после прохождения всех тестов.

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 10 October 2015, 22:50

Хотя баг таки плавающий, есть посылки, которые проходят с первого раза, есть те, в которые как не тыкай - не проходят.

Добавлено: создал новый контест, выбрав как базу тот, в котором баг повторялся. В новом контесте баг все еще присутствует.
Кроме того, выяснилось, что если перезапустить ejudge через ejudge-control, то обрабатывается ровно одна посылка из очереди.

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 10 October 2015, 23:10

Если запустить ej-super-run руками из-под пользователя ejudge, можно увидеть картину вида:
Image

При этом посылка может как обработаться, так и нет.

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 10 October 2015, 23:20

Запуск ej-super-run из-под gdb:

Image

При запуске ej-super-run из-под valgrind ничего интересного не происходит (оно даже не падает и продолжает обрабатывать посылки), кроме одного сообщения:

Code: Select all

==3998== Invalid free() / delete / delete[] / realloc()
==3998==    at 0x4C29D6A: free (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==3998==    by 0x464AFC: xfree (reuse_xfree.c:29)
==3998==    by 0x4416AB: free_testinfo_vector (run_common.c:2904)
==3998==    by 0x444AC1: run_tests (run_common.c:3950)
==3998==    by 0x40DC76: handle_packet (ej-super-run.c:289)
==3998==    by 0x40E241: do_loop (ej-super-run.c:435)
==3998==    by 0x4100A7: main (ej-super-run.c:1067)
==3998==  Address 0x607b610 is 0 bytes inside a block of size 73 free'd
==3998==    at 0x4C29D6A: free (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==3998==    by 0x464AFC: xfree (reuse_xfree.c:29)
==3998==    by 0x450F27: testing_report_test_free (testing_report_xml.c:1256)
==3998==    by 0x4510CC: testing_report_free (testing_report_xml.c:1280)
==3998==    by 0x439C0A: generate_xml_report (run_common.c:391)
==3998==    by 0x4449F0: run_tests (run_common.c:3926)
==3998==    by 0x40DC76: handle_packet (ej-super-run.c:289)
==3998==    by 0x40E241: do_loop (ej-super-run.c:435)
==3998==    by 0x4100A7: main (ej-super-run.c:1067)
==3998== 
Эта ошибка происходит только один раз при обработке первой посылки, дальше посылки обрабатываются без каких либо ошибок.

cher
Posts:1153
Joined:13 March 2004, 17:00
Contact:

Re: Бесконечный running

Post by cher » 11 October 2015, 08:38

Спасибо!

Попробуйте текущий master.

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 11 October 2015, 13:17

Не исправилось, к сожалению.

Code: Select all

ej-super-run 3.4.2+ (GIT 25d30b1), compiled 2015-10-11 13:09:47
... ... ...
==6677== Invalid free() / delete / delete[] / realloc()
==6677==    at 0x4C29D6A: free (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==6677==    by 0x464ACC: xfree (reuse_xfree.c:29)
==6677==    by 0x44167B: free_testinfo_vector (run_common.c:2904)
==6677==    by 0x444A91: run_tests (run_common.c:3950)
==6677==    by 0x40DC46: handle_packet (ej-super-run.c:289)
==6677==    by 0x40E211: do_loop (ej-super-run.c:435)
==6677==    by 0x410077: main (ej-super-run.c:1067)
==6677==  Address 0x607b3a0 is 0 bytes inside a block of size 73 free'd
==6677==    at 0x4C29D6A: free (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==6677==    by 0x464ACC: xfree (reuse_xfree.c:29)
==6677==    by 0x450EF7: testing_report_test_free (testing_report_xml.c:1256)
==6677==    by 0x45109C: testing_report_free (testing_report_xml.c:1280)
==6677==    by 0x439BDA: generate_xml_report (run_common.c:391)
==6677==    by 0x4449C0: run_tests (run_common.c:3926)
==6677==    by 0x40DC46: handle_packet (ej-super-run.c:289)
==6677==    by 0x40E211: do_loop (ej-super-run.c:435)
==6677==    by 0x410077: main (ej-super-run.c:1067)
==6677==

cher
Posts:1153
Joined:13 March 2004, 17:00
Contact:

Re: Бесконечный running

Post by cher » 11 October 2015, 13:46

Попробуйте, пожалуйста, новый master еще раз.

makkarpov
Posts:19
Joined:07 October 2015, 22:54

Re: Бесконечный running

Post by makkarpov » 11 October 2015, 13:57

Спасибо, теперь проблема исправлена.

Post Reply