система прокторинга examus что это
Онлайн-прокторинг:
для кого, зачем и как он работает
Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.
Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).
Что такое онлайн-прокторинг
Типы прокторинга
1. Синхронный прокторинг с прокторами
Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.
2. Асинхронный прокторинг с постпроверкой
Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.
3. Автоматический мониторинг
Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.
Как работает прокторинг
Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:
Перед началом экзамена
Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!
Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:
• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.
Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.
После экзамена
Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:
• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).
Путь проктора. Как стать частью команды “Экзамуса”
В этом материале расскажем о том, как мы отбираем и готовим наших прокторов.
Прокторы – одни из ключевых сотрудников, от которых напрямую зависят результаты каждого экзаменуемого. Ошибки со стороны специалистов, просматривающих видео с экзаменом, могут повлиять на решение вуза о поступлении абитуриента, его оценки на учебе, а для сотрудников компаний грозят торможением карьерного развития. Именно поэтому работникам на позиции проктора нужно проходить особенно тщательный отбор, а система контроля за их действиями также должна быть продуманной.
В “Экзамусе” процесс отбора, обучения и работы каждого проктора устроен следующим образом.
Рекрутинг
2. Обучение
Если “Экзамус” и потенциальный сотрудник понимают, что подходят друг другу, то стороны переходят ко второму этапу отбора – обучению, устроенному по многоступенчатой системе.
1. Тест оборудования и интернета. Как и у студентов, все технические устройства будущего проктора (компьютер, гарнитура, Wi-fi), также должны соответствовать минимальным требованиям для работы с системой прокторинга.
2. Выдача первичных обучающих материалов, доступ к методическим материалам и тестам. Для ускорения процесса обучения в “Экзамусе” есть специальная база тренировочных тестов, которая постоянно пополняется.
3. Обучающее собрание, где еще раз демонстрируют особенности интерфейса и оговаривают правила работы и действия проктора в различных ситуациях. Здесь же отвечают на вопросы кандидата и прорабатывают вместе с ним теорию.
4. Переход к практической части. Сначала будущий проктор пробует свои силы с асинхронным прокторингом на тестовых видео. Затем задача усложняется: сотрудник принимает участие уже в синхронном прокторинге, где сотрудники “Экзамуса” моделируют тест и типичное поведение сдающих.
5. После работы над ошибками проктор может принять участие в проверках экзаменов с реальными пользователями. Для упрощения процесса обучения они проходят в облегченном варианте. Студентов в среднем меньше, чем на стандартном тестировании, а за работой новичка наблюдает руководитель направления, который может скорректировать его действия. Это исключает возможность, что ошибки проктора могут негативно сказаться на сдающих.
3. Работа
Контроль за качеством работы нового сотрудника не прекращается даже после окончания обучения и его официального вступления в должность проктора. Руководитель асинхронного направления всегда перепроверяет все видео с выявленными нарушениями, а также выборочно просматривает записи без нарушений. Синхронное направление анализирует работу сотрудников раз в несколько месяцев – здесь также пересматриваются все видео и изучаются действия проктора.
При возникновении спорных ситуаций видеозапись и действия проктора подробно анализируются руководителем отдела прокторинга. Иногда видео передается на просмотр группе прокторов с целью сбора коллективного мнения.
В целом обучение не заканчивается никогда – даже для очень опытных сотрудников. Студенты с каждым тестированием становятся все изобретательнее и стараются придумать новые способы обхода правил. Поэтому эксперты собирают всю информацию по действиям читеров, анализируют и продумывают методики для предотвращения списывания. В соответствии с ними внутренние инструкции для прокторов также регулярно дополняются и корректируются. Мы убеждены, что лучшее обучение для проктора – богатый опыт в сочетании с интеграцией новых знаний.
Отдельно стоит сказать о системе мотивации прокторов, при которой зарплата специалистов напрямую привязана к эффективности и качеству работы. В “Экзамусе” есть как бонусы за грамотные действия, так и штрафы за некомпетентные. Отдельно оплачиваются переработки или смежно выполняемые обязанности. Такой способ позволяет нам находить добросовестных и пунктуальных работников и отсеивать тех, чьи ценности расходятся с философией “Экзамуса”.
Таким образом, многоступенчатая система проверки компетенций и навыков, постоянный контроль, а также обучение с постепенным наращиванием нагрузки и уровня ответственности позволяют нам отбирать и взращивать максимально подготовленных и компетентных прокторов.
Прокторинг. Что? Где? Когда? (часть I)
Начнем!
В этой статье мы разберем наш сервис онлайн-прокторинга:
TL;DR. Если совсем нет времени читать статью, но хочется узнать поподробнее про прокторинг, посмотрите наш короткий ролик:
I. Понятие прокторинга
II. Как работает система, и как проходит экзамен
Сервис интегрируется в систему тестирования или СДО (систему дистанционного обучения).
Сервис онлайн-прокторинга Экзамус работает по технологии SaaS (Software as a Service), вся инфраструктура хранится в облачных сервисах. Студенту не нужно ничего устанавливать на компьютер, достаточно открыть браузер, зайти по нужной ссылке, пройти системную проверку, идентификацию личности и начать сдавать экзамен.
После этого студент может начать экзамен. При этом, система транслирует информацию из 3 источников:
камеры;
микрофона;
рабочего стола компьютера.
После завершения экзамена система «соберет» их в единую комбинированную запись.
Во время экзамена система автоматически фиксирует такие типы нарушений как:
— увод взгляда, если пользователь смотрит за пределы экрана. — отсутствие лица в кадре, если пользователь не в поле зрения камеры полностью, или не видно лица полностью. — наличие других лиц в кадре, рекомендуется также убрать из поля зрения портреты великих людей на стене, они могут быть автоматически распознаны как посторонние. — подмена тестируемого, если лицо в кадре не принадлежит лицу, сдающему экзамен. — любые человеческие голоса в кадре, даже если это голос сдающего, ведь сдающий может надиктовывать вопросы для «слива» информации другому человеку. — смена окон на рабочем столе пользователя, если пользователь решил переключиться из теста в поисковую систему или открыть постороннее приложение.
— использование телефонов, планшетов и прочих технических средств, — использование TeamViewer, Skype, RemoteAdmin и любых программ для трансляции рабочего стола, — использование виртуальных машин и тонких клиентов для сдачи экзамена посторонним человеком, — использование книг, конспектов, черновиков, — использование калькуляторов (если это запрещено), — невербальное общение (подмигивания, знаки руками, кивки головы и т.д).
Экзамус автоматически отмечает все потенциальные нарушения правил в отчете. Каждая запись о нарушении содержит в себе информацию о типе нарушения, например, увод взгляда от экрана или смена окна, и временную метку.
То есть, мы сразу можем определить, кого точно стоит проверить в первую очередь.
Таким образом, по итогам экзамена по каждому участнику мы можем:
посмотреть и послушать запись с камеры, микрофона и рабочего стола;
посмотреть в хронологическом порядке все потенциальные нарушения;
нажав на любое нарушение, посмотреть на записи, что происходило в данный конкретный момент.
Под каждый режим разработаны свои интерфейсы и методологии работы прокторов, но об этом более подробно мы расскажем в следующих статьях.
III. Режимы прокторинга
1. Автоматический, то есть без участия человека-проктора.
Очевидным преимуществом этого режима является сокращение затрат на организацию экзаменов.
Но во многих ситуациях участие человека незаменимо:
Под каждый режим разработаны свои интерфейсы и методологии работы прокторов, в одной из статей мы подробнее остановимся на них.
Итак, мы с вами поняли, что такое прокторинг, как в целом работает система, узнали какие режимы прокторинга существуют.
В следующей части мы разберем, какие технологии используются в системе.
Пишите в комментариях, какие темы вам интересны.
Что может, а чего не может делать пользователь на экзамене с прокторингом
Чтобы определиться с тем, какие действия на экзамене с онлайн-прокторингом совершенно точно запрещены, а какие позволительны, необходимо разобраться, как работает прокторинг и кто контролирует действия пользователей.
В большинстве случаев за ходом экзамена наблюдает киберпроктор на основе AI-технологий и/или специально обученный человек – проктор. Часть нарушений при помощи компьютерного зрения фиксирует робот, а другие точно может установить только человек.
Работая сообща, AI и проктор могут отследить:
● Присутствие/отсутствие студента или других лиц в кадре;
● Любые посторонние голоса в комнате;
● Использование экзаменуемым шпаргалок, конспектов, телефонов, планшетов и прочих технических средств;
● Использование виртуальных машин, программ для демонстрации экрана и других инструментов для сдачи экзамена посторонним лицом;
● Смену окон на рабочем столе пользователя;
● Попытки невербального общения со стороны экзаменуемого.
Что нельзя делать на экзамене
1. Надолго уводить взгляд с экрана в сторону. Нарушение заметит и киберпроктор, и человек. Речь, конечно же, не идет о том, что нужно обязательно неотрывно смотреть в монитор. Мы понимаем, что иногда человек может задуматься или отвлечься и инстинктивно сосредоточить свое внимание на каком-то предмете в комнате. Однако нужно помнить, что даже кратковременные, но систематические отводы взгляда на один и тот же объект вне поля зрения камеры могут быть расценены как попытка списывания.
2. Отсутствовать в кадре. Если пользователь не в поле зрения камеры полностью или его лицо чем-то закрыто, AI автоматически зафиксирует нарушение. Конечно, робот может ошибиться (экзаменуемый может, к примеру, просто машинально прикрыть часть лица рукой), поэтому такие инциденты всегда разбирают люди.
3. Во время экзамена в комнате запрещено находиться посторонним людям – AI мгновенно фиксирует присутствие третьих лиц. По той же причине рекомендуется убирать со стен картины с лицами – киберпроктор может автоматически принять портрет Менделеева за подсказчика. Присутствие домашних животных не возбраняется.
4. Чтобы киберпроктор работал без ошибок и не фиксировал ложные нарушения, ему необходимо хорошее освещение рабочего пространства. Лампы нужно располагать так, чтобы они не находились прямо за спиной студента и не “слепили” систему компьютерного зрения.
5. Категорически запрещено подменять тестируемого на другого человека – в любом случае, это заметят. Даже если вы попробуете сдать экзамен вместо брата-близнеца.
6. Увы, но в кадре запрещено разговаривать вслух – даже если это сам сдающий. Дело в том, что тестируемый может таким образом надиктовывать вопросы для «слива» информации другому человеку.
7. Как правило, сменять окна на рабочем столе тоже запрещено. Из окна с тестом нельзя перемещаться в поисковую систему или открывать стороннее приложение.
8. Категорически запрещено использовать TeamViewer, Skype, RemoteAdmin и любые программы для трансляции рабочего стола или виртуальные машины для сдачи экзамена посторонним человеком.
9. Также не разрешается пользоваться дополнительными мониторами, телефоном, планшетом, ноутбуком и другими техническими средствами.
Что можно делать на экзамене
1. Можно ненадолго уводить взгляд с экрана (например, взглянуть на домашнего питомца в углу комнаты), если вы задумались над вопросом в тесте. Главное – не делайте это настолько часто и систематически, что проктор задаст вопрос: не припрятана ли у вас в комнате шпаргалка?
2. При синхронном типе прокторинга проктор проверяет картинку в режиме реального времени. В этом случае ему можно задавать вопросы в специальном чате (не по существу экзамена). К примеру, если у вас возникли технические проблемы, вы спокойно можете обсудить это с ним.
3. Все нестандартные ситуации (на которые пользователь не может повлиять) рассматриваются с точки зрения здравого смысла и рационального подхода. К примеру, если у студента упала ручка, и он наклонился ее поднять, на стол запрыгнула кошка, внезапно заплакал ребенок в соседней комнате или позвонили в дверь, ни один проктор не пометит это как нарушение. Однако помните, что если вы сдаете экзамен в крупной учебной аудитории или в офисе, где нет возможности избежать присутствия других людей и посторонних шумов, все действия и звуки будут детально анализироваться.
Опционально некоторые школы и университеты могут разрешать в процессе экзамена использование наушников (аудирование при сдаче языковых тестов) учебников, конспектов, черновиков или калькуляторов – так называемый формат “open-book”. В этом случае действия студента будут трактоваться в зависимости от правил проведения конкретного экзамена. Если вуз разрешил пользоваться калькулятором или писать что-то на листе бумаги во время тестирования – вас не осудят. Но помните: вы должны быть на 100% уверены, что это разрешено. Если у вас есть сомнения – задайте вопрос проктору в чате.
Соблюдайте эти простые правила, и вам не придется волноваться, как пройдет экзамен. Удачи!
Настройки системы прокторинга Examus
Данная инструкция предназначена для пользователей, желающих получить сертификат.
Введение
Обратите внимание – получение сертификата возможно при следующих условиях:
Правила поведения во время тестирования
Данные правила могут различаться для разных онлайн-курсов. Точные правила рекомендуем уточнить у представителей вуза-разработчика курса.
Как правило, запрещено покидать рабочее место после начала тестирования. Не разрешается использование любых посторонних материалов (включая книги, сайты, конспекты лекций), нахождение посторонних людей в помещении, использование мобильных устройств. За нарушение этих правил проктор может прервать сеанс. В этом случае ваша сессия будет признана «неудовлеворительной».
Оплата прохождения онлайн-курса с возможностью получения сертификата
Процедура отличается для разных онлайн-курсов. Ниже описана процедура для онлайн-курсов, где доступна оплата через сайт openedu.ru.
1. Перейдите в раздел «Мои курсы», выберите интересующий вас онлайн-курс и нажмите на кнопку «оплатить сейчас»
2. Выберите удобный для вас способ оплаты и подтвердите согласие с условиями договора
3. Нажмите «Перейти к оплате» и совершите платеж, следуя указаниям системы.
После успешной оплаты онлайн-курса вам станут доступны имеющиеся в нем испытания с подтверждением личности. Обратите внимание – проверочные работы доступны отрываются постепенно. Даты и время для их прохождения назначаются заранее.
Пожалуйста, внимательно прочитайте инструкцию по прохождению тестирования прежде, чем приступать к выполнению теста с прокторингом.
Распечатайте инструкцию для удобства и обратитесь к ней перед началом тестирования.
Прохождение теста с прокторингом. Онлайн-прокоринг Экзамус.
Ниже приведено подробное описание прохождения процедуры тестирования с прокторингом – механизмом контроля за честным выполнением проверочных работ и экзаменов. Рекомендуем проходить тестирование с домашнего компьютера, так как в офисе возможны ограничения на передачу данных с рабочего ПК.
Вы также можете скачать документ с инструкцией здесь.