You are browsing a read-only backup copy of Wikitech. The live site can be found at wikitech.wikimedia.org

User:Atsirlin/page6: Difference between revisions

From Wikitech-static
Jump to navigation Jump to search
imported>Atsirlin
imported>Atsirlin
(no longer needed)
Line 1: Line 1:
==Первый раунд: предварительный отбор==
'''Исходный массив:''' все фотографии (32631)


'''Участвуют:''' 6 членов жюри и волонтёры
'''Сроки:''' 11 сентября — 5 октября, 5 порций по 6-7 тысяч фотографий в каждой, время на оценку одной порции: 5-6 дней
'''Принцип оценки:''' да/нет, каждую фотографию смотрят три оценщика
'''На выходе:'''
* 860 фотографий, одобренных двумя или тремя членами жюри
* 5209 фотографий, которые: а) одобрены хотя бы одним членом жюри или волонтёром; б) не отбракованы двумя другими членами жюри. Эти фотографии имеют шанс получить достаточную поддержку жюри (два голоса из трёх), но требуют дополнительной проверки.
'''Проблемы:'''
# Разные критерии у разных оценщиков. Принцип "фотографией можно иллюстрировать статьи" все понимают совершенно по-разному. Следование одному лишь этому критерию приводит к совершенно избыточному количеству отобранных фотографий
# Ограничения по количеству, подобранные эмпирическим путём (желательно: 12-15%, никак не более: 20% отобранных фотографий) позволяют добиться на выходе разумного числа фотографий, но опасны тем, что неплохие снимки будут пропущены, особенно если они оказались в конце, когда оценщик уже превысил(а) свой лимит
# Первый раунд нельзя завершить до того, как все оценщики закончат свою работу, и каждая фотография получит по три оценки. Одни оценщики работают быстрее, другие медленнее; кроме того, не все завершают работу в срок. Соблюдение сроков требует оперативной переброски заданий между оценщиками, что создаёт другую проблему: при первичном просмотре оценщик сразу отбирает заведомо плохие и заведомо хорошие фотографии, оставляя спорные случаи на потом. Если в какой-то момент эти спорные фотографии перебросить другому оценщику, он (она) получит не первичную выборку, а снимки, уже прошедшие какой-то отбор, и будет вынужден оценивать более строго, чтобы уложиться в лимит.
==Второй раунд: предварительный отбор==
'''Исходный массив:''' 5209 фотографий из первого раунда
'''Участвуют:''' 6 членов жюри
'''Сроки:''' 7-13 октября
'''Принцип оценки:''' да/нет, каждую фотографию смотрят три оценщика, отобрать нужно не более 25% фотографий
'''На выходе:''' 714 фотографий, одобренных двумя или тремя членами жюри
==Третий раунд: отбор шорт-листа==
'''Исходный массив:''' черновой лонг-лист, 1574 фотографии = 860 из первого раунда + 714 из второго
'''Участвуют:''' 6 членов жюри
'''Сроки:''' 14-22 октября
'''Принцип оценки:''' каждую фотографию смотрят все оценщики, выставляя баллы от 1 до 5. Оценщики стараются следовать единым критериям: 25% фотографий получают 1 балл, 25% фотографий получают 4 или 5 баллов, оставшиеся 50% получают 2 или 3 балла. Выдержать интервалы трудно, по факту приходится перенормировать все оценки к общему среднему.
'''На выходе:''' отранжированный лонг-лист. Самая высокая оценка — 4.73, самая низкая — 1.17. В черновой шорт-лист попадают 274 фотографии, получившие оценку не ниже 3.15.
'''Проблемы:''' Montage предлагает довольно грубую пятибалльную шкалу, не позволяющую добиться нормального распределения. Десятибалльная шкала была бы лучше, а в идеале стоит дать оценщикам возможность выставлять и дробные баллы, однако тогда придётся всё делать в табличке в Excel, что для 1000+ фотографий вряд ли удобно.
==Четвёртый раунд: обсуждение==
'''Исходный массив:''' черновой шорт-лист с 1574 фотографиями.
'''Участвуют:''' координаторы жюри, спорные вопросы выносятся на обсуждение с членами жюри
'''Сроки:''' 14-23 октября (просмотр фотографий), 24-25 октября (обсуждение, основной шорт-лист), 29-30 октября (обсуждение, лонг-лист), 28-30 октября (обсуждение, шорт-листы спецноминаций)
По каждой из 1574 фотографий делается проверка:
* фотографии организаторов и членов жюри — исключаются
* фотографии, на которых заведомо нет ОКН — исключаются
* фотографии, на которых показаны современные фрагменты интерьера или части объектов, не входящие в предмет охраны — остаются в лонг-листе с комментариями, в шорт-лист не попадают
* повторы (похожие фотографии одного объекта от одного автора) — прореживаются на основании оценок и обсуждения с жюри; в шорт-листе отсев строже, в лонг-листе мягче
* фотографии, вызывающие сомнения по качеству — исключаются на основании низких оценок (менее 2 баллов) или высказанной жюри критики
'''На выходе:''' шорт-лист сокращается до 212 фотографий, лонг-лист — до 1323 фотографий; также формируются шорт-листы спецноминаций на основании подходящих по тематике и не вызывающих сомнений фотографий из лонг-листа
==Пятый раунд: выбор победителей==
'''Исходный массив:''' основной шорт-лист (212 фотографий) и шорт-листы спецноминаций
'''Участвуют:''' 7 членов жюри
'''Сроки:''' 26-31 октября (основная номинация), 31 октября — 4 ноября (спецноминации)
'''Основная номинация:''' вначале все члены жюри выбирают по 30 фаворитов (+1 балл), а кроме того называют те фотографии, которые не нравятся (-1 балл) или активно не нравятся (-2 балла). Подсчёт баллов позволяет выявить нескольких лидеров. Затем круг обсуждения повторяется, но уже для тех фотографий, которые получили в первом круге достаточную поддержку, и с учётом фотографий, вышедших в финал. Члены жюри аргументируют свой выбор. На основании этих комментариев формируется список "лучших фотографий".
'''Спецноминации:''' алгоритм тот же, но каждый член жюри называет всего трёх фаворитов, и этого обычно достаточно, чтобы определить победителя
'''На выходе:''' список победителей, а также комментарии членов жюри к 42 лучшим фотографиям
==Статистика==
'''Лонг-лист:''' 1323 фотографии или 4.05% от общего числа; для сравнения, в 2017 году — 3.03%, в 2016 году — 2.88%
'''Шорт-лист:''' 212 фотографий или 0.65% от общего числа и 16.0% от числа фотографий в лонг-листе; для сравнения, в 2017 году — 0.53% (17.5%), в 2016 году — 0.60% (20.8%).
'''Отсечка для шорт-листа:''' 3.15 балла из 5; для сравнения, в 2016 и 2017 гг. была отсечка 6 из 10
==Технические замечания==
* Отсечка по разрешению (2 МП) позволяет сразу исключить около 10% фотографий.
* Отсечка по авторам в Montage не использовалась и в целом неоптимальна, поскольку в оценке участвуют волонтёры, чьи фотографии отсекать не нужно. Кроме того, имеет смысл оценивать фотографии организаторов и членов жюри вместе со всеми, чтобы поощрить хорошие загрузки хотя бы неформально.
* Во втором и третьем раундах фотографии нужно импортировать в Montage списком, при этом возникают две трудности. Во-первых, Montage имеет свои хитрые представления о формате и признаёт лишь чисто текстовый файл, выложенный в Github или на другие сторонние ресурсы. Во-вторых, Montage не импортирует переименованные фотографии. Их нужно найти и переименовать в исходном списке, который затем импортировать в Montage ещё раз.
==Мысли на будущее==
* Процедуру предварительного отбора можно сделать более предсказуемой, составив подробную инструкцию, в которой перечислить критерии оценки и объяснить, на что обращать внимание. Это позволит хотя бы частично решить проблему #1.
* Квоты в предварительном отборе необходимы; без них количество отобранных фотографий выходит за любые рамки, даже если не привлекать к оценке волонтёров.
* Система с "динамическим" перераспределением заданий между оценщиками в полной мере себя оправдывает, позволяя в сжатые сроки обработать хоть 5, хоть 10 тысяч фотографий; её главное ограничение — проблема #3.
* Можно попробовать разбить предварительный отбор на две части, но по-другому. На первом этапе делать беглый отбор, оставляя примерно треть от общего числа фотографий. Спорных случаев при этом будет меньше, можно управиться в один заход и совершенно точно не придётся открывать фотографии в полном размере. На втором этапе вводить более строгие технические критерии и смотреть фотографии внимательно. В нынешнем году этот путь категорически не сработал, хотя есть надежда, что он даст более осмысленные результаты, если выдать подробные инструкции, а ещё лучше — предварительно обучить волонтёров.
* Предварительный отбор должен опираться только на технические критерии; не нужно обсуждать, где ОКН, а где нет, что нужно и что не нужно для спецноминаций, поскольку это не всегда простые вопросы. Их лучше оставить до четвёртого раунда
* Интересно понять, какие приличные фотографии не попали в этом году в лонг-лист из-за несовершенства предварительного отбора; если их было мало, то, в конце концов, можно просто продолжать работать по схеме нынешнего года: она выглядит посильной и, в целом, разумной

Revision as of 19:17, 4 December 2018

Retrieved from "https://wikitech-static.wikimedia.org/w/index.php?title=User:Atsirlin/page6&oldid=305272"