| Гость |
Вы не зарегистрированны? Нажмите здесь для регистрации.
Забыли пароль? Запросите новый здесь.
|
|
| Сейчас на сайте |
Гостей: 3
На сайте нет зарегистрированных пользователей
Пользователей: 1,788
новичок: svetalebedeva199
|
|
|
| Обсуждение «оценка конкурсных работ» |
Древний организм
|
| Опубликовано 28.05.2013 13:59 (11 лет назад) # |
Назрела проблема и ее решение не хочется искать и принимать единолично, поэтому предлагаю решить проблему здесь.
Ситуация - конкурсант ставит участнику минимальный балл, бе объяснения причины. Допустим.
Ситуация 2- конкурсант ставит лидеру конкурса минимальный балл без объяснения причины.
конкретика: товарищ neuch два конкурса подряд (этот и аренашутер) просто без объяснения причины или попытки разобраться ставит минимальное место лидеру (zbl в аренашутере и xneg в кубиках), чем существенно изменяет расстановку сил. При этом всё усугубляется крайне посредственными поделками, сданными на этот конкурс и занимающих последние места.
Моя попытка разобраться привела меня к тому, что у человека крайне тормозной комп (атом, гиг памяти и интелрвское видео, которое не тянет полноценно даже девятый директх). В связи с этим игры или не работают или жутчайше тормозят (часть д3д исполняется софтово, а про тормозной(.
конкурсант при этом даже не пытается узнать (как мы все видим( почему игра не запустилась или тормозит и тупо лепит минимальную оценку.
тенденция мне крайне не нравится, но что делать я лично придумать не могу. Этот конкурс должен быть последним с данной проблемой, но как этого добиться я бы хотел слышать от вас. Думаю никому из вас не будет приятно сползать по пьедесталу вниз только потому что кому-то лень выяснить что же у него не так, спросить и решить каким-то образом проблему.
Неучу я предложил сходить к друзьям и погонять работы на другом компе, чуть менее тормозном и более игровом, на что, собственно, он просто нахамил. |
|
|
|
|
| Опубликовано 28.05.2013 14:14 (11 лет назад) # |
| Вот поэтому нетбук покупать для игр не стоит =) |
|
|
|
|
| Опубликовано 28.05.2013 14:22 (11 лет назад) # |
Жестокий вариант: друзей нет - гонять негде.
А вообще это минус такого голосования участников. ^_^ |
|
|
|
Древний организм
|
| Опубликовано 28.05.2013 14:28 (11 лет назад) # |
| Ну если так, значит можно не учитывать голос, потому что его объективность стремится к нулю. |
|
|
|
|
| Опубликовано 28.05.2013 14:51 (11 лет назад) # |
Сам думал над этой проблемой достаточно давно.
Как мне кажется, проблему может решить вариант с голосом судьи, которым он может подровнять результаты голосования. Скажем, есть бонус "Беспристрастный судья сказал +10", который добавляется судьёй по своему усмотрению участнику, работа которого по мнению судьи того заслуживает.
Проблема в том, что судья должен быть незаинтересован и его мнение должно уважаться участниками.
(Для этого можно использовать админа, который не учавствовал в конкурсе, например). |
|
|
|
|
| Опубликовано 28.05.2013 15:14 (11 лет назад) # |
| А не проще просто объективно оценивать работы и без всяких хитростей? |
|
|
|
Древний организм
|
| Опубликовано 28.05.2013 15:16 (11 лет назад) # |
| Оберлардо, большинство так и делает. А неуч пытается нахамивши еще и учить нас, вместо того чтобы решить сложившуюся ситуацию. |
|
|
|
|
| Опубликовано 28.05.2013 15:22 (11 лет назад) # |
| Я думаю пусть всё остаётся так как есть. Ведь даже если участник ставит низкие оценки фаворитам конкурса, то это его право. В конце концов это его право ставить ту оценку, которую он сам хочет. А влияние на голосование со стороны не выход. |
|
|
|
Главный Говнюк
|
| Опубликовано 28.05.2013 15:26 (11 лет назад) # |
| Мне кажется надо прописать в правила, что если участник голосует не адекватно пару раз, то его не допускают к следующим конкурсам. Оценить неадекватность могут и другие участники. |
|
|
|
|
| Опубликовано 28.05.2013 15:28 (11 лет назад) # |
Несколько предложений:
1. Сделать систему требовательной к комментариям.
2. Позволить системе самой расставить места? Ну то есть, участник, вместо того, чтобы расставлять места ставит значения ползункам в N-категориях (сюжет, графика, геймплей, впечатление, етс)? В таком случае оценки будут объективней.
3. Сделать систему сравниваний вида "а ну-ка давай-ка плясать выходи, сравни игры X и Y, чья круче?" Конечно, не стоит делать тупо показывая N! сравниваний, а что-то более плавное.
мимопроходил-у-мамы-выдумщик
редакция от Dj_smart, 28.05.2013 15:28 |
|
|
|
|
| Опубликовано 28.05.2013 15:52 (11 лет назад) # |
Zbl написал:
Мне кажется надо прописать в правила, что если участник голосует не адекватно пару раз, то его не допускают к следующим конкурсам. Оценить неадекватность могут и другие участники.
Неадекватность голосования сильно субъективна. Под эту гребёнку кто угожно может заявить, что за его работу проголосовали неадекватно.
Dj_smart написал:1. Сделать систему требовательной к комментариям.
Это никак не помешает мудакам ставить оценки от фонаря.
2. Позволить системе самой расставить места? Ну то есть, участник, вместо того, чтобы расставлять места ставит значения ползункам в N-категориях (сюжет, графика, геймплей, впечатление, етс)? В таком случае оценки будут объективней.
Интересно, но не решает проблему - ползунки можно выставить как угодно.
3. Сделать систему сравниваний вида "а ну-ка давай-ка плясать выходи, сравни игры X и Y, чья круче?" Я так и голосую. По нескольк раз смотрю игры и выстраиваю их круче-не круче. Но делать это самому удобнее.
Проблема состоит в том, что мудаки и нормальные участники имеют одинаковый голос.
Решить эту проблему можно отсевом мудаков.
Делается это, как ни странно и много раз говорено, строгими правилами и строгим их следованию. Не давать расплывчатые темы, на которые можно сдать какую-то херню, но она уложится в рамки темы, потому что их просто нету. Выход на голосование должен напрягать и заставлять выкладываться. Тогда и народ будет добираться до голосования адекватный и оценки будут чего-то стоить.
И не надо бояться дисквалифицировать новичков/старичков/когоужтам. Мы не политикой занимаемся и не вербуем избирателей. Хочешь попасть к нам - паши и напрягайся. Не хочешь напрягаться - ПНХ.
редакция от Shirson, 28.05.2013 16:20 |
|
|
|
[35].jpg)
|
| Опубликовано 28.05.2013 15:59 (11 лет назад) # |
как вариант можно сделать бенчмарк программу. и если эта программа не работает на машине участника с определённой скоростью, то результаты тестирования игр на этой машине не будут приниматься. такой метод отсеит совсем не вменяемые для тестирования компы.
ещё вариант (но это уже от другого более жестокого и умышленного приступления) - админы могут на каждый конкурс раздавать вес голоса каждому участнику. если игра участника достойная то он получает стандартный вес (например 1), а если игра совсем коекакная то учасник получает маленькие вес голоса (0.1 например), после чего все оценки участников умножаются на вес голоса. это поможет избежать умышленных занижений баллов от участников с двойными аккаунтами (один аккаунт делает игру, а другой делает чёрти что и помогает продвигать первый аккаунт). однако этот вариант всё равно оставляет возможность умышленно занижать баллы хорошим работам если участник сам сдал достойную игру. тут уже нужно обязывать коментировать оценки.
к стати понравилось предложение Dj_smart - позволить выставлять баллы сравнивая по 2 работы. я в последнем своём конкурсе так и делал сравнивая по 2 пары работ (естественно тут некоторые пары автоматически отсеиваются, например если А лучше чем Б, а Б лучше чем В то А автоматически лучше В). |
|
|
|
|
| Опубликовано 28.05.2013 16:06 (11 лет назад) # |
Dan, отличная идея с бенчмарком. По крайней мере в правилах нужно указать минимальную конфигурацию железа, на котором игра бы стабильно работала.
Вопрос в том, что участники сдавшие игры разного уровня и сложности реализации имеют равноправный голос - вот она демократия.
Dan, Если я правильно понял, ты предлагаешь систему рейтинга ?
редакция от ObelardO, 28.05.2013 16:07 |
|
|
|
|
| Опубликовано 28.05.2013 16:20 (11 лет назад) # |
| Лучше вариант с программой, т.к. даже админам свойственен субъективизм. |
|
|
|
|
| Опубликовано 28.05.2013 16:47 (11 лет назад) # |
Обычно мудаков меньше, чем нормальных людей. Соответственно, в этом случае можно просто отсеивать аномалии. Например 10% самых высоких и самых низких оценок для игры X отбрасываются.
Участников сейчас стало достаточно много, и можно применить такой принцип (1 самый высокий и 1 самый низкой балл для каждой игры отбрасываются и не учитываются в конечном зачете; если максимумов/минимумов по значению два или больше, то их вес становится на 1 меньше).
В спорт-соревнованиях такое часто используется. Первое в лоб найденное: 1, 2 - искать слово "отбрасываются"
редакция от bsivko, 28.05.2013 16:54 |
|
|
|
|
| Опубликовано 28.05.2013 17:04 (11 лет назад) # |
bsivko написал:
Обычно мудаков меньше, чем нормальных людей. Соответственно, в этом случае можно просто отсеивать аномалии. Например 10% самых высоких и самых низких оценок для игры X отбрасываются.
Вообще, мысль хорошая.
Но работать это будет только при достаточном количестве участников. Если участников окажется меньше 5, это уже не проканает. Кстати, если участников больше 20, то удаление 1 оценки может оказаться недостаточно. |
|
|
|
Инженер‑космогоник
|
| Опубликовано 28.05.2013 18:09 (11 лет назад) # |
В конце концов у нас тут не госдума и нам не обязательно делать дурацкий закон "чтобы сам работал" и "чтобы устраивал всех".
Мы вполне можем отсеивать аномалии ручками, решать вопросы в частном порядке, или выносить на обозрение. Товарищ Neuch(по английски читается Нёч, я ничего не перепутал?) тоже поступил некрасиво, ничего не объясняя и громко хлопая дверями.
Программа бенчмарк - это крутое инженерное решение(мне тоже нравится), которое в общем то не нужно, можно просто в правилах написать мин конфигурацию и требования(работу либо в окне, либо без изменения разрешения экрана, сторонние пакеты - такие и такие, игры под виндоус).
Мне нравится система как раз простотой, открытостью и адекватностью, так давайте не будем городить "дополнительные 0.37 балла от судей", "Среднеквадратичное отклонение от среднеконкурсной оценки" и т.д:)
А человеческий фактор никуда не денется. |
|
|
|
|
| Опубликовано 28.05.2013 18:35 (11 лет назад) # |
neuch написал:
я себя чувствую словно при Сталине, поставил голос не туда куда нужно - расстрел(((((((((((((
При Сталине такого не было. Не нужно верить всему, что пишут в книгах по истории. |
|
|
|
|
| Опубликовано 28.05.2013 23:08 (11 лет назад) # |
Сообщение Dan'а на предыдущей странице натолкнуло меня на такую мысль.
Что если ввести систему репутации для участников. Скажем у каждого зарегистрированного пользователя в системе имеется поле типа Integer в котором хранится эта самая репутация. При регистрации авансом дается некоторое количество, а в дальнейшем репутация будет начисляться другими участниками сообщества и автоматически за различные заслуги. Ну скажем можно будет ставить плюсы или минусы за сообщения в форуме и скажем за каждое участие и призовое место добавляется, ну естественно админы могут карать репутацией за нарушения правил. Давать репутацию за выслугу лет и т.д. и т.п.
При участии в конкурсе при подведении результатов каждая оценка будет домножаться на (float)РЕПУТИАЦИЯ_ГОЛОСУЮЩЕГО/МАКС_РЕПУТАЦИЯ_СРЕДИ_УЧАСТ
НИКОВ_КОНКУРСА. И то при условии что репутация голосующего больше нуля, а если <=, то голос вообще не учитывается, а участием в конкурсе можно будет исправить положение. Таким образом у каждого участника будет, какбэ, свой вес голоса.
Все это я придумал за пару минут, наверняка тут куча подводных камней. Но вообще против вмешательства человеческого фактора и субъективностей в результаты, а вот система репутации кажется довольно объективной и не сложной в реализации. |
|
|
|
|
| Опубликовано 28.05.2013 23:16 (11 лет назад) # |
Также, кстати, потом можно будет сделать систему, при которой каждый участник сможет обозначить на сколько он считает ту или иную оценку к своей игре адекватной. У тех, чьи оценки чаще обозначаются неадекватными также снижается репутация.
Кстати, если нужны руки в реализации чего-либо, обращайтесь :) |
|
|
|
Перейти на форум:
|
|
|
|
| Конкурсы |
|
Открытые конкурсы:
|
|
|