Предлагаемый метод оценки силы игры шахматиста основан на предположении, что шахматист обдумывая свои ходы в течение всей партии, каждый раз решает задачу поиска наилучшего продолжения. Делая ход, игрок "сообщает" свой ответ на каждую задачу, "предложенную" ему для решения партнером. Таким образом, если партия продолжалась 35 ходов, то игрок дал ответ на 35 задач. Сильная шахматная программа может выступить в роли экзаменатора и оценить ответы игрока, поставив ему "оценку", выражающуюся в разнице оценок позиции после своего хода и хода, сделанного игроком. Чем больше разница оценок (она выражается в пешках), тем хуже сыграл игрок.
Исходя из полученной разности, можно составить, например, такую шкалу оценок каждого хода:
* 0 - 0,19 - отлично (решение не очень отличается от верного)
* 0,20 - 0,70 - хорошо (один штрафной балл)
* 0,71 - 1,50 - удовлетворительно (два балла)
* 1,51 - 2,50 - плохо (три балла)
* 2,51 - 3,50 - очень плохо (четыре балла)
* 3,50 и больше - ужасно (пять баллов)
Может обойтись такой градацией:
* ОШИБКА с 0.25 до 0.99
* ПРОСМОТР с 1.00 до 3.00
* ЗЕВОК с 3.00 и выше
Или такой:
>0.25 - ошибка (полпешки, штраф 1 ход)
>0.75 - зевок (пешка, штраф 2 хода)
>2.50 - воппер (фигура, штраф 3 хода)
Берутся ходы с 6 по 45. Всего 40 ходов.
Данная шкала в процессе развития метода может изменяться.
Для получения общей (интегрированной) оценки качества игры шахматиста за всю партию можно использовать разные способы. Автор предлагает использовать совместно следующие характеристики:
Средняя цена ошибки (AVE - average error). Для вычисления AVE необходимо просуммировать все разности в оценках программы и игрока и полученную сумму разделить на количество сделанных ходов. Для лучшей читаемости результат умножить на сто. Полученное число означает, что игрок каждый ход в среднем терял (его позиция ухудшалась) данное количество сантипешек (сотая часть пешки).
Качество игры (QOP - quality of play). Измеряется в процентах. Сначала вычисляется сумма штрафных баллов, которая вычитается из количества сделанных ходов. Затем полученное число делится на количество сделанных ходов и умножается на 100.
Для уменьшения влияния сделанных ходов в позициях с небольшим количеством фигур и пешек (а соответственно и меньшим шансом допустить ошибку), применяется уточненное количество ходов, где каждый ход после 40 "весит" на 0,01 меньше предыдущего. Таким образом за сорок первый ход в общую копилку ходов добавляется не 1, а 0,99, за сорок второй - 0,98 и т.д. Например, в партии длиной 60 ходов уточненное количество ходов равно 57,9.
Похожий метод разработали югославские ученые на основе движка Crafty.
Прекрасная идея использование разницы оценки (что-то похожее) для самотренировки реализована в программе ChessHero Главное отличие - там шахматист ищет правильный ход в случайно выбранной позиции из базы партий, а не во время своей игры. Использование движка для оценки выбранного хода очень схоже - большое расхождение - штраф, маленькое - не считается ошибкой.