Робо-шашки: робот играет с посетителем

Человек двигает шашки руками прямо в рабочей зоне манипулятора. Робот видит доску камерой, ждёт, пока рука уйдёт, отвечает ходом и комментирует голосом. Шесть лет эксплуатации, три стенда — ни одного инцидента с посетителями.

роль
зрение, логика игры, интеграция манипулятора и светового поля
период
2020 — 2026, третья итерация кода
стек
Python · OpenCV · xArm SDK · ESP8266 · NeoPixel
статус
3 стенда в работе
Стенд с роботом-манипулятором и игровым полем в шашки
стенд: манипулятор, камера над полем, световое поле
01 — задача

Игра, в которую человек играет руками

Робот играет в шашки с посетителем стенда. Партия настоящая: человек переставляет свои шашки рукой, робот отвечает манипулятором, забирает битые шашки и меняет свои пешки на дамки. Никакого оператора рядом нет — всё, что происходит, должно объясняться самим стендом.

Формально это задача про восприятие и про безопасность одновременно: робот должен понимать состояние доски, которую человек постоянно меняет руками, и при этом не причинить ему вреда.

02 — ограничения

Человек находится внутри рабочей зоны

  • Рука в кадре. Любое движение человека меняет картинку. Если читать доску в этот момент, ход фиксируется неверно.
  • Шашки ставят как получится. Не по сетке и не ровно — распознавание обязано это терпеть.
  • Свет мероприятия. Освещение на стенде меняется в течение дня, цветовой порог нельзя прибить намертво.
  • Нет экрана для игрока. Управление — физическими кнопками, обратная связь — голосом и цветом поля.
  • Манипулятор в общей зоне. Ход руки проходит рядом с человеком, который только что убрал свою.
03 — как робот видит доску

Ждать не по таймеру, а по стабильности картинки

01

Найти поле

Кадр обрезается до игрового поля по шаблону и размечается на сетку 8×8. Всё остальное — стойки, стол, люди — вне интереса.

02

Дождаться тишины

Система сравнивает соседние кадры, считает разницу, размывает её и берёт стандартное отклонение. Пока картинка «шевелится» — рука в кадре, читать нельзя.

03

Собрать пятнадцать спокойных кадров

Только когда отклонение опускается ниже порога, кадры начинают копиться. Нужно 15 подряд — иначе отсчёт начинается заново.

04

Прочитать и сравнить

На стабильных кадрах определяется цвет каждой клетки, собирается поле, и оно сравнивается с предыдущим — так находится ход человека.

Порог чувствительности вынесен в настройки и подстраивается под конкретный стенд: на шумном мероприятии он выше, иначе робот будет ждать «тишины», которой нет. Задержка стабилизации заодно работает как пауза вежливости — у человека есть время убрать руку, прежде чем манипулятор поедет.

04 — рука и безопасность

Протокол хода вместо датчиков

Отдельного «человека в зоне» никто не детектирует — безопасность построена на предсказуемом протоколе, который человек понимает без инструкции:

  • Рабочая зона ограничена стойками стенда: за них манипулятор физически не выходит.
  • Перед ходом рука выдвигается над доской на пониженной скорости — это видимое предупреждение.
  • Затем пауза: последний момент убрать руки.
  • Только после этого выполняется последовательность движений хода.
  • После хода манипулятор всегда возвращается в нулевое положение — так он не висит над полем между ходами.
  • Аварийная кнопка обесточивает движение из любого состояния.

Цвет поля дублирует то же самое без слов: зелёный — ваш ход, красный — робот работает, трогать нельзя. Управление уровнями и перезапуск — физические кнопки на стенде.

6 лет
эксплуатации на публичных мероприятиях
0
травм и инцидентов с посетителями
3
стенда выпущено — все до сих пор в работе
3 итерации
кода переписано за это время
05 — логика игры

Настоящие правила и три уровня

Правила реализованы целиком: обязательное взятие, превращение в дамку, цепочки взятий, ничья при заблокированных шашках. Уровень сложности задаёт глубину перебора — от одного хода до трёх: чем выше, тем дальше робот просчитывает последствия и тем реже подставляется. Среди равноценных вариантов ход выбирается случайно, чтобы партии не повторялись.

Сложные ходы робот объясняет человеку голосом: «ваш ход», «неверный ход», «ничья», «вы выиграли». Это не украшение — при игре без экрана голос остаётся единственным способом сказать, что пошло не так.

15
стабильных кадров до фиксации хода
3
уровня: перебор на 1–3 хода вперёд
440
светодиодов в игровом поле
4
физические кнопки на стенде

результат

Выпущено три стенда, и все три до сих пор работают и используются — в Казани, на «Симпозиуме. Создавая будущее» и на других площадках. За шесть лет эксплуатации ни один человек не пострадал. Этот код — третья итерация: логика игры и протокол безопасности переписывались, а сама конструкция «человек в зоне» оказалась рабочей с первого варианта.

06 — со стенда
партия на стенде: ход человека, ожидание, ответ манипулятора
07 — вывод

Безопасность в общей зоне — это протокол, а не датчик

Робот не «чувствует» человека: он предупреждает движением, ждёт по картинке, говорит цветом и возвращается в безопасную точку. Человеку не нужно знать внутреннее устройство — достаточно понимать три сигнала. Именно это и позволило оставить стенд без оператора рядом.