Анон, пилю свой SwingVision для тенниса. Телефон на штативе за задней линией, видео 1080p60, на выходе статистика ударов. Пока всё на маке, цель - офлайн на айфоне, потом реалтайм.
Что уже работает (хуево): корт размечаю кликами один раз, гомография в метры, дрейф телефона компенсируется. Игроки: YOLO-pose, позы обоих, точка стоп с точностью 7 см у ближнего, зрителей у сетки отсеивает. Мяч: TrackNet-подобная сетка на трёх кадрах, дообучил на треках из экспорта SwingVision (нашёл там их собственный трекинг мяча 30 Гц, 168к меток с 25 кортов бесплатно, кек), покрытие 80 % кадров, отскоки в 4 px от свинговских. Экспорт в CoreML, 21 мс на кадр на нейродвижке.
Чего нет: ударов, отскоков, розыгрышей и самой статистики — следующий этап, план готов. Из фейлов: сутки убил на «дай мячу больше пикселей», оказалось надо давать фон и разность кадров.
Стек: питон, торч на MPS, numpy для всего, что потом на свифт.
Вряд ли найду тут единомышленников, но мб получу советов мудров
Мне кажется, самое сложное - определить отскок. Как вариант - ориентироваться на форму траектории. Для детекта людей yolo? Очень уж похожи ключевые точки. Я не знаю, как дела обстоят на айфоне, но модель стоит квантизовать для реалтайма, иначе на cpu будет 0.1 fps. Когда-то решал задачу с вычислением скорости человека через нейронки, подробности разглашать не буду, проект коммерческий. Там по итогу мы пришли к тому, что анализировали позу. Возможно, стоит запариться со стериометрией: взять вттрую камеру.
>>1718302 Отскок вполне анализируется аналитикой угла наклона плоскости ракетки в момент соприкосновения. У меня стоит по 8 камер допом в зоне каждого игрока.
к тому же есть датасет паттернов каждого игрока с его типовыми приемами при нахождении второго в той или иной зоне с параллелью с аналитикой. На 90% это просчитывается.
мимо занимаюсь тем же чем и оп, но более профессионально
>>1710962 (OP) Попробуй использовать интерполяцию для сглаживания движений чтобы убрать подёргивания. Ну это мой нубский совет, может оно тебе и не нужно вовсе (я вообще нейронками не занимаюсь)