면책 조항: 저는 VNC 클라이언트와 서버에 대해 잘 모르므로 올바른 용어를 사용하고 있기를 바랍니다. :)
나는VNC "서버"내 iPhone을 클라이언트로 받아들이는 Raspberry Pi에서 실행 중입니다. 화면에 특정 메시지(예: 배터리 부족 경고)가 나타날 때 특정 스크립트를 실행하고 싶습니다.
내 현재 접근 방식은 이상적이지 않습니다.
- 나는 비디오 소스의 매초마다 스크린샷을 찍고 자릅니다.
- 그런 다음 OCR 명령줄 스크립트를 실행하여 저전력 메시지가 실제로 존재하는지 확인합니다. 이 작업에는 2~3초가 걸립니다.
- 인식될 때쯤에는 화면이 나타난 지 5초가 지났는데, 이는 이상적이지 않아 그 숫자를 낮추려고 노력하고 있습니다.
VNC 서버가 실행 중이므로 VNC 서버의 프레임이 들어올 때 액세스하고 Python 또는 쉘 스크립트를 사용하여 처리할 수 있는 방법이 있습니까? 그렇지 않다면 일부 VNC 녹음이나 VNC 클라이언트를 사용할 수 있습니까?
이 섹션에서는 내 문제에 대한 포괄적인 설명을 제공합니다.
iOS 11 탈옥 클라이언트 이후 iOS 장치용 모든 vnc 클라이언트는 더 이상 사용되지 않으므로 화면을 클릭하는 위치를 계속해서 스크립트할 수 있는 사용자 지정 솔루션을 만들고 싶었습니다. 솔루션은 세 부분으로 구성됩니다.
- 화면 캡처 - 내 PI에 화면을 재생하는 것이 좋은 해결책이라고 확신하지만 다른 사람들에게도 열려 있습니다.
- 클릭할 위치를 결정하는 스크립트를 작성하세요. 내 경우에는 화면을 보고 클릭할 위치를 파악하여 게임 내 클릭을 자동화하고 싶습니다(알아요, 알아요).
- 클릭 이벤트 등록 - Teensy(arduino)라는 가짜 마우스를 사용하여 화면에서 원하는 위치를 클릭합니다.
내 주요 문제는 (2) 단계입니다. 화면을 처리하고 클릭 위치를 출력하는 빠르고 안정적인 방법이 필요합니다. 현재 Raspberry Pi VNC 클라이언트의 스크린샷을 찍고 있는데 속도가 느리고 이상적이지 않습니다. 그래서 내 첫 번째 질문은프로그램에서 VNC 서버 버퍼 프레임을 캡처하는 방법