appium获取不到Android界面键盘元素信息

uiautomatorviewer、appium都获取不到元素信息,用hierarchyviewer,可以看见键盘是一个新的层,显示如下:


第三个选定的界面是密码键盘界面

问下哪个同学有碰到过这样的问题,帮忙解决下,感激不尽

有遇到,我也是在银行工作的,键盘什么的压根不能定位,这时候可以考虑使用图像识别技术来计算每个键位的坐标位置,然后根据坐标来点击就可以了。速度方面也挺快的。

键盘左上角的坐标是怎么确定的呢

不是确定坐左上角的坐标。大概流程:
第一步: 截取当前屏幕
第二步: 使用图像识别图库,根据一些算法进行对图片的切割,把键盘部分切割出来。
第三步: 然后把切割出来的键盘在进行切割,把每个字符切割出来,每个被切割的图片都有坐标。
第四步: 把切割出来的字符存在一个map或者字典里,因为字母键盘顺序是固定的,key存放字母,顺序你也能知道,value存放字母坐标。

1 个赞

好的,谢谢

问题有解决吗?求代码 :grinning:

用的ocr图片识别实现的,截图按照的屏幕的比例

这种可以了解下airtest

好的,我试试,谢谢

好的,谢谢