Web浏览器挂钩和自动化

Question

我正在开始一个项目的研究，该项目涉及到使用来自SAPI的语音反馈来导航网络。这个应用程序将被盲人和视障人士用来浏览网页，提供当前所选对象的完整语音反馈，以及阅读整个页面和填写表单的能力。我有大量的SAPI和无障碍词的经验，但我不是那么熟悉HTML和采取这个项目的最佳方法，我想请有人谁可能有这方面的经验的指导。我已经解释过的基本概念是让盲人用户在没有屏幕阅读器的情况下使用这个独立的产品，并能够使用键盘浏览网页，并从我创建的合成器接收语音反馈。我可以使用内置在窗口中的可访问性API为视力较低的用户显示位置。

谢谢!

Answer 1

我得出的结论是，为了得到一个会说话的web浏览器，我实际上必须用Set _ setwindowshookex来连接WebBrowser控件的一个实例。在我的setwindowshookex回调中，我监视事件: OB_FOCUS (焦点改变，可以是键盘或鼠标)，然后将具有焦点的对象实例传递给AccessibleObjectFromEvent应用程序接口。接下来，我获取这个对象的IAccessible接口，然后枚举任何子级(如果存在)，并将它们与与HTML/Web对象相关的已知对象列表进行比较，以便使用适当的类来解析这个字段，并在用户处于可编辑字段、焦点按钮等情况下通知文本。我还使用IAccessible类来获取对象的位置，并通过在当前聚焦的对象上绘制一个矩形来向用户显示位置。我还创建了一个仅提取链接、文本、删除图像等内容的类，为视障人士提供更轻松、更愉快的网络体验。我仍然有一些夸克需要解决，但进展正在向前！

Answer 2

IE支持所有的辅助功能接口(我相信所有其他浏览器也支持-- sample on SO )。

有两个部分-使用IAccessible和相关接口的代码访问和良好的超文本标记语言(即，正确使用UL/LI等语义标签)标记，并可能使用额外的CSS可访问性aria-XXXX属性(即，aria-扩展)

可能的起始链接- What's New for Accessibility in IE8