語音，觸控()computergraphics

1、第七章 人機交互繪圖技術,人機交互,人機交互（Human-Computer Interaction）是指用戶與計算機系統(tǒng)之間的通信，它是人與計算機之間各種符號和動作的雙向信息交換。這里“交互”定義為一種通信，即信息交換，并且是一種雙向信息交換，可由人向計算機輸入信息，也可以由計算機向人輸出信息。,計算的三次革命,1950年，大型機計算時代 多人一機1975年，PC計算時代 信息交流一人一機2000年，普適計

2、算時代 服務一人多機,字符用戶界面鍵盤圖形用戶界面鼠標，GUI，WIMP新世紀用戶界面(???)筆、語音，觸控(???),普適計算的認識,Ubiquitous Computing(ubicopm)Mark Weiser 19911.任何時間任何地點提供信息和服務2.Focus on Applications Mark Weiser“The real purpose for ubiquitous comp

3、uting, of course, are the applications.”3.多人可以使用的計算，計算環(huán)境. 個人所擁有的計算，日用品4.人機融合過程：人適應計算機；計算機適應人,普適計算中人機交互的三個特征,自然化多通道模糊非結構 相對于結構化數據（即行數據，存儲在數據庫里，可以用二維表結構來邏輯表達實現(xiàn)的數據）而言，不方便用數據庫二維邏輯表來表現(xiàn)的數據即稱為非結構化數據，包括所有格式的辦公文檔、 文本

4、、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。  連續(xù)人性化顯示感知（符號、動作、表象、情感）隱式感知---用戶意圖捕捉智能化學習能力,本章內容,,,基本交互任務,交互的輸入模式,輔助交互技術,交互設備,基本問題,人機交互的新發(fā)展,7.1 基本圖形輸入設備和基本交互任務,,7.1.1 基本的圖形輸入設備,,定位設備,筆劃設備,選擇設備,字符串設備,定值設備,拾取設備,基本的圖形輸入設備,定位設備,

5、定位設備(Locator)用于指定用戶空間的一個位置，如指定一個圓的圓心等。其輸入方式包括直接或間接在屏幕上輸入，設置數值坐標等。,,鼠標,光標,數字化儀,操縱桿,方向鍵,間接輸入,鍵盤,筆劃設備,軌跡球,定值設備,定值設備（Valuator）為應用程序輸入一個值（實數），如在旋轉某一對象時輸入一個旋轉角度、縮放對象時輸入一個比例因子以及輸入文字高度、字體大小比例因子等。輸入方式包括直接輸入數值、通過字符串取值、通過比例尺輸入、執(zhí)行

6、上下記數控制命令等。物理設備包括旋鈕、鍵盤、數字化儀、鼠標、方向鍵、編程功能鍵等。,旋鈕,選擇設備,選擇設備（Choice）為應用程序在多個選項中選定一項，如可選擇功能或圖形元素等。,,直接/間接選擇,字符串選擇,手寫輸入,時間掃描,聲音輸入,輸入方式,,光筆,觸摸屏,鼠標,數字化儀,操縱桿等,物理設備,觸摸屏,拾取設備,拾取設備（Pick）在處理的模型中選取一個對象，從而為應用型操作確定目標。,,接/間接選擇,時間掃描,字符串選取,

7、輸入方式,,定位設備,編程功能鍵,字符串輸入設備,物理設備,筆型字符識別器,字符串設備,字符串設備（String）向應用程序輸入字符串，如為某對象確定名字、為某圖紙輸入加注文字等,,鍵盤輸入,手寫輸入,菜單輸入,聲音輸入,輸入方式,,字母鍵盤,光筆,聲音識別儀,數字化儀,觸壓板等,物理設備,7.1.2 基本交互任務,,,定位,筆劃,選擇,字符串,定值,拾取,基本的交互技術,1. 定位,定位是確定平面或空間一點（x。, y）或（x, y

8、, z）的坐標直接定位，是用定位設備直接指定某個點的位置，可以準確地給點定位（例如鍵盤輸入）。間接定位指通過定位設備的運動控制屏幕上光標的運動進行定位，例如在移動鼠標時，根據鼠標移動的相對距離去控制屏幕上光標的移動。數字化儀不僅可像鼠標那樣產生輸入點的相對坐標，也可輸入點的絕對坐標。如果我們要輸入一張圖紙，用數字化儀輸入圖上各點的絕對坐標是最合適的方法。,數字化儀,2. 筆劃,筆劃輸入用于輸入一組順序的坐標點，筆劃輸入相當于多次調

9、用定位輸入，輸入的一組點常用于顯示折線或作為曲線的控制點。筆畫設備鼠標、軌跡球、游戲棒連續(xù)移 動的信號經轉換成為一組坐標值。圖形輸入板的連續(xù)模式可通過按 鍵激活。當光標在圖形輸入板表 面上移動時，就產生一組坐標值,手寫板,3.定值,定值（或數值）輸入用于設置物體旋轉角度、縮放比例因子等。它要在給定的數字范圍內輸入一個值。用鍵盤鍵入數值軟件的方法在屏幕上繪制刻度尺或比例尺，用戶可用定位設備控制光標在尺子上移動實現(xiàn)數值

10、的輸入。用刻度盤實現(xiàn)數值輸入的原理也一樣，操作員控制從圓心出發(fā)的線段繞圓心旋轉，根據顯示的角度讀數或比例數據來定值。,圖7.1 定值輸入,4.選擇,選擇是在某個選擇集中選出一個元素，它可用于指定命令，確定操作對象或選定屬性等。選擇某項功能可用功能鍵選擇某個圖元可用鼠標移動光標到要選的圖元靠近的位置，按下鼠標的按鈕，通過軟件選擇距光標最近的圖元。菜單功能使用最普遍，也是非常重要的一種交互方法。使用菜單可較好地改善應用系統(tǒng)用

11、戶接口的友好性。除了選擇子圖或圖元，幾乎所有其他選擇功能均可由菜單選擇來實現(xiàn)。,,根據可選對象的數量、性質及彼此間的邏輯關系，用戶可以自己定義菜單內容的排列及菜單的層次結構。對話框和鍵盤上的按鍵也可提供選擇功能。對話框的內容極豐富，常用選擇開關及radio按鈕（單選按鈕，以小圓框打點表示被選中）實現(xiàn)選擇功能。鍵盤選擇也極為簡單，如擊數字鍵“1”表示使用綠色繪制，“2”表示使用藍色繪制等。,5. 拾取,拾取的功能是選擇圖形

12、對象，用于選擇場景中即將進行變換或編輯的部分。拾取一個基本對象的方法有：1）指定名稱法，通過指定欲拾取對象的名稱實現(xiàn)；2）特征點法，選擇時讓圖形的特征點（如線段的端點，圓心等）以強光醒目顯示，操作員通過選擇特征點來拾取對象，這種方法涉及的內部計算較少；3）邊界盒法，對每一個子圖預先求一個邊界盒或比邊界盒稍大一點的ε邊界盒。這里的ε邊界盒是指邊和坐標軸平行且包含該子圖的最小的矩形。4）分類法，分別將折線、點、弧等在有關按

13、鍵的控制下進行拾取。,6. 字符串,手寫板,語音輸入,7.2 人機交互輸入模式,請求模式(request mode),請求模式下，輸入設備的初始化是在應用程序中設置的，即只有輸入設置命令（或語句）對相應的設備設置所需要的輸入模式后，該設備才能作相應的輸入處理。在這種請求的命令中要指定由哪一個應用程序調用及調用哪一個輸入設備。在請求方式下，程序和輸入設備輪流處于工作狀態(tài)和等待狀態(tài)，由程序支配輸入設備的啟動。,程序工作，輸入設備等待

14、程序請求,,遇到請求指令（request）,輸入設備工作，程序等待接收數據,,,請求滿足,樣本模式（sample mode）,當把一臺或多臺輸入設備定義為樣本模式后，這些設備會連續(xù)不斷地把信息輸入進來，而不必等待應用程序的輸入語句，即信息的輸入和應用程序中的輸入命令無關。當應用程序遇到取樣命令時，就把相應的物理設備的值作為取樣數值。優(yōu)點：不像請求模式那樣要求用戶有一明顯的動作，它對連續(xù)的信息流輸入比較方便，也可同時處理多個輸入設備的輸

15、入信息。缺點：當處理某一種輸入的時間較長時，可能會失掉某些輸入信息程序和輸入設備同時運行輸入設備不斷地產生數據，并把數據輸入數據緩存區(qū)，從而不斷刷新數據緩存區(qū)的內容。程序在運行時若遇到采樣語句，就到數據緩存區(qū)中去取數據。這樣，程序取的是最新刷新的輸入數據。,事件模式（event mode）,事件模式的工作過程,在采用事件模式輸入數據的過程中，輸入設備和程序分別運行。輸入設備所產生的數據被組織成事件節(jié)點，排入事件隊列中等待

16、程序的處理。程序運行到事件處理語句時，就從事件隊列中取出隊首事件進行處理。如果事件隊列為空，程序則等待一定的時間片，等待事件的發(fā)生。,7.3 常見輔助交互技術,7.3.1 幾何約束,定位約束在屏幕上定義一個不可見的網格，也可用點或網格線顯式地標識出網格結點的位置。網格線是具有相同間距的水平線和垂直線，其交點為網格點假設定義不可見網格線為 設輸入點的坐標為（x, y），則離它最近的網格點的坐標為：,,方向約束該技術用于繪制

17、水平或垂直的線段。繪制時若終點和給定的起點之間的連線和水平線的夾角小于45°（或更小的角度），即繪出一條水平線（如圖7.6）在只要求繪垂直線或水平線的應用中，這種約束會帶來很大方便，避免了人眼或定位設備帶來的誤差，可以應用于印刷線路板或大規(guī)模集成電路的設計,引力場,圖77 引力場,7.3.2 拖拽,當要把一個對象放到一個新的位置時，如果不是簡單地用光標指定新位置的點，而是隨著鼠標器引導光標移動的同時對象也跟著被拖動到新的

18、位置，這會使用戶感到更直觀，從而使得對象的定位更為恰當.,,,拖拽技術是當前人機交互中普遍使用的技術，它可以使用戶的操作更直觀，定位更精確.拖動有時耗費很大，尤其當圖像很大或圖形很復雜時，拖拽可能變的很慢。,拖拽,圖形模式 將一個圖形由一個位置移動到另一個位置,在移動的軌跡上按特定的象素操作模式(如異或方式)進行圖形的重新繪制：在屏幕上用異或的模式畫圖形，然后再用異或的模式，在相同的位置重新畫一次此圖形，則會在屏幕上擦掉上

19、次所繪制的內容。這樣,拖動的圖形不會破壞它掃過軌跡上的圖形。圖像模式 當一個圖形由一個位置移動到一個新的位置時,實際上是進行了圖像的整體移動.即首先保存目的坐標處拖動圖像大小范圍的屏幕圖像，然后將被拖動的圖像移動到該位置，當拖動圖像離開該位置而移動到下一個新位置時，再恢復該位置處保存的屏幕圖像。,拖拽,橡皮筋 例如要畫一條直線，先用鼠標確定起始位置，然后鼠標在屏幕上來回移動時，我們會發(fā)現(xiàn)，這條直線就像橡皮筋一樣，隨著

20、鼠標在屏幕中的位置，長短和終點都隨之變化。,拖拽,單擊右鍵play,7.3.3 在三視圖上作三維輸入,輸入一個立體圖時，常常是將點、線、面單獨輸入的。而對一個點、一條線或一個面來說，只要在三視圖上給出足夠的信息，總是可以唯一地確定它在三維空間中的對應圖形。例如輸入一個點時，只要在任意兩個視圖中確定點的位置,便可唯一地確定三維空間中的一個點的坐標（x，y，z）.,7.3.3 在三視圖上作三維輸入,在三視圖上輸入直線段上兩端點便確定了

21、三維空間的一條直線.把一個面上的各頂點在三視圖上輸入后，就唯一地確定了三維空間中的一個面。如果把一個多面體的各面均用上述方法輸入，也就在三維空間中輸入了一個多面體。用三視圖來輸入立體圖是目前一種主要的輸入手段.,7.4 OpenGL中的交互式繪圖技術,,7.4.1 選擇,在OpenGL中，使用GLint glRenderMode（GLenum mode）來選擇不同的模式選擇模式用來判斷哪些圖元被繪制在窗口的某個區(qū)域。

22、選擇操作通過返回一個整型名稱數組來工作，這個數組里存放了名稱堆棧（棧中存放圖元的名稱），由函數glSelectBuffer()來提供。,,一旦圖元與拾取區(qū)域相交，將有一個選擇命中記錄產生。該命中記錄將被寫入函數glSelectBuffer提供的選擇數組中。拾取區(qū)域是由gluPickMatrix()指定的。樣例：,,7.4.2反饋,場景渲染的信息被存入反饋數組中，不往屏幕輸出在反饋數組中的每組數據均有一個標記，該標記說明了圖元的類型，

23、接著是描述圖元的頂點坐標值，顏色和紋理等相關數據。在退出反饋模式時，這些數據就被寫入到反饋數組中,,樣例程序,7.5 人機交互的發(fā)展,,,,,,,新的人機交互技術,多媒體技術的支持,多媒體技術示例,多通道交互,人向計算機傳送信息的常用表達方式是利用手敲擊鍵盤或點擊鼠標進行。這樣用戶到計算機的輸入帶寬與計算機到用戶的輸出帶寬產生了不平衡，用戶的輸入帶寬低于計算機的輸出帶寬。提出了多通道人機交互的觀點，即在同一時刻用戶可以采用多個

24、通道與計算機進行交互，以提高人機交互的效率和自然性當一個通道由于設備故障或環(huán)境限制等原因不能使用時，用戶可以選擇其他通道，使交互、繼續(xù)下去。,多通道交互示例,自然語言接口,自然語言的理解,三維交互,三維交互技術采用有六個自由度的輸入設備，即沿X、Y、Z軸平移和繞X、Y、Z軸旋轉,常見的三維設備有跟蹤球、數據手套、三維探針、三維鼠標和三維操縱桿等.,3維交互設備,計算機支持的協(xié)同工作（CSCW）,計算機支持協(xié)同工作（Comput

25、er Supported Cooperative Work，CSCW）系統(tǒng)很好地適應了社會信息化、經濟全球化和知識經濟時代的特點以及諸如交互性、分布性和協(xié)同性等要求.其應用領域非常廣泛，如協(xié)同編輯、電子會議、工業(yè)應用、科學協(xié)作、遠程教學、遠程醫(yī)療等。,CSCW示例,觸覺交互,,觸覺交互已成為人機交互領域的最新技術，其可借助人的觸感，產生一種虛擬現(xiàn)實的效果。觸碰可以產生多種不同的感受，包括輕碰、重碰、壓力、疼痛、顫動、熱和冷，因此人工模

26、擬這些感受的方式也各異?！　∮|覺交互技術已經開辟了多種可能的應用領域，包括虛擬現(xiàn)實、遙控機器人、遠程醫(yī)療、工作培訓、基于觸覺的三維模型設計等。而在電子商務方面， 觸覺交互也能夠發(fā)揮重要作用。比如，顧客在網上購買服裝之前，可以先感知一下衣料的質地，然后再做決定。,TPTA（telepresence and teleaction）,TPTA系統(tǒng)可以使人沉浸到遙遠的人跡罕至或者虛擬的環(huán)境中。TPTA系統(tǒng)的應用領域很廣泛，比如水下空間遙控操作

27、，遠程診斷、治療和娛樂游戲等。一個典型的觸覺遠程呈現(xiàn)系統(tǒng)如圖1所示，理想情況下，OP通過TPTA系統(tǒng)可以真實感受到與遠程環(huán)境交互的過程，即實現(xiàn)完全沉浸感。,圖 TPTA系統(tǒng)概要示意圖[W. Ferrell and T. Sheridan, “Supervisory control of remote manipulation,” IEEE Spectr., vol. 4, no. 10, pp. 81–88, Oct. 1967. ],