설문지와 서식 가이드라인#6 - 질문 순서와 분기

이 글은 설문지와 서식에서 질문을 배열하는 순서와, 앞선 응답에 따라 응답자가 답할 질문을 나누는 분기를 다룬다.

6.1 조사표의 구조

통계청의 조사표 설계 품질관리 매뉴얼은 조사 항목을 나열한 다음 조사표 구조를 만드는 단계를 두고, 이 단계의 점검 항목으로 조사 항목을 유사성에 따라 분류하기, 분류된 조사 항목의 상위 범주 순서 나열하기, 범주 안의 조사 항목 순서 나열하기, 조사표 길이 추정하기를 든다[1]. 같은 매뉴얼에 따르면 조사 항목을 나열한 뒤에는 비슷한 하위 주제에 관한 질문이나 특정 하위 집단을 대상으로 하는 질문을 묶어 상위 범주로 구분하고, 그 상위 범주의 배열을 만든다[1]. 이때 상위 범주를 토대로 응답자와 이야기한다고 가정하고 이야기의 흐름에 따라 범주를 배열해 보면 도움이 된다[1]. 조사원이 면접으로 응답을 기록하는 경우와 응답자가 스스로 기입하는 경우 모두, 응답자와 편하게 이야기하듯 질문의 흐름이 자연스럽게 이어져야 한다[1]. 매뉴얼은 이를 위해 일반적인 내용에서 구체적인 내용으로, 실태나 행태에서 태도로, 가벼운 주제에서 무겁거나 민감한 주제로 흐름을 구성하도록 권하면서도, 상황에 따라 적합한 설문 구성이 달라질 수 있으므로 망라적인 원칙은 없다고 밝힌다[1].

Krosnick과 Presser는 방법론 교과서들이 제시해 온 문항 순서에 관한 통념(conventional wisdom)을 다음과 같이 요약한다[2].

  1. 앞쪽 질문은 답하기 쉽고 즐거워야 하며, 응답자와 연구자 사이에 라포르(rapport)를 형성하여야 한다[2].
  2. 설문지 맨 앞의 질문은 면접 전에 응답자에게 설명한 조사 주제를 명시적으로 다루어야 한다[2].
  3. 같은 주제의 질문은 함께 묶어야 한다[2].
  4. 같은 주제의 질문은 일반적인 것에서 구체적인 것으로 진행하여야 한다[2].
  5. 응답자를 불편하게 할 수 있는 민감한 주제의 질문은 설문지 끝에 두어야 한다[2].
  6. 응답자에게 해당하지 않는 질문을 하지 않도록 필터 문항(filter question)을 포함하여야 한다[2].

Pew Research Center도 설문지는 대화처럼 주제별로 묶이고 논리적인 순서로 전개되어야 한다고 설명한다[3]. Krosnick과 Presser에 따르면 관련 주제의 문항을 묶으면 질문의 의미가 더 분명해지거나 기억에서 정보를 인출하기 쉬워져 응답자의 인지 처리에 도움이 될 수 있다[2]. 다만 이들은 문항 묶음의 효과에 관해 일관되지 않은 결과와 효과가 없다는 결과도 보고되었다고 덧붙인다[2].

통계청 매뉴얼은 질문이 이어지다가 다른 주제나 형식, 다른 유형의 질문으로 전환되는 경우 응답자의 주의를 환기하기 위해 주제나 내용, 형식이 전환된다는 지문을 미리 넣어 다음 질문에 응답할 준비를 갖추게 하는 것이 좋다고 설명한다[1].

6.2 문항의 배치

도입부 질문

통계청 매뉴얼은 특별한 경우가 아니라면 도입부 질문을 반드시 사용하도록 권고한다[1]. 매뉴얼에 따르면 도입부 질문은 나중에 분석하지 않고 폐기하더라도 두 가지 기능을 한다[1]. 하나는 응답자가 일반적인 질문에 응답하면서 설문의 의도와 방식을 이해하고 조사원과 친밀감을 형성하게 하는 것이고, 다른 하나는 설문 주제와 관련된 지식을 활성화하여 이어지는 질문에 보다 편하게 응답하게 하는 것이다[1].

Krosnick과 Presser는 설문지 맨 앞의 문항이 응답자가 조사의 내용과 응답에 따르는 일을 이해하는 데 영향을 주므로 조사 참여 의향에 특히 영향을 줄 수 있다고 설명한다[2]. 따라서 첫 문항들은 대개 조사 소개에서 설명한 주제와 목적에 밀접하게 관련되고, 응답자의 관심을 끌며, 응답 부담이 최소이어야 한다[2]. 이들에 따르면 이러한 첫 문항으로는 흔히 일련의 폐쇄형 태도 질문을 사용하지만, 답을 떠올리기 어렵지 않고 민감하지 않다면 사실을 묻는 문항도 적절하다[2]. Pew Research Center도 응답자가 흥미를 느낄 만한 간단한 질문으로 설문을 시작하는 것이 도움이 되는 경우가 많다고 설명한다[3].

민감한 질문

통계청 매뉴얼은 민감한 내용의 질문을 뒤에 하도록 권고한다[1]. 조사원과 응답자 사이에 우호적인 관계가 맺어지고 조사에 대한 신뢰가 형성되어야 응답자가 민감한 설문에도 자발적으로 응답할 수 있기 때문이다[1]. 또한 민감한 질문이 시작되면 응답자가 응답을 거부할 수도 있는데, 민감한 질문이 뒤에 있으면 그 이전의 응답은 자료로 사용할 수 있다[1].

같은 매뉴얼은 이 규칙이 실태에서 태도로 진행하라는 규칙과 상반되는 경우가 있다고 설명한다[1]. 예컨대 혼전 성경험 실태나 청소년 흡연 실태처럼 사회 통념상 민감한 사안은 추상적이고 간접적인 태도 질문을 먼저 하고 응답자의 실제 경험을 나중에 물으면 거부감을 줄일 수 있다[1]. 어느 규칙을 따를지는 어떤 정보가 중요한지, 주제가 응답자의 거부감을 얼마나 일으키는지를 다각적으로 고려하여 판단하여야 한다[1].

Krosnick과 Presser는 라포르가 충분히 형성되지 않았거나 응답자 역할을 다 익히지 못한 탓에 앞쪽 문항의 응답에 오류가 더 많다는 통념을 입증한 실험은 알지 못한다고 밝힌다[2]. 다만 맨 앞부분 질문의 측정 성능이 더 낮았다는 비실험적 증거가 있으며, 저자들은 이러한 고려가 어렵거나 민감한 문항을 설문지 앞쪽에 두지 말라는 권고를 뒷받침한다고 설명한다[2].

인구통계와 자료 분류용 질문

통계청 매뉴얼은 자료 분류용 질문을 가능하면 조사표 끝에 배치하도록 권고한다[1]. 개인 대상 조사의 자료 분류용 질문은 성, 연령뿐 아니라 교육 수준, 소득 수준과 같은 민감한 정보를 포함하는 것이 일반적이고, 사업체 대상 조사에서도 회사 규모나 매출액과 같은 민감한 정보를 포함하기 때문이다[1]. 자료 분류용 질문을 중간에 두면 질문의 흐름을 막는 경우가 생기므로, 불가피한 경우가 아니라면 조사표 맨 뒤에 두는 것이 일반적이다[1].

Krosnick과 Presser는 첫 문항은 답을 떠올리기 어렵지 않고 민감하지 않아야 한다는 점이 배경 특성과 인구통계 특성 질문이 대개 설문지 끝에 오는 이유 가운데 하나라고 설명한다[2]. Pew Research Center는 소득, 학력, 연령과 같은 인구통계 질문을 조사 대상 자격을 판정하거나 응답자를 설문지의 특정 부분으로 분기하는 데 필요한 경우가 아니라면 설문 초반에 묻지 않도록 권고한다[3]. 그러한 경우에도 더 흥미로운 질문을 먼저 하는 것이 바람직하다[3].

뒤쪽 문항과 피로

Krosnick과 Presser에 따르면 응답자가 지치면 설문지의 뒤쪽 문항에서 피로 효과가 나타날 수 있다[2]. 같은 문항을 앞에 둔 경우와 뒤에 둔 경우를 비교한 여러 연구에서, 뒤에 둔 문항은 결측이 더 많고 동의 응답이 더 많으며 답이 덜 상세하고 문항 간 응답의 차별화가 더 적었다[2]. 이러한 효과를 보고한 연구는 대부분 자기기입식 설문지를 다루었고, 조사원이 진행한 조사에서 수행된 실험 두 건에서는 문항 위치에 따른 차이가 거의 없었다[2]. 저자들은 조사원이 진행하는 조사에서 피로 효과가 더 늦게 나타날 가능성은 향후 연구에서 직접 검증되어야 한다고 설명한다[2]. Pew Research Center는 설문 전반에 걸쳐 응답자의 흥미를 유지하고, 어려운 질문 여러 개를 연달아 배치하여 응답자에게 지나친 부담을 주지 않도록 노력하여야 한다고 설명한다[3].

6.3 순서 효과

Pew Research Center는 앞쪽 질문이 의도치 않게 뒤따르는 질문의 맥락을 제공하여 응답에 영향을 줄 수 있으며, 이를 순서 효과(order effect)라고 한다고 설명한다[3]. Krosnick과 Presser는 문항 순서를 문항 배열 속의 위치인 계열적(serial) 측면과 의미의 흐름 속의 위치인 의미적(semantic) 측면으로 나누고, 두 측면 모두 질문이 일으키는 인지 과정에 영향을 주어 측정에 영향을 줄 수 있다고 설명한다[2]. 통계청 매뉴얼은 어떤 조사표이든 배열상 뒤에 위치한 질문의 응답은 앞선 질문이나 응답의 영향을 받지 않을 수 없으며, 목표는 그 영향으로 발생하는 편향을 가능한 한 줄이는 것이라고 설명한다[1].

대비 효과와 동화 효과

Pew Research Center는 폐쇄형 의견 질문의 순서 효과를 두 가지로 나눈다[3]. 대비 효과(contrast effect)는 순서 때문에 응답 간 차이가 커지는 것을 말하고, 동화 효과(assimilation effect)는 순서 때문에 두 질문에 대한 응답이 더 일관되거나 가까워지는 것을 말한다[3]. 대비 효과의 예로, 2008년 12월 조사에서 "모든 것을 고려할 때, 오늘날 이 나라가 돌아가는 방식에 만족합니까, 불만족합니까?"를 조지 W. 부시 대통령의 직무 수행을 지지하는지 묻는 질문 바로 다음에 물었을 때는 88%가 불만족한다고 답하였고, 앞 질문의 맥락이 없을 때는 78%가 불만족한다고 답하였다[3]. 대통령 직무 수행 지지에 대한 응답은 만족도 질문을 앞에 묻든 뒤에 묻든 비교적 변하지 않았다[3].

일반 질문과 구체 질문

통계청 매뉴얼은 다른 조건이 같다면 질문을 일반적인 내용에서 구체적인 내용의 순으로 구성하는 깔때기(funnel) 흐름이 바람직하다고 설명한다[1]. 응답자가 조사표와 관련된 개괄적이고 일반적인 지식을 먼저 활성화하고 점차 구체화해 나가야 흐름이 자연스럽고, 특수한 내용의 질문을 먼저 하면 응답자가 연구자의 관심 주제를 알아차려 경우에 따라 후반부 질문에 편향된 응답이 나올 수 있기 때문이다[1]. 같은 매뉴얼은 연구 목적에 따라 반대의 순서가 적합할 수도 있다고 설명한다[1]. 매뉴얼의 예에 따르면 특정 기관의 업무 수행 만족도 조사에서 전반적 만족도를 먼저 물으면 응답자는 기관의 전반적 이미지나 선호도를 중심으로 판단할 가능성이 높고, 세부 항목별 만족도를 먼저 물으면 구체적인 업무 수행에 대한 만족도를 평가할 가능성이 높다[1]. 따라서 기관의 이미지 비교가 목적이라면 전자가, 항목별 평가를 토대로 개선 방향을 모색하는 것이 목적이라면 후자가 더 적합할 수 있다[1].

Pew Research Center는 결혼 생활의 행복처럼 구체적인 질문을 전반적 행복처럼 일반적인 질문보다 먼저 하면 대비 효과가 생길 수 있다는 연구들을 소개한다[3]. 예외도 발견되었으나, 사람들은 중복을 피하려고 일반 평가에서 구체적 질문의 내용을 제외하는 경향이 있다[3]. Krosnick과 Presser는 이 효과의 성격이 앞선 관련 문항의 수에 따라 달라졌다는 실험들을 소개한다[2]. 전반적 삶의 만족도 문항 앞에 결혼 만족도 문항 하나만 있으면 일부 응답자는 일반 문항이 결혼 이외의 측면을 묻는다고 여겨 결혼에 대한 감정을 제외하였고, 결혼을 포함한 여러 영역의 문항이 앞에 있으면 일반 문항을 여러 영역을 종합하라는 요구로 여겨 결혼에 대한 감정을 반영하였다[2]. 저자들은 이 결과가 관련 질문을 일반에서 구체로 배열하라는 통념에 단서가 필요함을 시사한다고 설명한다[2]. 일반 문항은 해석의 폭이 넓어 구체 문항의 영향을 더 받지만, 이러한 영향은 맥락을 통제하여 해석의 다양성을 줄임으로써 측정을 개선할 수도 있다는 것이다[2].

순서의 결정

Krosnick과 Presser는 질문 순서가 응답 선택지의 의미나 응답에 관련된 요인의 비중에 영향을 주는 경우, 어느 한 맥락에서 반드시 측정이 더 나아지는 것은 아니라고 설명한다[2]. 따라서 문항 순서는 조사 목적에 따라 정하여야 하며, 가능하면 질문 맥락을 추론의 대상이 되는 실제 맥락에 맞추어야 한다[2]. 예컨대 선거 조사에서는 투표용지에 나오는 순서대로 전국 단위 선거 다음에 주 단위 선거를 묻는 것이 타당하다[2]. 이에 해당하는 실제 맥락이 하나로 정해지지 않는 많은 경우에는 질문 순서의 무작위화를 고려하여야 한다[2].

Pew Research Center는 응답자마다 질문을 다른 순서로 제시하면 각 질문이 다른 모든 질문과 같은 맥락에서 같은 횟수만큼 제시된다고 설명한다[3]. 이 방법은 앞선 질문이 현재 질문에 미치는 영향을 없애지는 못하지만, 그 편향이 목록의 모든 질문에 무작위로 분산되게 한다[3].

Krosnick과 Presser에 따르면 맥락 효과는 예측하기 어렵지만 거의 전적으로 같은 주제나 밀접하게 관련된 주제의 문항 사이에서 나타나며, 거의 언제나 인접한 문항에 국한된다[2]. 종이 자기기입식 조사와 일부 컴퓨터 자기기입식 조사에서는 응답자가 앞 질문에 답하기 전에 뒤 질문을 볼 수 있으므로 뒤 문항이 앞 문항의 응답에 영향을 줄 수 있으나, 저자들은 그러한 효과가 흔하지는 않을 것이라고 설명한다[2]. 통계청 매뉴얼은 웹 조사에서는 응답자가 이미 응답한 내용으로 다시 돌아갈 수 없게 만들어 순서 효과를 완화할 수도 있다고 설명한다[1].

반복 조사의 맥락

Pew Research Center는 시간에 따른 추세를 추적할 때 질문 순서가 특히 중요하므로 질문할 때마다 맥락이 비슷하도록 주의하여야 한다고 설명한다[3]. 질문의 맥락을 바꾸면 관찰된 시간에 따른 변화를 신뢰하기 어려워질 수 있기 때문이다[3]. Krosnick과 Presser도 다른 조사의 결과와 비교하는 것이 조사 목적에 포함된다면 그 조사의 설문지 맥락을 재현하는 것이 바람직하다고 설명한다[2].

순서 효과의 점검

통계청 매뉴얼은 모든 질문의 작성이 끝나면 조사표의 순서에 맞추어 질문 순서를 다시 검토하도록 하며, 이렇게 검토하면 거의 대부분 질문의 순서나 문구를 조정해야 할 부분이 나타난다고 설명한다[1]. 특히 흐름이 자연스럽지 않거나 순서 효과를 일으킬 가능성이 있는 부분이 없는지를 세밀하게 검토하여야 한다[1]. 필요하다면 주변 사람과 응답자와 조사원의 역할을 번갈아 맡는 조사 상황 시뮬레이션을 하여 조사표 작성자가 미처 고려하지 못한 오차 요인을 발견할 수도 있다[1]. Krosnick과 Presser는 설문지의 잠재적 순서 효과를 찾아내는 중요한 도구로 사전조사를 든다[2].

6.4 페이지 구성과 문항 묶음

Krosnick과 Presser는 웹 조사에서 문항들이 한 화면에 함께 제시될 때 화면당 한 문항씩 제시될 때보다 문항 간 상관이 약간 더 강하게 나타났다는 연구들을 소개한다[2]. Sedley와 Callegaro는 13개 문항으로 된 짧은 온라인 설문에서 응답자를 한 페이지(스크롤), 다섯 페이지, 열세 페이지(한 페이지에 한 문항) 조건에 무작위로 배정하여 비교하였다[4]. 완료율은 한 페이지 조건이 30.1%로 다섯 페이지 조건(34.0%)과 열세 페이지 조건(34.6%)보다 유의하게 낮았고, 다섯 페이지와 열세 페이지 조건 사이에는 유의한 차이가 없었다[4]. 열세 페이지 조건은 응답 시간이 약간 더 길었는데, 저자들은 이를 추가 클릭과 페이지 로딩 시간 때문으로 설명한다[4]. 같은 페이지에 있는 문항 사이의 상관이 더 높게 나타나 페이지 구성이 문항 간 상관에 영향을 준다는 결과도 보고되었으며, 응답자가 느낀 설문 응답의 호감도에는 조건 간 차이가 없었다[4].

6.5 분기와 필터 문항

통계청 매뉴얼에 따르면 조사표에 따라서는 응답자의 응답 결과에 따라 분기 구조로 조사가 진행되며, 이 경우 조사표에 분기 구조를 정확하게 표기하여 응답자나 조사원이 조사표를 따라 응답하면서 혼동하지 않도록 하여야 한다[1]. 응답 결과에 따라 질문을 분기하는 경우에는 해당 질문에서 조사원이나 응답자가 이를 쉽게 알 수 있도록 분명하게 명시하여야 하며, 조사원이나 응답자는 분기를 하지 않는 오류를 쉽게 범한다[1]. 매뉴얼은 잘못된 분기를 조사원이 표준적인 절차를 지키지 않아 생기는 비표본 오차의 예로도 든다[1].

Eckman 등은 조사가 응답자에게 해당하지 않는 질문을 묻지 않기 위해, 후속 문항으로 가는 경로를 정하는 필터 문항을 흔히 사용한다고 설명한다[5].

자기기입식 설문지의 분기 지시

Redline과 Dillman은 자기기입식 설문지에서 분기 지시가 있는 설문지나 질문이 그렇지 않은 경우보다 문항 무응답이 많다는 선행 연구들을 정리한다[6]. 이들은 분기 지시가 있는 질문에서 응답자가 범할 수 있는 오류를 두 가지로 나눈다[6]. 실행 오류(error of commission)는 분기하라는 지시를 받고도 분기하지 않는 것을 말하고, 누락 오류(error of omission)는 지면에 다음으로 나오는 질문으로 넘어가 답하여야 하는데 그렇게 하지 않는 것을 말한다[6]. 저자들은 자기기입식 설문지가 언어적 요소뿐 아니라 숫자, 화살표 같은 기호, 그리고 밝기와 색, 모양, 위치 같은 시각적 요소로 이루어지며, 같은 "skip to"라는 문구도 인쇄되는 방식에 따라 응답자에게 크게 다르게 보일 수 있다고 설명한다[6].

이들이 대학생 1,266명을 대상으로 수행한 실험에서, 분기 지시의 설계를 바꾼 두 실험 양식은 대조 양식에 비해 실행 오류를 약 절반으로 줄였으나 누락 오류는 줄이지 못하였다[6]. 문항별 오류율은 크게 달랐으며, 실행 오류는 주로 응답을 직접 적어 넣는 문항인지에 따라 영향을 받았고, 누락 오류는 주로 지면 하단에 있는 문항인지에 따라 영향을 받았다[6]. 저자들은 분기 지시를 없애고 모든 응답자가 "해당 없음"을 표시하며 모든 질문에 답하게 하면 문항 무응답은 줄어들 수 있으나, 처리할 질문이 늘어 응답 부담이 커지고 조사 단위 무응답이 늘어날 수 있으며, 이 득실을 비교한 연구는 알지 못한다고 밝힌다[6].

2000년 미국 인구총조사에서 수행한 후속 실험에서는 분기 지시의 설계 변경이 우편 응답률에는 영향을 주지 않았으나 이동 오류에는 상당한 영향을 주었다[7]. 탐지(detection) 방식의 분기 지시는 실행 오류를 19.7%에서 13.5%로, 누락 오류를 5.0%에서 4.0%로 줄였다[7]. 같은 보고서는 "skip to"를 "go to"로 바꾼 지시를 응답자가 더 많이 읽지 않았다는 결과에서, 응답자가 처음부터 정보를 읽지 않는 것이 문제라면 문구를 바꾸어도 도움이 되지 않는다는 결론을 내린다[7]. 또한 설문 설계 전문가와 인지 인터뷰 응답자 다수가 탐지 방식의 화살표가 혼란스럽다고 하였으나 실험에서는 오류가 줄었다는 점을 들어, 사람들이 말하는 것과 실제로 하는 것은 반드시 같지는 않다고 지적한다[7].

컴퓨터 조사의 자동 분기

통계청 매뉴얼은 웹 조사가 형식상 자기기입식 조사표와 유사하지만, 개별 면접처럼 응답자의 응답에 따라 자동 분기를 할 수 있다고 설명한다[1]. 웹메일 조사에 대해서도 컴퓨터로 진행하기 때문에 질문 순서나 분기, 응답 항목 제시 순서 등을 어떤 조사보다도 정교하게 통제할 수 있다고 설명한다[1]. Krosnick과 Presser는 스크롤 방식의 웹 설문에서 건너뛰기 지시가 보이면, 건너뛰기가 보이지 않는 페이지 방식에 비해 음주 관련 문항에서 후속 질문을 피하는 응답을 고른 응답자가 더 많았다는 Peytchev 등의 연구를 소개한다[2]. 같은 연구에서 흡연 관련 문항에서는 이러한 차이가 나타나지 않았다[2].

필터 문항과 응답자의 학습

Krosnick과 Presser에 따르면 응답자의 학습은 원래 문항에 특정 응답(대개 "예")을 한 경우에만 후속 질문을 하는 선별 문항(screening item)에서 불리하게 작용할 수 있다[2]. 특정 응답을 하면 면접이 길어진다는 것을 알게 된 응답자가 뒤의 선별 문항에 거짓으로 답하여 후속 질문을 피할 수 있으며, 여러 실험이 이러한 현상을 시사하는 증거를 내놓았다[2]. 이들은 선별 문항이 여럿일 때 선별 문항을 모두 묻고 난 뒤에 후속 문항을 묻는 것이 측정을 개선할 가능성이 높다고 권고한다[2]. 다만 종이와 연필로 응답하는 조사는 이 권고에 따른 건너뛰기 구조에서 상당한 오류가 발생하기 쉬우므로 이 규칙의 예외로 둔다[2].

이 문제를 다룬 연구는 필터 문항마다 바로 뒤에 후속 문항을 묻는 교차형(interleafed)과, 여러 필터 문항을 모두 물은 뒤에 후속 문항을 묻는 묶음형(grouped)을 비교한다[8]. 연구 결과는 일치하지 않는다[5][8]. Kreuter 등은 주로 민감하지 않은 주제의 문항으로 실험한 결과, 필터 형식의 효과가 대체로 나타났고 필터 수가 많을수록, 후속 질문이 어려울수록 효과가 커졌다고 보고한다[8]. 그러나 묶음형에서 필터 문항의 측정 오차가 줄었다는 증거는 없었으며, 오히려 묶음형에서 후속 문항의 결측이 늘었다[8]. 반면 Eckman 등은 필터 문항의 응답을 행정 자료와 연결한 전화 조사에서, 교차형 응답자가 필터 문항이 후속 질문으로 이어진다는 것을 학습하고 추가 질문을 피하려고 "아니요"라고 답하기 시작한다는 동기화된 과소 보고 가설을 강하게 지지하는 결과를 얻었다[5]. 이들은 이를 묶음형이 필터 문항에 더 정확한 응답을 얻는다는 첫 명확한 증거로 제시하면서도, 과소 보고가 항상 나타나지는 않는다고 밝힌다[5].

6.6 서식의 질문 순서와 분기

영국 정부 서비스 매뉴얼은 질문 프로토콜을 마련한 뒤 질문 순서를 정하도록 하며, 사용자가 서비스 대상이 아닌지를 알 수 있는 질문으로 시작하여 사용자의 시간을 낭비하지 않도록 권고한다[9]. 또한 분기 질문을 사용하여 사용자가 자신에게 해당하는 질문에만 답하도록 하고, 가장 흔한 경우를 먼저 설계하도록 한다[9]. 이를 위해 어떤 사용자 집단을 우선할지 정하고, 사용자 집단별 상대적 규모와 그 결정이 각 집단에 미칠 영향을 알아 두어야 한다[9]. 같은 매뉴얼은 서식을 여러 페이지로 나누어 한 페이지에 한 가지만 담는 것으로 시작하도록 권고하며, 이렇게 하면 분기 질문과 반복을 처리하기 쉽다고 설명한다[9].

자격 확인

GOV.UK 디자인 시스템의 "Check a service is suitable" 패턴은 사용자가 서비스를 이용할 수 있는지 또는 이용하여야 하는지를 스스로 판단하도록 질문하는 패턴이다[10]. 이 패턴은 자격 요건이 복잡할 때 사용하며, 서비스와 자격 요건에 관해 사용자가 알아야 할 정보를 시작 페이지에 넣을 수 있다면 사용하지 않는다[10]. 연령 제한이나 고정된 마감일처럼 서비스 이용 여부를 정하는 일반 규칙은 시작 페이지에 적는다[10]. 이 패턴에서는 간단한 질문을 차례로 하고, 사용자가 알아야 할 것을 자동으로 판정하여 결과 페이지로 보여 주며, 사용자가 서비스를 이용할 때 다시 제공해야 할 질문은 피한다[10]. 사용자가 자격이 없으면 그 이유를 설명하고, 가능하면 대신 무엇을 하여야 하는지 알려 주어야 한다[10].

필터 질문

NHS 서비스 매뉴얼의 서식 질문 작성 지침은 디지털 서식과 종이 서식을 대상으로 하며, 질문지나 설문조사 작업에도 유용할 수 있다고 밝힌다[11]. 이 지침은 필터 질문을 흔히 라디오 버튼으로 된 "예/아니요" 질문처럼 짧은 질문을 먼저 하는 분기 질문으로 설명하고, "만 18세 이상입니까?"를 전형적인 예로 든다[11]. 필터 질문은 사용자를 자신에게 해당하는 질문으로 안내하고, 사용자가 해당하는 질문에만 답하게 하여 선택 질문을 피하게 하며, 이중 질문과 같은 긴 질문을 나누어 단순하게 만든다[11]. 따라서 필터 질문은 서식 앞쪽에 사용하여야 한다[11].

같은 지침은 "예"와 "아니요" 외에 "모름"이나 "잘 모르겠음" 같은 선택지가 하나 이상 있는 경우가 많으므로, 세 번째 선택지를 항상 시험해 보도록 권고한다[11]. 세 번째 선택지가 있으면 사용자를 추가 정보 안내와 같은 다른 경로로 분기할 수 있고, 모르거나 확신이 없어도 계속 진행할 수 있다는 확신을 사용자에게 줄 수 있다[11]. "만 18세 이상입니까?"의 예에서는 서비스가 더 어린 사용자에게 대안으로 무엇을 제공할 수 있는지도 고려하여야 한다[11]. 핵심 정보가 없어 진행할 수 없는 사용자에게는 "아니요" 선택지에 다른 방법이 있음을 덧붙이는 것을 고려하도록 한다[11]. 답에 따라 사용자가 어느 경로로 가는지는 포스트잇이나 잘라 낸 종이 시제품으로 시험해 볼 수 있으며, 많은 사람이 "예"나 "아니요"로 답하지 못한다면 질문을 다시 검토하여야 한다[11].

질문의 순서

NHS 서비스 매뉴얼은 서식의 질문 순서에 관해 다음과 같이 권고한다[11].

같은 매뉴얼은 주제를 묶는 가장 좋은 방법은 사용자 조사로 알 수 있으며, 예컨대 생년월일처럼 사용자가 잘 아는 정보인지 찾아보아야 하는 정보인지와 같이 답을 어디서 얻는지에 따라 묶어야 할 수도 있다고 설명한다[11]. 연락처는 연락처끼리, 계정 정보는 계정 정보끼리 묶는 것이 도움이 되는 경우가 많다[11]. 사용자가 어떤 질문을 먼저 기대하고 질문을 어떻게 묶는지는 카드 분류(card sorting) 등으로 시험하고, 서식의 시제품을 만들 때 순서를 다시 시험하여야 한다[11]. 예컨대 사용자가 개인 정보를 처음에 제공하기를 기대하는지, 과업을 먼저 처리하고 개인 정보를 끝에 제공하기를 원하는지를 확인한다[11]. 매뉴얼은 또한 질문을 언제 어떻게 하느냐에 따라 서식이 대화가 될 수도 있고 심문이 될 수도 있다고 설명한다[11].

GOV.UK 디자인 시스템은 서비스에서 평등 정보(equality information)를 물을 때, 사람들이 한 번 이용할 가능성이 높은 서비스라면 평등 질문을 답변 확인 페이지와 완료 페이지 사이에 두고, 질문하는 이유와 제공된 정보의 용도를 설명하는 화면을 보여 주도록 권고한다[12]. 이때 이 질문들이 서비스의 다른 질문과 다르다는 점, 질문하는 이유와 정보의 용도, 질문이 선택 사항이라는 점을 분명히 하여야 한다[12].

참고 문헌