텍스트 마이닝을 활용한 대학 화학 실험 수업의 서술형 강의 평가 내용 분석

연구 대상인 대학 화학 실험 수업의 서술형 강의 평가 내용을 얻기 위해서 수도권 소재의 A대학 학사팀에 강의 평가 결과를 의뢰하였고. 2018년 1학기, 2018년 2학기, 2019년 1학기, 2019년 2학기의 총 4학기에 대한 화학 실험 강의 평가 결과를 입수하여 텍스트 마이닝 분석에 활용하였다. 수도권에 위치한 A대학은 재학생이 1만명이 넘는 종합 대학으로 강의평가는 학기 중간, 학기 말에 2회에 걸쳐 실시한다. 강의평가 내용 중 서술형으로 작성된 강의의 좋은 점과 개선점을 대상으로 텍스트 분석을 실시하였다. A대학에서 화학 실험 수업을 운영하는 학과는 고분자공학과, 화학공학과, 에너지공학과, 화학과, 생명과학과, 제약공학과 등 모두 22개 학과이다. 해당 학과에서 운영한 화학 실험 수업은 Table 1에 제시한 것처럼 계열 필수 교과로 운영하는 일반화학실험과 각 전공에 특화된 식품화학실험, 생리생화학실험, 바이오효소화학실험 등이다. 화학 실험 수업의 서술형 강의 평가 결과 유의미하게 응답한 총 25,740건을 분석 대상으로 하였고, 이 중 수업의 좋은 점은 15,124건, 수업의 개선점은 10,616건이었다.

이 연구의 분석 대상인 총 25,740건의 응답 내용의 텍스트 데이터를 분석하기 위하여 사전처리 과정을 진행하였다. 이후 전체 단어 출현 빈도를 분석하여 주요 핵심 단어를 추출한 후 동시 출현 빈도 분석과 네트워크 분석을 실시하였다. 텍스트 마이닝 기법을 활용한 전체적인 분석 절차는 Fig. 1과 같다. 첫째 텍스트 분석을 위한 사전처리 단계에서는 오타를 수정하고 띄어쓰기가 되어 있지 않은 문장에 대해 띄어쓰기를 하였다. 또한 동일한 뜻이지만 유사한 단어로 표현된 단어를 하나의 단어로 통일시키는 동일어 처리를 하였다. 둘째, 모든 단어의 출현빈도를 구하고, 출현빈도가 높으면서 화학 실험 수업과 관련도가 높은 단어를 핵심단어로 선정하였다. 핵심단어 선정 과정에서는 서술형 강의평가 내용의 특성상 학생들이 사용했던 표현을 가능한 그대로 보존한 상태에서 단어를 도출하기 위하여 명사뿐만 아니라 동사, 형용사를 포함하여 선정하였다. 그 밖에 부사(진짜, 정말, 매우, 아주 등), 접속사(그래서, 그러나, 또한 등), 관사(그, 이, 저 등), 접미사(들, 등) 등은 제외하였다. 이 과정에서 연구자들은 가장 많은 시간을 들여 화학 실험 수업에 대한 학생들의 다양한 의견이 반영될 수 있는 핵심 단어의 선정을 위해 노력하였다. 이를 위해 연구자 2인이 전체 서술형 강의 평가 자료를 함께 읽어가면서 여러 차례 협의하고, 수정하는 과정을 거쳐 최종적인 핵심단어를 도출해냈다. 셋째, 핵심단어의 출현빈도와 전체 텍스트를 기반으로 동시 출현빈도를 산출하였다. 마지막으로 동시 출현 빈도를 기반으로 네트워크 분석을 통해 핵심 단어 간 연결 구조를 분석하였다.

Figure1.

Research Procedure.

이 연구에서는 텍스트 마이닝 기법을 활용하여 서술형 강의평가 응답에서 나타난 단어 출현 빈도, 핵심단어 동시 출현 빈도, 네트워크 분석, 텍스트 중심성 분석을 실시하였다. 이 중 네트워크 분석 기법은 사회연결망 분석, 텍스트 네트워크 분석 등의 용어로도 사용된다. 이 기법은 텍스트로 작성된 자료에서 단어와 단어 사이의 관계를 파악하고, 서로 연계된 개념과 개념 또는 단어와 단어 사이의 관계를 해석하는 기법이다. 최근에는 언어구조 안에서 사회적 관계를 분석하던 범위에서 벗어나 연구 대상을 단어와 단어 간 관계로 확장하게 되면서 단어 간 관계성을 분석할 수 있게 되었다.^14-15 네트워크 분석 기법은 단어와 단어 사이의 관계를 수치로 표현함으로써 텍스트로 된 질적 자료에 대한 양적 분석이 가능하며 노드와 선에 의한 단어와 단어 간 표현을 시각화하여 직관적인 분석과 판단을 가능하게 한다.¹⁶ 최근 텍스트 마이닝 분석을 활용하는 분야는 정보학, 언론학, 교육학, 행정학, 경영학 등 활용 분야가 다양해지고 있으며, 분석에 활용되는 데이터의 크기가 커지면서 텍스트 분석을 할 수 있는 소프트웨어의 종류도 많아지고 쉽게 분석 결과를 얻게 되어 다양한 형태의 시각화가 가능해지고 있다. 또한 텍스트 분석의 대상도 계속적으로 확장되어 최근에는 신약의 효과 검증을 위해 분자와 분자, 단백질과 단백질의 관계를 규명하는 데 네트워크 분석 기법이 활용되는 사례도 보고되었다.¹⁵

이 연구에서는 연구 절차(Fig. 1)에 따라 사전처리와 핵심단어 선정 및 빈도 분석을 위하여 한글 전용 텍스트 분석 프로그램인 KrKwic을 활용하였다. 다음으로 동시 출현 빈도 분석을 위해서는 KrTitle 프로그램을 활용하였다. 동시 출현 빈도(Co-occurrence frequency)는 한 문장 안에서 핵심단어가 동시에 출현하는 빈도를 의미하므로, 동시 출현 빈도가 높은 단어들의 조합이 화학 실험 수업에 대한 학생들의 의견 표현을 이끌고 있는 것으로 볼 수 있다. 네트워크 분석을 위해서는 UCINET 프로그램을 활용하였고, 핵심 단어 간 연결 구조와 텍스트 중심성 분석을 실시하였다. 텍스트 중심성 분석에서는 네트워크 분석에서 거시적으로 확인할 수 있는 핵심 단어 간 연결 정도를 구체적인 수치인 연결 중심성, 근접 중심성, 매개 중심성으로 확인할 수 있다. 연결 중심성(degree centrality)은 한 노드(단어)와 다른 노드와의 연결 정도이고, 근접 중심성(closeness centrality)은 노드와 노드 간 근접 정도, 매개 중심성(betweenness centrality)은 한 노드가 연결망 내의 다른 노드들 사이에 위치하는 정도를 살펴볼 수 있는 개념이다. 즉, 이 연구에서는 연결 중심성이 높은 단어들은 이 단어들이 빠지게 되면 이웃 단어들과의 상호작용이 없어져서 네트워크 기능에 큰 영향을 미치므로 화학 수업에 대한 학생들의 의견을 나타내는데 영향력이 크다고 볼 수 있다. 또한 근접중심성이 높은 단어들은 다른 단어들에게 도달하는 경로가 가장 짧아 전체적인 학생들의 의견 네트워크 구조에서 중요한 위치를 차지하는 단어를 의미한다. 매개중심성이 높은 단어들은 각 단어들 사이의 네트워크 중재역할을 수행하면서 전체 네트워크 구조에서 의미의 흐름과 교환에 중요한 역할을 한다고 볼 수 있다.

대학 화학 실험 수업의 서술형 강의평가의 응답 내용을 분석한 결과 총 210개의 단어가 추출되었고, 수업의 좋은 점에서는 109개, 개선점에서는 101개가 각각 추출되었다. 이 중 실험 수업과 관련성이 높고, 빈도수가 높은 상위 40개의 단어를 핵심단어로 선정하여 Table 2에 제시하였다. 수업의 좋은 점에서는 수업, 교수님, 설명, 이해, 실험, 재미, 조교, 친절, 학생, 열정 등의 순으로 빈도가 높게 나타났고, 개선점에서는 수업, 실험, 시험, 교수님, 학생, 어렵다, (~하면)좋겠다, 설명, 이해, 내용 등의 순으로 빈도가 높게 나타났다. 좋은 점에서는 수업에 대한 긍정적인 의견을 재미, 친절, 열정, 쉽다, 자세하게, 도움, 만족, 흥미, 유익 등의 단어로 표현하였고, 개선점에서는 어렵다, 빠르다, 힘들다, 부족, 아쉽다, 필요 등의 단어로 수업에 대한 부정적인 의견과 요구사항을 표현한 것을 알 수 있었다.

수업의 좋은 점과 개선점의 핵심 단어에 대한 동시 출현 빈도는 각각 Table 3, 4에 제시하였다. 동시 출현 빈도는 한 문장안에서 특정 단어들이 동시에 출현하는 빈도를 나타내는 매트릭스 형태의 자료이다. 이 자료를 통해 단어와 단어 간의 연결 정도의 확인이 가능하며 네트워크 분석을 위한 기초자료가 된다. 대학 화학 실험 강의평가의 좋은 점과 개선점에 대한 동시 출현 빈도는 전체 40개의 핵심단어 중 출현빈도가 높은 순으로 10개 단어를 제시하였다.

수업의 좋은 점에서는 수업과 교수님, 이해, 설명/ 학생, 열정, 재미, 조교, 실험, 도움 등의 순서로 하나의 문장을 구성할 때 동시에 사용한 것으로 나타났다. 수업의 개선점에서는 수업과 학생, 교수님, 내용, 설명, 시험, (~하면)좋겠다, 이해, 실험, 어렵다 등의 순으로 한 문장안에서 개선점을 표현할 때 동시에 사용한 것으로 나타났다.

핵심단어의 출현 빈도와 동시 출현 빈도를 활용해 대학 화학 실험 강의평가 결과 수업의 좋은 점과 개선점에 대한 네트워크 분석을 실시하였다. Fig. 2와 같이 수업의 좋은 점에 대한 네트워크에서는 수업과 교수님 간 연결이 다른 단어 간 연결보다 굵은 선으로 표시되어 있어 두 단어 간 동시 출현 빈도가 가장 많은 것을 네트워크 구조에서도 확인할 수 있었다. 다음으로 설명, 이해, 학생, 열정, 재미, 조교, 실험, 친절, 쉽다, 도움 등과 함께 연결되어 있는 구조를 확인할 수 있었다. 즉, 학생들은 화학 수업에 대한 좋은 점을 표현할 때 수업-교수님의 단어 조합을 가장 많이 사용하였고, 이와 연결하여 교수님의 설명, 학생들의 이해와 재미 등의 단어가 수업에 대한 긍정적인 인식에 대한 학생들의 문장 표현을 이끌고 있는 것으로 해석할 수 있다. 대표적으로 “교수님의 자세한 설명으로 수업 내용이 이해가 잘되었고, 실험이 재미있게 느껴졌다” 등의 문장 표현을 예시로 들 수 있다.

Figure2.

Network analysis of good points in class.

수업의 개선점 네트워크에서는 Fig. 3과 같이 수업과 학생 간 연결이 다른 단어 간 연결보다 많아서 가장 굵게 표시되는 것을 확인할 수 있었다. 다음으로 교수님, 내용, 설명, 시험, 좋겠다, 실험, 이해, 어렵다, 생각, 문제 등과 함께 연결되어 있었다. 특히, 개선점 네트워크에서는 수업과 학생, 교수님 간 외에 내용과 수업 간 연결이 상대적으로 굵게 표시되어 학생들이 개선점에 대한 의견을 제시할 때 두 단어를 함께 사용한 빈도가 높다는 것을 알 수 있었다. 즉, 학생들은 화학 수업에 대한 개선점을 표현할 때 수업-학생, 수업-교수님 이외에 수업-내용 간의 단어 조합을 많이 사용하였고, 이와 연결하여 내용에 대한 이해와 어렵다 등의 단어가 수업에 대한 부정적인 인식에 대한 학생들의 문장 표현을 이끌고 있는 것으로 해석할 수 있다. 대표적으로 “수업 내용이 너무 어렵고 이해가 안된다. 학생들의 이해 수준을 고려해서 난이도를 조절할 필요가 있다” 등의 문장 표현을 예시로 들 수 있다.

Figure3.

Network analysis of improvements in class.

대학 화학 실험 수업의 좋은 점과 개선점 네트워크에 대한 텍스트 중심성 분석 결과는 Table 5에 제시하였다. 텍스트 중심성 분석은 네트워크 구조에서 거시적으로 살펴본 단어와 단어 사이의 관계를 정확한 수치를 통해 미시적으로 살펴볼 수 있는 분석이다. 텍스트 중심성은 크게 3가지를 측정할 수 있으며, 단어와 단어 간의 연결정도를 국지적으로 나타내는 연결중심성과 전체 네트워크 구조를 반영하여 단어와 단어 사이의 근접 정도를 나타내는 근접중심성, 단어들 간의 연결을 중재하여 네트워크를 구성하는데 기여하는 정도인 매개중심성이 있다.

화학 실험 수업의 좋은 점에서 단어 간의 연결 정도가 높아 연결중심성이 높은 단어는 수업, 교수님, 설명, 이해, 학생, 화학, 내용, 실험 등의 순으로 나타났고, 다른 단어들에 도달하는 경로가 짧아 근접중심성이 높은 단어는 수업/교수님/이해, 설명/내용, 학생, 실험/도움, 화학 등의 순으로 나타났다. 네트워크 내에서 단어들 간의 연결을 매개하는 매개중심성이 높은 단어는 수업/교수님/이해, 설명, 실험, 내용, 학생, 도움 등의 순으로 나타났다. 특이한 점은 도움과 조교는 다른 중심성에 비하여 상대적으로 매개 중심성이 높게 나타났다는 것이다. 따라서 학생들은 수업의 좋은 점에 대한 의견을 제시할 때 연결, 근접, 매개중심성이 모두 높은 수업, 교수님, 이해, 설명, 학생, 내용, 실험 등의 단어를 많이 언급했으며, 도움, 조교 등의 단어가 함께 연결되어 언급된 것으로 해석할 수 있다.

화학 실험 수업의 개선점에서 연결중심성이 높은 단어는 수업, 학생, 교수님, 생각, 시험, 내용 등의 순으로 나타났다. 근접중심성은 수업, 교수님/학생/좋겠다, 설명/이해, 시험, 어렵다 등의 순으로 나타났다. 매개중심성은 내용, 수업, 좋겠다, 교수님, 생각, 학생, 이해, 설명 등의 순으로 나타났다. 또한 문제, 과제, 수업자료, 협력, 동료 등의 단어는 다른 중심성에 비하여 상대적으로 매개 중심성이 높게 나타났다.

화학 실험 수업의 좋은 점과 개선점의 텍스트 중심성을 비교해보면 좋은 점의 텍스트 중심성 분석에서는 연결, 근접, 매개의 3가지 중심성 분석의 수치가 비슷한 단어를 순서대로 나열하는 것이 가능하나, 개선점의 텍스트 중심성 분석에서는 3가지 중심성의 수치가 상대적으로 다양하게 나타났다. 따라서 수업의 좋은 점에서는 단어와 단어 간 연결이 많고, 단어 사이가 근접해 있으면서 서로 연결이 되어 전체 네트워크를 생성하고 있기 때문에 유사한 내용의 의견이 다수 제시되었다고 볼 수 있다. 반면에 수업의 개선 점에서는 상대적으로 단어와 단어 간 연결이 많지 않고, 근접해 있지 않으나 노드와 노드 사이에 위치하는 매개 빈도가 높게 나타나 다양한 의견이 다수 제시되었다고 볼 수 있다. 즉, 수업의 개선점은 좋은 점보다 매개중심성 수치가 높은 핵심단어들이 더 많이 도출되어 전체 텍스트에서 다양한 의미를 생성해내는 네트워크를 구성하고 있다고 볼 수 있다.

대학 화학 실험 수업의 서술형 강의평가에서 도출된 40개의 핵심단어에 대한 텍스트 마이닝 분석 결과를 바탕으로 학생들의 수업에 대한 구체적인 평가 내용을 질적으로 분석하였다. 핵심단어를 중심으로 학생들이 실제 언급한 수업의 좋은 점은 ‘실험 내용에 대한 쉽고 자세한 설명’과 ‘조교의 도움’으로 인해 실험 수업 내용이 잘 이해되고, 실험 과정에 재미와 만족을 느꼈다는 의견이 제시되었다. 즉, 학생들은 실험을 수행하기 이전에 개념, 이론, 방법에 대한 쉽고 자세한 설명, 이해할 수 있는 예시로 설명, 교재 내용을 전공과 관련하여 설명, 기초부터 설명, 상세하고 친절한 설명, 지난 시간 내용을 한번 더 설명, 실험과 이론 설명 병행, 이해될 때까지 반복 설명, 단원간 연관성 설명 등이 제공되는 수업을 좋은 수업이라고 생각하고 있었다. 다음은 화학 실험 수업의 좋은 점에 대한 학생 의견의 예시이다.

“교수님께서 실험 내용의 어려운 부분을 이해하기 쉽게 설명해 주셔서 수업 시간에 정말 집중하여 듣게 되고 재미있었다. 많은 예시로 쉽게 설명해 주셔서 이해에 도움이 되었다.”

“생화학 시간에 이해가 잘 안 되는 부분에 대해서 조교님이 정말 잘 설명해 주셔서 도움이 많이 되었다.”

반대로 수업의 개선점에서는 ‘수업 내용과 시험의 어려움’, ‘과도한 과제’, ‘수업 환경’으로 인해 수업 내용에 대한 이해도와 집중도가 떨어진다는 부정적인 생각을 하고 있는 것으로 나타났다. 즉, 수업 내용의 측면에서 학생들은 실험 수업의 내용이 많고, 핵심내용 파악이 어려우며 이에 따라 시험에 대한 어려움을 언급하고 있었다. 또한 자세한 설명이 있는 교재나 복습이 가능한 수업자료, 교재나 수업자료에 없는 내용에 대한 추가 자료 제공 등이 필요하다는 의견을 제시하였다. 특히 예비레포트로 인해 과제가 많아지고, 실제 실험 내용과 차이가 커서 보고서 작성이 무의미하며 과도한 과제로 인해 오히려 수업 내용에 대해 심층적으로 생각해볼 시간이 부족하다는 의견이 다수 수강생에 의해 제기되었다. 한편 수업 환경 측면에서는 열악한 물리적 공간, 수강 인원의 과다, 협력이 잘 안되는 동료 학습자, 실험 도구 노후화 등으로 인해 개선이 필요하다는 의견을 제시하였다. 다음은 화학 실험 수업의 개선점에 대한 학생 의견의 예시이다

“실험 내용에 대한 설명이 부족하고, 교재도 너무 빈약하다. 추가적인 자료라도 제공하면 좋겠다.”

“시험문제가 수업 내용에 비해 지나치게 어렵다. 심화학습 유도는 좋으나 변별력을 가리는데에만 치중된 점이 아쉽다.”

“예비레포트 대로 실험하거나 실험할 내용과 예비레포트가 비슷했으면 좋겠다. 열심히 예비레포트를 써봤자 실험은 너무 간소화하여 진행되기 때문에 허탈하고 의욕이 없어진다.”