Journal Information

Article Information


협력적 문제해결 중심 교수모델(CoProC)을 적용한 고등학교 화학수업에서의 인성역량 평가 방법에 대한 비교 분석


Abstract

이 연구는 협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 고등학교 3학년 86명에게 적용하고 이에 따른 인성역량 변화를 인성역량 검사, 논의과정 분석, 반성 글쓰기 분석으로 알아보았으며, 평가 결과 간 상관관계를 분석하였다. 연구 결과, 세 평가 간 상관관계는 낮았으나 모두 인성역량 평균 점수가 향상되었고 세부 인성역량 요소에서는 차이가 나타났다. 인성역량 검사는 자기평가로써 학생들이 학습의 주인의식을 갖고 참여하도록 하였고, 논의과정 분석은 과정평가로써 학생의 말과 행동으로 나타나는 인성역량을 평가하기에 적합한 평가 방법으로 나타났으며, 반성 글쓰기 분석은 학생이 학습 전 과정을 되돌아보면서 행동으로 나타나기 어려운 인성역량을 분석할 수 있다는 장점을 보였다. 따라서 세 인성역량 평가 방법이 상호 보완적으로 함께 실시되면 학생들의 인성역량에 대한 세부적이고 종합적인 정보를 얻을 수 있다고 판단된다.

Translated Abstract

The study applied chemistry classes based on Collaborative Problem-Solving for Competency(CoProC) Instruction Model to 86 high school seniors and recognized the resulting changes in Character Competence through character competence test, analysis of argumentation, and analysis of reflective writing. In addition, the analysis of the correlation between the assessment results showed what each evaluation method meant to assess Character Competence. The study found that the average score of Character Competence rose in all three assessments, but differences were found in the detailed factors. Character competency test is meaningful in helping students participate with a sense of mastery of learning as a self-evaluation, and the analysis of the argumentation process seems to be an appropriate evaluation method to evaluate the Character Competence shown by students' words and actions through course evaluations. An analysis of reflective writing showed the advantage of being able to analyze Character competencies that are difficult to show in action by looking back on the entire course of learning. In addition, given that the correlation between the three assessment results is very low, it is expected that the three Character competency assessment methods will be conducted together to obtain detailed and comprehensive information on students' character competencies.


Expand AllCollapse All

서 론

2017년 한국교육개발원이 실시한 교육 여론 조사 결과에 따르면 학교 교육에서 가장 역점을 두고 가르치기를 바라는 사항으로 사회성·인간관계(27.8%)를 꼽았으며, 도덕성(20.4%)이 그 뒤를 이었다.1 학교에서 교과에 대한 지식 보다 사회성 인간관계나 도덕성과 같은 인성적 요소를 가장 중점적으로 가르쳐야 한다는 여론 조사 결과는 늘어나고 있는 청소년 강력 범죄율2을 볼 때 그리 놀라울 만한 결과는 아니라 할 수 있다. 점차 심각해지는 청소년 문제와 범죄율 증가를 해소하고 청소년들의 올바른 인성역량 함양을 위한 방안을 교육에서 찾아야 한다는 목소리가 커지고 있으며,3 이에 교육부(2016)에서는 현재 우리 사회가 처한 문제와 위기를 해결하기 위하여 교육을 통한 인성역량 강화의 중요성을 강조하였다.4 그러나 아직 학교 현장에서는 인성을 관념적 개념으로써 ‘도덕성’으로만 바라보는 경우가 많으며 현장에서 실시되는 인성교육은 대부분 창의적 체험학습 활동, 담임교사의 훈화 등에 의존하고 있다. 특히 고등학교에서는 인성교육은 비교과영역에서만 실시되는 등 학교교육에서 등한시되고 있는데 이는 교과 성적에 따른 결과 중심 입시교육이 최우선으로 간주되고 있기 때문이라 판단된다.5

최근에 논의되는 인성의 의미는 단순히 도덕성만을 의미하는 것은 아니며 개인이 가진 사고와 태도뿐만 아니라 행동 특성까지 나타내는 포괄적인 개념이다.68 또한 인성은 고정적인 것이 아니라 발전 가능하다는 점9에서 학교 교육을 통해 함양될 수 있는 ‘역량’의 관점으로 간주되며, 이에 따라 학교 현장에서는 학생들의 문제 행동과 비행을 줄이고 학업에 관한 관심을 증진시키는 것에 초점을 맞추어10 미래를 살아갈 학생들이 올바른 인성역량을 갖출 수 있도록 노력해야 할 것이다.11

‘인성역량’이란 배려, 소통, 협력, 책임, 존중 등 학생들이 타인과 소통하여 공동의 문제를 해결하는 데 필요한 협업 능력을 의미한다.12,13 협업 능력은 문제해결 능력, 비판적 사고, 의사소통, 정보 활용 능력과 함께 OECD(2003)에서 제시한 미래사회를 살아갈 인재가 갖춰야 할 능력인 핵심 역량 중 하나로, 타인과 함께 공동의 문제를 해결하기 위해 타인의 말을 이해하고 상호작용하는 능력이다.14

이러한 인성역량은 교과의 성격에 따라 함양할 수 있는 인성요소를 교과교육에 포함시켜 교과교육 내에서 이루어지는 인성교육을 통해 효과적으로 함양할 수 있다.1517 그러나 대부분의 학교 현장에서 이루어지는 인성교육은 교과교육과 연계되지 못하여 학생들에게 인성에 대한 개념만을 제시하는 데 그치고 있어 학생에게 유의미한 경험을 제공하기 어렵다.16,18 따라서 교과교육 내에서 인성교육을 실시하는 교과 통합형 인성교육의 실천이 매우 중요하다 할 수 있다. 이와 관련하여 인성교육과 교과교육을 통합시키는 시도가 국내에서 다양하게 이루어지고 있다. 수학과의 경우 수학자를 중심으로 한 수학사 적 문제들을 모둠별로 해결하는 활동을 개발하고,19 사회과에서는 사회과 세계 시민교육을 위한 교수·학습 방안,20 법 교육 수업모형21을 활용하여 교과교육과 인성교육을 연계하는 노력이 나타나고 있다. 과학과에서도 교육과정을 개발할 때 가치교육뿐만 아니라 자기통제력 등의 인성역량을 적극적으로 포함시키려는 노력이 지속되어왔으며,22 특히 수업 과정에서 학생과 학생 사이, 교사와 학생 사이에 발생하는 논의를 바탕으로 한 인성교육이 가능함을 보고하였다.22,23 과학의 본성 관점에서 볼 때 과학은 과학자들의 사회적 합의에 의해 발전하는 학문이며, 실험 활동으로 지식을 습득하는 단순한 과정이 아니라 과학적 의사소통을 바탕으로 한 문제 해결의 과정이므로 타인과 협력하에 문제를 해결하는 과정에서 학생들은 협력을 비롯하여 배려, 소통, 책임, 존중, 정직 등의 인성역량을 학습할 수 있다.2426 이와 같은 문제 해결 과정에서 논의는 필수적인 과정이므로 과학 교과에서 학생들은 논의과정을 포함하는 탐구과정을 경험하면서 인성역량을 함양할 수 있다.5

이러한 관점에서 협력적 문제해결 과정과 논의를 기반으로 한 과학적 탐구과정을 바탕으로 학생들의 인성역량을 함양하기 위해 개발된 프로그램이 협력적 문제해결 중심 교수모델(Collaborative Problem-Solving for Competency, CoProC)이다. CoProC를 적용한 과학 수업에서 학생들은 준비, 문제해결, 평가의 3단계로 구성된 수업 과정을 경험하면서 과학자들처럼 다른 구성원들과 논의과정을 거쳐 합의하며, 협력하여 과학적 지식을 도출하는 과정을 경험한다. 학생들은 개개인의 장단점에 따라 결정한 역할을 맡고 구성원들과의 상호작용을 통해 공동의 문제를 해결하기 위해 구성원의 생각, 관점, 감정을 배려하고 존중하며 활발히 소통한다.5

선행연구에서 협력적 문제해결 중심 교수모델(CoProC)을 적용한 과학 수업을 경험한 중고등학생들의 실천적 인성 역량과 사회적 역량이 함양된 것으로 나타났다.5,27 그러나 이러한 선행연구의 결과는 대부분 학생의 자기 보고식 자기평가와 수업의 결과물인 반성 글쓰기 분석에 의존하여 학생들의 인성역량 변화를 판단하고 있다. 자기 보고식 검사는 간편하고 효율적인 반면28 피험자가 자신에 대해 직접 보고하므로 스스로 엄격한 기준을 적용하여 객관적으로 판단하기가 쉽지 않다.29 또한 수업의 결과물인 반성 글쓰기를 분석하는 것과 같은 ‘결과’ 중심 평가의 경우 학생들의 수업 결과를 관찰 가능한 산출물로 나타낸다는 장점이 있으나 구체적인 수업 상황 중 학생들이 실제로 활동하는 ‘과정’을 직접적으로 확인할 수 없다는 단점이 있다.30 인성역량은 실제 학생들의 일상 속에서 행동적 실천으로 나타나는 과정적 개념을 포함하므로 교사는 학생들의 인성역량 변화를 과정적 측면에서 분석해야 할 필요성이 있다.

따라서 이 연구에서는 협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 적용하여 이에 따른 고등학생들의 인성역량 변화를 다양한 평가 방법을 이용하여 파악하고, 평가 결과 간의 상관관계를 분석하여 각 평가방법이 인성역량 평가에 어떤 의미를 갖는지 알아보고자 한다. 이를 위해 협력적 문제해결 중심 교수모델(CoProC) 수업 전후 인성역량을 자기평가 형식의 정량적인 평가도구로 평가하였다. 또한, 협력적 문제해결 중심 화학 수업에서 나타나는 학생 논의과정과 수업의 결과물로 작성한 반성 글쓰기를 분석하여 이 수업이 진행되면서 나타나는 학생들의 인성역량 변화를 다양한 측면에서 알아보고자 하였다. 이 연구에서 사용한 평가도구는 전란영 등(2018)30의 연구에서 개발한 논의과정 분석틀과 이 분석틀을 기반으로 교사용 평가도구로써 제작한 반성 글쓰기 분석틀, 학생의 자기평가 형태로 변형한 인성역량 검사지를 사용하였다. 이를 통해 과학 교과에서 인성역량 평가의 방향에 대해 논의 하고자 한다.

연구 방법

연구 대상

이 연구는 중소도시에 위치한 인문계 남녀공학 고등학교 3학년 학생 중 자연 이공계열 3개 학급, 총 86명을 대상으로 하였다. 해당 학교는 비평준화 지역에 위치한 학교로 그 지역 중하위권 학생들이 주로 진학하는 학교이다. 자연 이공계열 5개 학급 중 여학생과 남학생의 비율이 거의 1:1로 구성된 3개 학급(86명)을 실험집단으로 선정하였다.

참여 학생을 대상으로 2019년 9월부터 11월까지 2개월간 화학 II 교과에서 협력적 문제해결 중심 교수모델(CoProC) 수업을 진행하였다. 수업은 5개 주제로 이루어졌고, 총 11차시로 구성하였다. 실험집단 학생들은 협력적 문제해결 중심 교수모델(CoProC)에 기반한 과학 수업을 접하기 전에 인성역량 함양을 위한 수업이나 논의 수업을 수행한 경험이 없었다.

협력적 문제해결 중심 교수모델(CoProC)

협력적 문제해결 중심 교수모델(Collaborative Problem-Solving for Competency, CoProC)은 과학교육에서 학습자의 인성역량을 함양하고자 개발된 것으로, 협력적 문제해결 과정과 논의기반 탐구과정을 바탕으로 한다.5

CoProC 수업의 전체 과정은 준비, 문제해결, 평가의 세 단계로 구성되어 있다. 먼저 준비 단계에서는 세부 절차로 모둠 형성 및 규칙제정, 역할 결정 및 배정 과정을 거친다. 모둠 형성 및 규칙제정에서는 문제해결을 위해 함께 협력할 구성원을 선정하고 활동 중 반드시 지켜야 하는 규칙을 정한다. 또한, 구성된 모둠원들과 논의를 통해 자신의 역할을 결정한다.

문제해결 단계는 주어진 문제 상황으로부터 해결해야 할 문제를 구성원들 스스로 논의를 바탕으로 이끌어내고 상호 간 협력하여 문제를 해결하기 위해 탐구과정을 설계하여 수행한다. 이 단계의 세부적인 절차를 살펴보면 다음과 같다. 먼저 문제 결정 및 공유에서 주어진 문제 상황으로부터 탐구 활동으로 해결할 수 있는 문제를 논의를 통해 결정한다. 다음으로 탐구 설계 및 수행에서 학급에서 결정된 문제를 해결하기 위한 탐구를 주어진 실험 기구와 시약을 보고 설계하여 수행한다. 마지막으로 의사결정 과정에서는 앞선 탐구 활동의 결과물을 바탕으로 나의 결론을 도출하고 모둠 간 논의, 학급 논의를 통해 최종적으로 합의된 결론을 제시한다.

평가 단계에는 관련 자료 찾기와 평가 및 반성 과정을 실시하는데, 이 단계에서 학생들은 자신과 구성원들이 수행한 문제해결 과정 전반을 되돌아보고 평가한다. 세부 절차를 살펴보면, 관련 자료 찾기 과정에서는 참고문헌이나 인터넷, 교과서 등 다양한 보충 자료를 찾아보고 자신의 결론과 과학적 개념의 차이를 학습하고 새롭게 습득한 지식을 보다 정교화하는 과정을 거친다. 다음으로 평가 및 반성 과정에서 학생들은 반성적 사고를 바탕으로 수업 전반에 걸쳐 자신과 다른 학생들의 수행을 스스로 되돌아보고 이를 객관적으로 평가하여 반성 글쓰기를 작성한다.

앞서 제시한 바와 같이 학생들은 모둠 간의 규칙을 제정하고 역할을 결정하는 과정부터 탐구 문제를 설정하고 탐구과정을 설계하고 수행하는 단계뿐만 아니라 탐구 활동으로 얻은 자료를 해석하여 결론을 도출하는 과정까지 수업 전반의 모든 과정을 다른 구성원과의 논의와 협력적 활동으로 수행한다. 이 연구에서 수행한 CoProC 수업 주제는 Table 1에 제시하였다.

Table1.

Topics and periods of CoProC program implemented

Topics Periods (50 min)
Topic 1 Pressure and solubility of gas 2Periods
Topic 2 Concentration and reaction velocity 2Periods
Topic 3 Surface area and reaction velocity 2Periods
Topic 4 Temperature and reaction velocity 2Periods
Topic 5 Ionization tendency of metal and chemical cell 3Periods

인성역량 요소

이 연구에서 인성역량이란 미래사회를 살아갈 인재들에게 요구되는 성품 계발과 관계된 능력으로써, 개인이 타인과 원활한 관계를 맺고 살아가는데 필요한 능력을 의미한다. 선행연구에서 살펴보면 권정인과 남정희(2017)5의 연구에서는 협력, 배려, 존중, 정직, 긍정적 자기이해, 소통, 자기조절, 책임을 과학 교과에서 필요한 인성역량 세부 요소로 제시하였다. 한편, 전란영 등(2018)30의 연구에서는 권정인과 남정희(2017)5의 연구를 바탕으로 과학교육에서의 인성역량 요소를 세분화하고 수정하여 개방성, 공감, 배려, 관용, 성실, 협력, 자기조절, 책임, 정직으로 총 9개 인성역량 요소를 제시하였다. 전란영 등(2018)30은 수업 중 나타나는 학생들의 논의과정을 분석하기 위한 교사용 분석틀을 개발하면서 교사가 관찰하여 측정할 수 있는 인성역량 요소들을 선정하고 세분화하여 인성역량 요소로 포함시켰다. 특히 권정인과 남정희(2017)5의 연구에서 제시한 소통 개념을 개방성, 공감, 관용으로 세분화하여 제시하였다. 또한, 배려와 존중을 중첩되는 개념으로 보고,31 두 요소 중 수업 중 학생들의 행동적 측면이 더 많이 포함되어있다고 할 수 있는 배려를30 최종 인성역량 요소에 포함시켰다.

앞서 제시한 선행연구를 바탕으로 이 연구에서는 결과의 비교 분석을 위해 전란영 등(2018)30 연구에서 제시한 9가지 요소인 개방성, 관용, 배려, 공감, 자기조절, 책임, 정직, 협력, 성실을 세 평가도구의 공통 인성역량 요소로 결정하여 분석하였다. 반성 글쓰기 분석 과정에서는 분석틀을 개발하는 과정에서 긍정적 자기이해와 타인 존중이 추가로 나타나 분석틀 개발에 참여한 평가자들 간의 협의를 바탕으로 긍정적 자기이해와 타인 존중을 추가로 분석하였다.

자료수집

협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업이 고등학생의 인성역량에 미치는 영향을 비교하기 위해 참여 학생들의 사전과 사후 인성역량 검사지, CoProC 수업 학생 활동지, 차시별 논의과정에 대해 실험집단 3개 학급의 총 5개 활동 수업 영상 및 한 활동당 21개 모둠 총 105개의 모둠별 음성 녹음본을 수집하였다(Table 2).

Table2.

List of data collection

Data Amount of content
Character competence test sheet Pre-test 85 out of a total of 86 test sheets are collected from students in experimental group
post-test 85 out of a total of 86 test sheets are collected from students in experimental group
Class video 3 classes * 5 topics = 15 videos
Voice recordings from each group 21 groups(3 classes) * 5 topics = 105 recordings
Student activity sheet Topic 1 81 out of a total of 86 activity sheets are collected from students in experimental group
Topic 5 85 out of a total of 86 activity sheets are collected from students in experimental group

자료 분석

이 연구에서는 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업에 자기평가, 과정평가, 결과평가를 적용하여 인성역량 변화를 다양한 평가 방법을 이용하여 알아보고자 하였다. 이를 위해 학생의 인성역량을 수업 전후에 실시하는 인성역량 검사지, 수업 중 교사의 관찰평가 방법에 따른 논의과정 분석, 수업 후 학생이 작성한 결과물인 반성 글쓰기 분석을 실시하였다.

인성역량 검사 분석. 인성역량 검사는 전란영 등(2018)30의 연구를 바탕으로 한 인성역량 검사지를 이용하여 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업을 적용하기 전과 총 5개 주제를 모두 적용한 후에 사전 검사 및 사후 검사로 이루어졌다.

인성역량 검사지의 각 문항은 전란영 등(2018)30의 분석틀 문항을 자기평가 형태로 변형하여 총 85명의 실험집단 학생에게 적용하였다. 이 평가도구는 CoProC 수업 적용 전 실시한 사전 검사 결과를 이용하여 Cronbach’s α 값을 이용하여 인성역량 검사지의 신뢰도를 검증하였다. 각 세부 인성역량 요소별 Cronbach’s α 값은 다음 표와 같다(Table 3).

Table3.

Internal consistency of sub-elements of character competence in competence test

Sub-Elements Openness Empathy Tolerance Caring Integrity Self-regulation Honesty Responsibility Collaboration Total
Cronbach’s α value 0.76 0.73 0.85 0.88 0.83 0.86 0.76 0.79 0.72 0.95

인성역량 검사에 포함된 모든 인성역량 요소에서 0.70이상의 높은 Cronbach’s α 값이 나타났으므로 이 연구에서 사용한 인성역량 검사지가 평가도구로써 유의미한 신뢰도를 갖는다고 판단된다.

사전 및 사후 검사 결과의 통계처리는 SPSS WIN 23.0을 사용하였다. 실험집단에서 협력적 문제해결 중심 교수모델(CoProC) 기반 화학 수업의 적용이 고등학생의 인성역량에 미치는 영향을 알아보기 위해 사전 및 사후 결과로 대응 표본 T-검정을 실시하였다. 또한 Cohen’s d값을 이용하여 9가지 세부 인성역량 요소의 효과 크기를 분석하였다.

논의과정 분석. 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업에서 이루어지는 논의과정에서 나타나는 학생들의 인성역량을 평가하기 위하여 전란영 등(2018)30이 개발한 평가도구를 활용하였다. 평가도구는 개방성, 공감, 관용, 배려, 책임, 자기조절, 정직, 성실로 총 9개 요소의 53문항으로 구성되었으며, 각 문항은 전혀 그렇지 않다(0점)에서 매우 그렇다(3점)를 부여하도록 제작되었다. 과학교육 박사과정 1명, 과학교육 석사과정 4명이 이 평가도구를 이용하여 각 학급에서 2개 모둠씩 총 6개 모둠의 평가를 진행 후 점수를 비교하였으며, 4명의 평가자가 평가 근거가 된 학생의 말과 행동을 분석하여 협의한 내용을 바탕으로 문항별 세부 평가기준을 결정하였다. Topic 1과 Topic 5 각각 실험집단 3개 학급 7개 모둠씩 총 42개의 모둠별 논의과정 분석을 진행하였다.

총 5개의 수업 주제 중 Topic 1에 해당하는 논의과정 분석 결과를 초기, Topic 5에 해당하는 논의과정 분석 결과를 후기로 설정하여 대응 표본 T-검정을 실시하였다.

반성 글쓰기 분석. 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업의 반성 글쓰기 활동에서 나타난 학생들의 인성역량을 평가하기 위해 전란영 등(2018)30이 개발한 ‘협력적 문제해결 중심 교수모델에 기반한 교사용 인성역량 평가도구’를 바탕으로 과학교육 전문가 1명, 과학교육 박사과정 5명, 석사과정 5명이 수차례 협의를 통해 수정 보완하여 분석틀을 개발하였다. 전란영 논의과정 분석틀30을 기반으로 개방성, 공감, 배려, 관용, 성실, 자기조절, 책임, 협력, 정직 총 9가지 인성역량 요소에 대한 반성 글쓰기 분석틀을 개발하여 1차 평가를 실시하였다. 평가자들 간의 결과를 비교하는 과정에서 긍정적 자기이해와 타인 존중에 해당하는 부분이 발견되어 해당 인성역량 요소로 판단되는 학생의 반성 글쓰기 내용을 수집하여 긍정적 자기이해와 타인 존중 분석틀 내용을 추가로 개발하였다. 이로써 반성 글쓰기 분석에서는 앞서 실시한 인성역량 검사와 논의과정 분석과는 달리 총 11가지 인성역량 요소에 대한 분석을 실시하였다.

총 5개의 수업 주제 중 Topic 1에 해당하는 반성 글쓰기 인성역량 분석 결과를 사전, Topic 5에 해당하는 반성 글쓰기 인성역량 분석 결과를 사후로 설정하여 대응 표본 T-검정을 실시하였다.

평가 방법별 상관관계 분석. 이 연구에서는 협력적 문제 해결 중심 교수모델(CoProC)을 적용한 화학 수업을 실시한 실험집단의 인성역량 변화를 총 세 가지 평가 방법을 이용하여 분석하였다. 각 평가 방법으로 분석한 인성역량 변화 결과를 바탕으로 평가 방법 간의 상관관계를 Pearson 상관 분석으로 분석하였다. 상관관계 분석은 총점 및 세부 인성 역량 요소별로 세 평가 방법에 대한 상관계수를 구하였다.

연구 결과

인성역량 평가 결과

인성역량 검사 분석 결과. 협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 수행한 학생들의 인성역량 변화를 알아보기 위해 CoProC 수업 적용 전 실시한 사전 인성역량 검사와 총 5개 주제의 CoProC 수업 적용 후 실시한 사후 인성역량 검사 결과를 대응 표본 T-검정을 사용하여 분석하였다(Table 4).

Table4.

T-test results comparing pre- and post- character competence test

Sub-Elements Average N SD t
Openness pre- 2.31 85 0.486 -3.692***
post- 2.57 85 0.462
Empathy pre- 2.44 85 0.456 -2.055*
post- 2.58 85 0.468
Tolerance pre- 2.27 85 0.636 -2.035*
post- 2.46 85 0.550
Caring pre- 2.23 85 0.616 -3.111*
post- 2.50 85 0.486
Integrity pre- 2.14 85 0.537 -3.582**
post- 2.45 85 0.533
Self-Regulation pre- 2.32 85 0.454 -2.193*
post- 2.48 85 0.507
Honesty pre- 2.08 85 0.521 -4.169***
post- 2.40 85 0.473
Responsibility pre- 2.47 85 0.453 -1.382
post- 2.56 85 0.470
Collaboration pre- 2.42 85 0.470 -2.475*
post- 2.57 85 0.447
Total pre- 20.67 85 3.437 -3.789***
post- 22.65 85 3.719

*p<.05, **p<.01 ***p<.001

총점을 살펴보면, 사전 검사에서 인성역량 총점은 20.67점이었고, 사후 검사에서 인성역량 총점은 22.65점으로 사후 검사 총점이 사전 검사 총점보다 높았으며, 이는 유의미한 통계적 차이가 있는 것으로 나타있다(t=-3.789, p<.001). 이 결과를 세부 인성역량 요소에 따라 살펴보면, 9개의 세부 인성역량 요소 중 책임을 제외한 모든 요소에서 유의미한 차이가 나타났다. 책임 요소에서는 사전 검사 평균 점수가 2.47점, 사후 검사 평균 점수가 2.56점으로 사후 검사 점수가 사전 검사 점수보다 높았으나 통계적으로 유의미한 차이는 없었다(p>.05).

다음에서는 학생들의 인성역량 변화의 효과 크기를 Cohen’s d 값을 이용하여 분석하였다(Table 5).

Table5.

Effect size of sub-elements of character competence in competence test

Sub-Elements Openness Empathy Tolerance Caring Integrity Self-regulation Honesty Responsibility Collaboration Total
Cohen’s d value 0.55 0.30 0.32 0.49 0.58 0.58 0.64 0.19 0.33 0.55
Effect size m s s m m m m - s m

s: small, m: medium, l: large

인성역량 검사에 대한 세부 인성역량별 효과 크기를 비교해보면, 총점의 경우 Cohen’s d 값이 0.55로 중간 크기의 효과가 나타났다. 세부 인성역량 별로 살펴보면, 정직은 0.64, 성실과 자기조절은 0.58, 개방성은 0.55, 배려는 0.49로 중간 크기의 효과가 나타났다. 또한 협력은 0.33, 관용은 0.32, 공감은 0.30으로 효과 크기가 작았다. 책임은 0.19로 효과 크기가 나타나지 않았다.

논의과정 분석 결과. 협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 수행한 학생들의 인성역량 변화를 CoProC 수업 과정에서 나타난 학생들의 논의과정을 분석하여 알아보았다. 이를 위해 학생들의 CoProC 수업 활동에서 나타나는 논의과정을 분석틀을 이용하여 분석하였고, 그 결과를 대응 표본 T-검정을 이용하여 분석하였다. Topic 1에 해당하는 CoProC 수업을 초기로 설정하고, Topic 5에 대한 CoProC 수업을 후기로 설정하였다(Table 6).

Table6.

T-test results of character competence in the argumentation process of Topic 1 and Topic 5

Sub-Elements Average N SD t
Openness Topic 1 1.68 74 0.539 -13.709***
Topic 5 2.64 74 0.297
Empathy Topic 1 1.61 74 0.479 -15.656***
Topic 5 2.56 74 0.226
Tolerance Topic 1 1.90 74 0.611 -10.766***
Topic 5 2.68 74 0.225
Caring Topic 1 1.67 74 0.544 -13.981***
Topic 5 2.55 74 0.331
Integrity Topic 1 2.25 74 0.371 -6.178***
Topic 5 2.54 74 0.323
Self-Regulation Topic 1 2.34 74 0.492 -1.865
Topic 5 2.44 74 0.270
Honesty Topic 1 1.75 74 0.500 -5.194***
Topic 5 2.09 74 0.358
Responsibility Topic 1 2.58 74 0.486 -2.683**
Topic 5 2.74 74 0.211
Collaboration Topic 1 1.56 74 0.439 -15.498***
Topic 5 2.55 74 0.348
Total Topic 1 17.34 74 3.070 -14.865***
Topic 5 22.80 74 1.714

*p<.05, **p<.01 ***p<.001

총점을 살펴보면, Topic 1의 인성역량 총점은 17.34이었고, Topic 5의 인성역량 총점은 22.80점으로 Topic 5의 인성역량 총점이 높았으며 통계적으로 유의미한 차이를 보였다(t=-14.865, p<.001).

협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 수행한 실험집단의 Topic 1과 Topic 5의 논의과정 분석 결과를 인성역량 요소별로 살펴보았을 때, 자기조절 요소를 제외한 8개 요소에서 유의미한 차이가 나타났다. 자기조절 평균 점수는 Topic 1에서 2.34점, Topic 5에서 2.44점으로 Topic 1보다 Topic 5에서 높은 점수를 보였으나, 통계적으로 유의미한 차이는 나타나지 않았다(t=-1.865, p=0.066).

Topic 1에서 가장 평균 점수가 높은 요소는 책임 요소로 평균 점수가 2.58점이었고 다음으로 자기조절(2.34점), 성실(2.25점) 순으로 나타났다.

Topic 5에서는 가장 높은 평균 점수가 나타난 요소는 책임요소(2.74점)이고, 다음으로 관용(2.68점), 개방성(2.64점)순으로 나타났다. 또한 정직 요소가 2.09점으로 가장 낮은 점수를 나타냈다.

논의과정에서 나타난 인성역량 분석 결과, Topic 1에 비해 Topic 5에서 가장 큰 폭으로 상승한 인성역량은 협력 요소로 평균 점수가 0.99점 향상되었다. 이에 비해 가장 적은 폭으로 상승한 인성역량 요소는 자기조절(0.10점)로 CoProC 수업적용 초기(Topic 1)부터 비교적 높은 수준으로 나타났다.

Topic 1과 Topic 5의 논의과정에서 분석한 인성역량 변화의 효과 크기를 Cohen’s d값으로 분석하였다(Table 7). 총점의 경우 Cohen’s d 값이 2.20으로 매우 큰 크기의 효과가 나타났으며, 세부 인성역량 별로 살펴보면 공감은 2.54, 협력 2.50, 개방성 2.21, 배려 1.95, 관용 1.69로 매우 큰 효과 크기가 나타났다. 성실과 자기조절은 0.83, 정직은 0.78로 높은 효과 크기를 보였으며, 책임은 0.43으로 중간 크기의 효과를 나타냈다.

각 세부 인성역량 요소별 효과 크기를 살펴보면 대부분의 인성역량 요소에서 1.00 이상의 큰 효과 크기가 나타났다(Table 7). 특히 공감, 협력에서 효과 크기가 각각 2.54, 2.50으로 매우 크게 나타났다. 다음에서는 학생의 논의과정에서 나타나는 세부 인성역량 요소에 대한 구체적인 사례를 제시하였다.

Table7.

Effect size of sub-elements of character competence in the argumentation process

Sub-Elements Openness Empathy Tolerance Caring Integrity Self-regulation Honesty Responsibility Collaboration Total
Cohen’s d value 2.21 2.54 1.69 1.95 0.83 0.83 0.78 0.43 2.50 2.20
Effect size l l l l l l l m l l

s: small, m: medium, l: large

<사례 1>은 한 학생(S1)이 염다리와 금속판, 금속 양이온 수용액을 연결한 화학전지에서 전류가 흐르는 이유가 이해되지 않아 다른 학생(S2)에게 질문하는 상황에서 공감의 인성 요소가 나타난 사례이다. 학생(S2)은 자신의 초기 설명에도 모둠원인 학생(S1)이 이해하지 못해 대답이 없자 자신 역시 어려움을 느꼈으며 자신의 설명이 부족했었다고 말하는 등 모둠원의 상황과 감정을 이해하려 노력하는 모습을 보였다.

<사례 1>

S1: OO아, 나 이거 다시 한번 설명해주면 안 돼?

S2: 어어 뭐? 이거 왜 이러냐고?

S1: 어 진짜 아무리 봐도 하나도 모르겠다⋯.

S2: 하하, 나도 다 아는 건 아닌데 그래도 한 번 설명해볼게. ~ (중략) 전자가 이렇게 도는 거지. 그게 전지지!

S1: (한참 말이 없다) 음⋯.

S2: (웃으며) 아⋯. 미안 내가 설명을 잘...못 해가지고⋯.

S1: (웃으며) 아니다! 그게 아니고 이해가 느려서 그런 것임.

S2: 어렵지?와 나도 이거 진짜 어렵더라. 너만 그런 거 아니다! 그림을 그려볼까?

<사례 2>는 학생(S2)이 나의 의문을 늦게 결정하면서 모둠 논의가 늦어지는 상황에서 공감의 인성 요소가 나타난 사례이다. 학생(S1)은 난감해하는 모둠원인 학생(S2)의 미안함과 부끄러움의 감정을 이해하고 자신도 어렵다며 학생(S1)의 어려움에 대하여 공감하였다. 학생(S3) 역시 어려워서 활동이 늦는 학생(S2)에게 함께 문제를 해결할 것을 제안하면서 공감의 감정을 나타내었다.

<사례 2>

S1: OO아, 너 이거 알겠나? 문제 다 썼나?

S2: (난감한 표정을 지으며 웃는다).....어.......그냥 조금? 쓰고 있다.

S1: (웃으며) 괜찮다, 나도 잘 모른다. 어디까지 했는데?

S2: 그냥 하나는 알겠는데, 이거 개구리는 뭔지 모르겠다.

S3: (구성원 전체에게) 그럼 바로 같이 볼까?

S1: 그래그래 그러자, 나는 괜찮다.

S2: (부끄러워하며) 아⋯. 쪽팔린다⋯.

S1: (웃으며) 뭐라는데. 여기 다 어렵다. 빨리 보자!

S3: (웃으며) 맞다 맞다. 다른 조도 다 모를걸!!

S2: 알겠다. 고마워.

<사례 3>은 한 모둠에서 역할 결정 및 배정 단계에서 각자의 역할을 결정하기 위한 논의과정에서 나타나는 협력의 사례이다. 이 과정에서 모둠원들은 자신이 하고 싶은 역할이 있음에도 불구하고 다른 모둠원들의 의견을 먼저 묻거나(S1), 다른 학생의 능력을 칭찬하며 능력에 적합한 역할을 맡는다(S3, S4, S1). 또한 다른 모둠원을 배려하여 궂은일을 먼저 도맡는 행동(S4)으로 보아 협력에 대한 인성역량 요소가 관찰되었다.

<사례 3>

S1: 자 이제 역할을 한 번 정해볼까요?

S2: 그럽시다, OO이 뭐 할 거야?

S1: 음, 나는 살짝 실험이하고 싶긴 한데 진짜 아무거나 해도 된다.

S2: ◇◇이는?

S3: 나 기록이 할래, 진짜 기록 잘할 자신 있음!

S4: 그건 인정, ◇◇ 글씨도 예쁨.

S1: 오케이 그럼 ◇◇이 기록이 하고, 그럼 이끔이 누구 하지? (중략)

S4: 오늘 쓰레기 많겠네, 그냥 오늘 내가 깔끔이 한다.

S2: 오~좀 감동. 그럼 내가 실험이군!

<사례 4>는 실험 결과를 서로 피드백하면서 그 의미를 분석하고 모둠의 의사결정을 위한 모둠 논의에서 나타나는 협력의 사례이다. 모둠의 실험 결과에서 전압이 측정되지 않은 조합을 보고 모둠원인 학생(S1)이 의문을 제시하자 다른 학생(S2)이 이에 대한 본인의 생각을 제시하였다. 그래도 의문이 풀리지 않자 한 학생(S2)은 다른 모둠에 가서 의견을 교환하고 자신의 모둠에 복귀하여 여러 가지 조언을 조합하여 모둠의 의사결정 과정을 수행하는 등의 협력에 대한 인성역량 요소가 관찰되었다.

<사례 4>

S1: 근데 OO아, 이거 우리 계속 0V 나와도 되는 거야?

S2: 가능은 하지. 그 음수로 나올 수는 있는데, 전부 0V 아니면 음수인 건 좀 이상한데⋯.

S1: 뭔가 잘못한 건가? 아닌데⋯. ◇◇이 우리 결과 기록한 거 한번 보자!

(중략)

S2: 잠시만, 저 조에 갔다 와 볼게.

S2: 야야, 우리 이거 0V 나온 것들만 다시 해보자. 뭔가 연결이 잘못된 거 같음. 저 조도 0V 나왔는데 다시 하니까 또 값 나왔대. 전선 세게 꼽아보자.

S1: 응? 연결? 진짜? 그럼 다시 해서 정리하자.

학생들은 수업 중 경험하는 논의과정을 통해 모둠원들과 끊임없이 대화하며 서로의 생각과 관점을 나눈다. 이 과정에서 타인의 생각을 이해하게 됨과 동시에 모둠원의 비언어적 표현에서 나타나는 감정까지 이해하는 ‘공감’을 경험할 수 있다. 즉, ‘공감’이라는 인성역량 요소는 구성원간의 상호작용 속에서 관찰되기 쉬우므로 다른 평가 방법에서보다 논의과정 분석에서 공감 요소의 효과 크기가 높게 나타난 것으로 보인다.

또한 협력이라는 인성역량 요소는 모둠별 활동을 위한 역할 분담 시 모둠원 간의 토의를 통해 결정하거나 모둠별 활동 중 끊임없이 다른 학생들과 서로 의논하며 문제를 해결하는 행동으로 나타난다. 학생들은 논의과정에서 타인의 생각에 대해 질문하고 서로 실험 결과에 대한 피드백을 나누며 새로운 해결방안을 찾는 행동을 경험한다. 이 과정에서 자연스럽게 수업 전 과정에서 협력을 경험하게 되어 논의과정 분석에서 협력의 효과 크기가 매우 높게 나타난 것으로 보인다.

반성 글쓰기 분석 결과

협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학수업을 수행한 학생들의 인성역량 변화를 학생들이 각 활동의 마지막 단계에서 작성하는 반성 글쓰기를 분석하여 알아보았다. 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업 전후의 인성역량 변화를 알아보기 위해 Topic 1에 해당하는 CoProC 수업을 초기로 설정하고, Topic 5에 대한 CoProC 수업을 후기로 설정하여 분석한 후, 그 결과를 대응 표본 T-검정을 이용하여 분석하였다. 반성 글쓰기에서 나타나는 인성역량 분석에서는 개방성, 공감, 관용, 배려, 성실, 자기조절, 정직, 책임, 협력, 긍정적 자기이해, 타인 존중의 총 11개 인성역량 요소에 대한 분석이 이루어졌다.

Table 8에서 보듯이, Topic 1에서의 인성역량 총점은 3.48이고, Topic 5에서의 인성역량 총점은 9.53점으로, 통계적으로 유의미한 향상을 보였다(t=-7.812, p<.001). 이를 세부 인성역량 요소별로 살펴보면, 개방성(t=-6.691, p<.001), 성실(t=-7.660, p<.001), 자기조절(t=-5.910, p<.001), 책임(t=-3.846, p<.001), 협력(t=-6.512, p<.001) 요소에서 유의미한 향상이 나타났다. 반면 공감(t=-1.270, p=0.208), 관용(t=-1.000, p=0.321), 배려(t=-0.445, p=0.658), 정직(t=-1.664, p=0.100)의 경우 반성 글쓰기 인성역량 평균 점수가 향상됐으나 그 향상 정도가 유의미하다고 볼 수 없었다. 특히 공감, 배려, 관용 요소의 경우 Topic 1에서 각각 공감 0.01점, 배려 0.01점, 관용 0.00점으로 학생들의 반성 글쓰기 활동에서 거의 관찰 할 수 없었고, Topic 5에서도 공감 0.07점, 배려 0.03점, 관용 0.01점으로 Topic 1에서의 평균 점수와 거의 차이가 없었다.

Table8.

T-test results of character competence in the reflection writing on topic 1 and topic 5

Sub-Elements Average N SD t
Openness Topic 1 0.49 73 0.899 -6.691***
Topic 5 1.77 73 1.242
Empathy Topic 1 0.01 73 0.117 -1.270
Topic 5 0.07 73 0.347
Tolerance Topic 1 0.00 73 0.000 -1.000
Topic 5 0.01 73 0.117
Caring Topic 1 0.01 73 0.117 -0.445
Topic 5 0.03 73 0.234
Integrity Topic 1 0.48 73 0.944 -7.660***
Topic 5 1.84 73 1.131
Self-Regulation Topic 1 0.60 73 1.010 -5.910***
Topic 5 1.73 73 1.205
Honesty Topic 1 1.44 73 1.280 -1.664
Topic 5 1.82 73 1.337
Responsibility Topic 1 0.25 73 0.741 -3.846***
Topic 5 0.92 73 1.278
Collaboration Topic 1 0.19 73 0.659 -6.512***
Topic 5 1.36 73 1.368
Positive Self-Image Topic 1 0.37 73 0.874 -3.491**
Topic 5 1.03 73 1.323
Respect for others Topic 1 0.04 73 0.260 -3.612**
Topic 5 0.42 73 0.848
Total Topic 1 3.48 73 3.237 -7.812***
Topic 5 9.53 73 5.307

*p<.05, **p<.01 ***p<.001

정직 요소의 경우 Topic 1에서는 1.44점이었고 Topic 5에서는 1.82점으로 평균 점수는 소폭 상승했으나 통계적으로 유의미한 차이는 나타나지 않았다(t=-1.664, p=0.100).

Topic 1과 Topic 5의 반성 글쓰기 분석에 따른 인성역량 변화의 효과 크기를 보면(Table 9), 총점의 경우 Cohen’s d값이 1.38로 매우 큰 크기의 효과가 나타났다. 세부 인성역량 별로 살펴보면, 성실이 1.31, 개방성은 1.18, 협력은 1.09, 자기조절은 1.02로 매우 큰 효과 크기를 나타냈다. 또한 책임 0.64, 타인 존중 0.61, 긍정적 자기이해는 0.59로 중간 크기의 효과를 보였으며 정직은 0.29, 공감 0.23으로 낮은 효과 크기가 나타났다. 관용과 배려는 효과가 나타나지 않았다.

Table9.

Effect size of sub-elements of character competence in the reflective writing

Sub-Elements Openness Empathy Tolerance Caring Integrity Self-regulation Honesty Responsibility Collaboration Positive Self-Image Respect for others Total
Cohen’s d value 1.18 0.23 0.12 0.11 1.31 1.02 0.29 0.64 1.09 0.59 0.61 1.38
Effect size l s - - l l s m l m m l

s: small, m: medium, l: large

반성 글쓰기 분석 결과를 종합하면, 각 인성역량 요소별로 효과 크기 차이가 나타났는데 개방성, 성실, 협력, 자기조절 요소는 1.00 이상의 큰 효과 크기가 나타났으며, 책임, 긍정적 자기이해, 타인 존중에서는 중간 크기의 효과, 공감과 정직 요소에서는 매우 작은 크기의 효과, 관용과 배려는 효과가 나타나지 않았다. 인성역량 검사지 및 논의과정에서의 인성역량 평가와 비교할 때, 반성 글쓰기 분석에서는 다른 평가 방법에서는 관찰이 어려웠던 긍정적 자기 이해와 타인 존중에서 효과가 나타난 것이 특징적이었다.

긍정적 자기이해와 타인 존중은 전란영 등(2018)30의 연구에서 개발한 교사용 논의과정 분석틀에서는 제외된 인성역량 요소로, 학생의 말이나 행동으로 나타나기 힘들어서 교사의 관찰로 평가하기 어려웠으나, 글로 작성한 반성 글쓰기 활동에서는 비교적 잘 나타났으며 중간 크기의 효과가 나타났다.

긍정적 자기이해는 수업 중 자신에 대한 긍정적 평가가 나타나는 경우 그 평가 내용의 구체적인 정도를 평가하여 2점과 3점으로 세분화하여 평가하였다. 실제 학생들의 논의과정 사례를 살펴보면 다음과 같다(사례 5).

<사례 5>

<2점> *이번 실험은 가장 어려운 실험이었지만... (중략)... 만약 대학을 가서 실험을 하게 된다면 정말 잘 할 수 있을 것 같은 자신감이 생겼다.

*처음에는 정말 아무것도 몰랐는데 결과를 바탕으로 결론까지 낼 수 있어서 이때까지 해왔던 실험 중 가장 뿌듯하고 기분 좋았다.

<3점> *실험 과정을 이해하고 그 결과에 관한 주장과 근거를 내는데 조원들과 오랜 이야기 끝에 이해하는 데 오래 걸렸지만 만족하는 결과가 나와 뿌듯했다.

*우리 조원들 뿐만 아니라 다른 친구들과 고2 때부터 3학년 때까지 배운 화학을 이 실험을 위해 처음부터 끝까지 논의하고, 토의하고 아는 것을 총동원하여 이야기하니까 뿌듯하기도 했고... (후략)

긍정적 자기이해는 자신에 대한 올바른 이해를 바탕으로 자기 자신을 가치 있는 사람이라고 인정하는 것이라 정의한다.20 학생들의 긍정적 자기이해는 CoProC 수업에서 문제해결 과정을 경험한 뒤 반성 글쓰기를 작성하는 과정에서 수업의 전 과정을 돌아보면서 자신과 타인의 활동을 객관적으로 평가하면서 자기 자신에 대해 긍정적으로 평가하고 자기 자신을 인정하는 긍정적 자기이해가 나타나는 것으로 보인다. 이는 논의과정에서 교사가 관찰로 평가하기 어려우며 자기평가로도 나타내기 어려운 부분이다.

긍정적 자기이해와 마찬가지로 타인 존중 역시 반성 글쓰기에서 나타나는 특징적인 인성역량 요소로, 실제 수업 중 학생들이 경험한 논의과정에서 나타난 타인 존중의 예시를 통해 살펴보면 다음과 같다(사례 6).

<사례 6>

<1점> 나에게는 이번 실험이 매우 어려웠는데 OO이가 이번 마지막 실험을 역대급으로 우리 조를 이끌었다.

<2점>*우리 조 친구들 마지막까지 정말 잘했다. 고맙고, 칭찬한다!

*내가 뭘 해야 할지 모르고 있을 때 모둠원들이 적극적으로 실험을 잘해줘서 좋게 실험을 마무리할 수 있어서 고마웠다.

<3점> *솔직히 우리 조 아이들은 모두가 열심히 했지만 너무나도 세심하게 나를 챙겨주고 나의 역할에 최선을 다할 수 있도록 용기를 북돋아 줘서 내 할 일을 잘 할 수 있었다. 그래서 굉장히 모두에게 고마웠다.

긍정적 자기이해와 타인 존중은 공통적으로 수업 중 타인에게 느꼈던 감사함이나 미안함을 표현하는 등의 구성원에 대한 소중함을 포함한 내용에서 나타났다. 타인 존중은 타인의 생각, 감정, 관점을 가치 있게 생각하고 있는 그대로 받아들이는 것이라 정의한다.5 앞선 평가 방법인 논의과정 분석에서는 모둠원에게 받은 도움이나 호의에 대한 고마움이나 미안함에 대한 표현이 잘 관찰되지 않았으나 반성 글쓰기 활동에서는 고마움과 미안함에 대한 표현이 나타나는 것으로 보아, 타인 존중 역시 긍정적 자기이해와 마찬가지로 반성 글쓰기 활동에서는 수업 전 과정을 되돌아보고 자신과 타인의 행동에 대해 성찰하는 과정에서 자연스럽게 타인에 대한 감사함이나 미안함에 대해 인식하고 구성원에 대한 소중함을 인식할 수 있으므로 반성 글쓰기 활동에서 타인 존중이 나타나는 것이라 할 수 있다.

한편 반성 글쓰기 분석에서는 공감, 배려, 관용 요소가 거의 드러나지 않았다. 특히 배려 및 관용 요소에서는 그 효과가 나타나지 않았으며, 공감의 경우 배려와 관용보다 효과가 높게 나타났으나 대부분 1점(그렇지 않다)과 2점(약간 그렇다)의 사례였다. Topic 5에서의 반성 글쓰기 활동에서 유일하게 공감 요소의 사례가 나타났다(사례 7).

<사례 7>

<1점> *친구들의 표정을 보니 나뿐만 아니라 다들 어려워하는 것 같아 보였다.

*나만 잘 모르는 것 같아서 좀 걱정했는데 다들 나랑 비슷한 것 같아서 다행이었다.

<2점> 조원들이 이번 실험에서 생각해야 할 것이 많아서 힘들어하는 것 같았다.

공감, 배려, 관용의 인성역량 요소에 대한 정의를 살펴보면, 공감은 타인의 생각, 감정을 인식하고 그 사람의 입장에서 느끼고 반응하는 것, 관용은 타인의 생각, 행동에 대해 편견 없이 관대하게 대하는 것, 자신에게 잘못한 사람을 너그럽게 받아들이고 만회할 기회를 주는 것, 배려는 타인의 복지에 관심을 두거나 민감하게 반응하여 행동하는 것이다.32 세 인성역량 요소의 정의에서 나타나는 공통점은 개인이 ‘타인’을 살피고 위하는 말과 행동으로 드러나는 인성역량 요소이므로 한 학생이 수업 과정에서 관용, 공감, 배려를 행하는 경우 타인과의 상호작용을 분석하는 논의과정 분석에서는 평가되었지만, 반성 글쓰기 분석에서는 잘 드러나지 않는 것으로 보인다.

세 평가 방법 중 논의과정 분석에서는 자기조절을 제외한 나머지 인성역량 요소에서, 인성역량 검사에서는 책임을 제외한 인성역량 요소에서 통계적으로 유의미한 차이가 나타났다. 반성 글쓰기 분석에서는 공감, 관용, 배려, 정직을 제외한 나머지 인성역량 요소에서 유의미한 차이가 나타났다.

다음은 세 평가 방법에 따른 세부 인성역량 요소별 효과 크기를 비교한 것이다(Table 10).

Table10.

Comparison of effect size for three different evaluation method on character competence

Sub-Elements Openness Empathy Tolerance Caring Integrity Self-regulation Honesty Responsibility Collaboration Total
Effect size Character 0.55 0.30 0.32 0.49 0.58 0.58 0.64 0.19 0.33 0.55
competence test m s s m m m m - s m
Argumentation 2.21 2.54 1.69 1.95 0.83 0.83 0.78 0.43 2.50 2.20
process l l l l l l l m l l
Reflective 1.18 0.23 0.12 0.11 1.31 1.02 0.29 0.64 1.09 1.38
writing l s - - l l s m l l

s: small, m: medium, l: large

인성역량 검사지, 논의과정, 반성 글쓰기의 세 가지 평가 방법에 따른 인성역량 변화의 효과 크기를 세부 요소별로 살펴보면, 성실, 자기조절, 책임을 제외한 나머지 요소인 개방성, 공감, 관용, 배려, 정직, 협력 그리고 총점에서 논의과정 분석에 따른 인성역량 효과 크기 값이 큰 것으로 나타났다. 성실, 자기조절, 정직, 책임의 경우 세 결과 간 효과 크기 값에서 차이는 나타나나 다른 요소들에 비해 다소 작은 효과 크기 차이가 나타났다. 특히 자기조절 요소의 경우, 논의과정 분석과 반성 글쓰기 분석 결과에서 효과 크기 간 차이가 0.19로 작은 차이 값이 나타났고 정직 요소에서는 인성역량 검사와 논의과정 분석 결과의 효과 크기 차이가 0.14로 가장 작은 차이 값이 나타났다.

인성역량 평가 방법에 따른 상관관계 분석 결과

협력적 문제해결 중심 교수모델(CoProC)에 기반한 화학 수업을 적용에 대한 효과를 알아보기 위해 실시한 세 가지 인성역량 평가 결과 간의 상관관계를 알아보기 위해 pearson 상관계수를 이용하여 결과를 분석하였다.

인성역량 요소는 세 가지 평가에서 공통적으로 적용된 인성역량 요소인 개방성, 공감, 관용, 배려, 성실, 자기조절, 정직, 책임, 협력의 총 9개 요소에 대해 분석하였다.

사전 인성역량 검사와 CoProC 적용 초기의 논의과정 및 반성 글쓰기 분석. 여기에서는 사전 인성역량 검사, CoProC 적용 초기 논의과정 및 반성 글쓰기의 인성역량 결과의 상관관계를 총점과 세부 인성역량 요소에 대해 분석하였다. 총점부터 살펴보면, 인성역량 검사와 논의과정 총점 상관계수(r=0.033)와 논의과정과 반성 글쓰기 총점 상관계수(r=-0.084), 인성역량 검사와 반성 글쓰기 총점 상관계수(0.170)로부터 볼 때 총점 간 상관이 매우 낮은 것으로 나타났다(Table 11).

Table11.

Correlations among the three evaluation methods on pre-character competence

Pearson correlation between evaluations Character competence test – argumentation process argumentation process – reflective writing Character competence test – reflective writing
Openness 0.180 0.081 0.051
Empathy 0.125 0.006 0.021
Tolerance -0.071 - -
Caring -0.030 -0.072 0.030
Integrity -0.007 -0.006 -0.056
Self-Regulation -0.001 -0.168 -0.126
Honesty -0.134 -0.086 0.107
Responsibility -0.105 0.027 0.116
Collaboration 0.002 -0.078 0.140
Total 0.033 -0.084 0.170

**p<.01

위 결과를 보면 개방성, 공감, 배려, 관용, 성실, 정직, 자기조절, 책임, 협력의 9개 요소에서 상관계수 값의 크기가 –0.200 ~ 0.200로 매우 작은 값으로 나타났으며, 관용의 경우 논의과정 분석과 반성 글쓰기 분석, 인성역량 검사와 반성 글쓰기 분석에서는 상관관계가 나타나지 않았다. 이러한 낮은 상관계수 값으로 볼 때 세 평가 방법 간 상관관계가 낮다고 할 수 있다.

이는 하나의 평가 방법이 다른 평가 방법을 대체할 수 없다는 것을 의미하는 것으로 보인다. 그러므로 학생의 인성역량 변화를 세부적이고 구체적으로 파악하기 위해 서로 다른 인성역량 평가 방법들이 상호 보완적으로 사용되어야 함을 의미한다.

사후 인성역량 검사와 CoProC 적용 후기의 논의과정 및 반성 글쓰기 분석. 사후 인성역량 검사와 CoProC 적용 후기의 논의과정과 반성 글쓰기의 인성역량 평가 결과의 상관관계를 총점과 세부 인성역량 요소에 대해 분석하였다(Table 12).

Table12.

Correlations among the three evaluation methods on post-character competence

Pearson correlation between evaluations Character competence test – argumentation process argumentation process – reflective writing Character competence test – reflective writing
Openness 0.224 0.116 0.063
Empathy -0.057 -0.100 -0.147
Tolerance 0.017 -0.055 -0.115
Caring -0.030 -.385** 0.115
Integrity -0.002 0.022 -0.122
Self-Regulation -0.043 0.005 -0.153
Honesty 0.041 -0.098 -0.070
Responsibility 0.093 0.076 -0.018
Collaboration 0.032 -0.092 -0.089
Total 0.049 -0.123 -0.146

**p<.01

사후 인성역량 검사 및 CoProC 적용 후기인 Topic 5에 대한 논의과정과 반성 글쓰기를 분석한 결과, 논의과정과 반성 글쓰기 총점 상관계수는 –0.123으로 낮았으며 인성역량 검사와 논의과정 총점 상관계수는 0.049, 인성역량 검사와 반성 글쓰기 총점 상관계수는 –1.46으로 낮은 상관을 나타냈다. 세부 인성역량 요소 간의 상관관계를 살펴보면, 배려 요소에서 0.01 수준에서 유일하게 유의미한 상관관계가 나타났다(Table 12). 또한 인성역량 검사와 반성 글쓰기에서 사전 인성역량 상관관계에서와는 달리 부적 상관이 나타났는데, 논의과정과 반성 글쓰기에서 상관계수가 –0.385로 부적 상관관계가 있다고 볼 수 있다. 그 외 인성역량 검사와 논의과정, 인성역량 검사와 반성 글쓰기에서의 세부 인성역량 요소 간 낮은 상관관계가 나타났다. 개방성, 공감, 관용, 자기조절, 성실, 정직, 협력, 책임에서는 상관계수 값의 크기가 –0.200 ~ 0.200로 매우 작은 값으로 나타났으므로 세 평가 간 상관관계가 매우 낮은 것으로 보인다.

사후 검사 결과로 분석한 세 평가 간 상관관계는 총점부터 세부 인성역량 요소까지 매우 낮은 값으로 나타났다. 이는 앞서 살펴본 사전 검사에서의 결과와 유사한 것으로 보인다. 다만, 세부 인성역량 요소별로 정적 상관을 나타내던 인성역량 요소가 부적 상관을 나타내기도 하고, 부적 상관을 나타내던 요소가 정적 상관을 나타내기도 하는 등의 차이가 나타났다.

각 평가 방법별 평균 점수 결과 비교. 각 평가 결과 간 상관관계는 사전 검사와 사후 검사에서 모두 낮은 것으로 나타났으므로, 각 평가 결과에서 인성역량 요소별 평균 점수 변화를 비교하여 평가도구별 특징을 보다 구체적으로 분석하였다. 여기서 비교한 인성역량 요소는 반성 글쓰기에서 추가로 관찰된 긍정적 자기이해와 타인 존중을 제외한 9가지 요소이다(Table 13).

Table13.

Comparison of average for the three evaluation methods

Average Character competence test Argumentation process Reflective writing
Pre-Test Post-Test Topic 1 Topic 5 Topic 1 Topic 5
Openness 2.31 2.57 1.68 2.64 0.49 1.77
Empathy 2.44 2.58 1.61 2.56 0.01 0.07
Tolerance 2.27 2.46 1.90 2.68 0.00 0.01
Caring 2.23 2.50 1.67 2.55 0.01 0.03
Integrity 2.14 2.45 2.25 2.54 0.48 1.84
Self-Regulation 2.32 2.48 2.34 2.44 0.60 1.73
Honesty 2.08 2.40 1.75 2.09 1.44 1.82
Responsibility 2.47 2.56 2.58 2.74 0.25 0.92
Collaboration 2.42 2.57 1.56 2.55 0.19 1.36
Positive Self-Image - - - - 0.37 1.03
Respect for others - - - - 0.04 0.42

학생들은 CoProC 수업을 경험하기 전과 후 자기평가 형태인 인성역량 검사를 실시하여 자기 자신이 평가의 주체가 되어 자신의 인성역량 수준에 대해 스스로 점검하는 기회를 가졌다. 논의과정 분석 및 반성 글쓰기 분석에서 나타난 결과와 유사하게 인성역량 검사에서도 모든 인성역량 요소에서 사전 검사 결과보다 사후 검사 점수가 높은 것으로 나타났다.

각 평가 방법별 평균 점수를 비교한 결과, 인성역량 검사에서는 사전 검사 평균 점수가 다른 평가 방법들의 Topic 1의 평균 점수에 비해 높게 나타났다. 이는 인성역량 검사가 자기평가 방식을 취하기 때문인 것으로 보인다. 이는 자기평가 방식이 자기 자신에게 긍정적인 긍정왜곡현상, 특히 우리나라의 문화적 특성으로 빈번하게 발생하는 중심경향반응과 같은 반응편파가 나오는 경향이 높은 것으로 보여 객관성 확보의 어려움으로 인한 한계점이라 할 수 있다.29,33,34 그러나 이와 같은 한계점에도 불구하고 자기평가는 평가의 실용성뿐만 아니라 ‘평가’가 학생의 향상 및 발달에 대해 학생에 대한 정보를 수집하는 과정이라는 점으로 볼 때, 학생이 평가의 주체로서 자신의 학습 과정을 꾸준히 되돌아보고 스스로의 변화 정도를 파악하는 과정 자체를 경험한다는 것에 의의가 있다고 볼 수 있다.35,36

논의과정 분석에서 Topic 1과 Topic 5의 평균 점수 차이가 가장 뚜렷한 것으로 나타났다. 특히, 반성 글쓰기 분석에서는 거의 찾아볼 수 없는 공감, 관용, 배려의 경우 논의과정 분석 결과에서는 매우 높은 수준의 평균 점수가 나타났는데 이는 학생들이 논의과정에서 서로의 의견을 나누고 경청하는 과정에서 자연스럽게 공감, 관용, 배려를 경험하고 이러한 경험이 학생의 행동과 말에서 나타난다 할 수 있다. 또한 책임과 협력도 마찬가지로 인성역량 검사와 반성 글쓰기 분석에서보다 논의과정 분석에서 높은 점수가 나타났는데, 이는 학생들의 협력과 책임감이 스스로 자각하고 인지하거나, 글로써 표현하는 것보다 말과 행동에서 더 잘 나타나는 인성역량 요소임을 알 수 있는 결과이다. 전란영 등(2018)의 연구30에서 보고한 바와 같이 논의과정 분석 방법은 교사의 관찰에 의존하게 되어 학생의 자기 자신의 성취에 대한 만족감을 나타내는 긍정적 자기이해나 타인에 대한 감사와 미안한 마음 등을 포함하는 개념인 타인 존중 등의 요소는 측정하기 어렵다. 그러나, 교사의 관찰평가는 수업 과정에서 나타나는 학생들의 언어적 정보 및 비언어적 행동을 수집하는 것을 목표로 다양한 수업 장면에서 활용되고 있으며,37 태도나 신념 같은 정의적 특성까지 평가할 수 있어 대상에 대해 보다 심화된 자료를 얻을수 있다는 것에 의의가 있을 것으로 판단된다.38

반성 글쓰기 분석에서는 인성역량의 행동적 측면이라 할 수 있는, 즉 수업의 과정에서 학생의 말과 행동으로 나타나기 쉬운 공감, 관용, 배려를 측정하기는 어려웠는데 이는 김희경 등의 연구(2013)에서 보고된 바와 같이 결과물 평가는 수업의 과정을 평가하지 않아 학생의 전체적인 면을 평가하기 어렵다는 점과 같은 결과라 할 수 있다.39 그러나 반성 글쓰기 분석에서는 논의과정 분석과 인성역량 검사에서 관찰이 어려웠던 긍정적 자기이해와 타인 존중이 나타났다. 이는 학생들이 반성 글쓰기 활동을 경험하면서 수업 전 과정을 되돌아보고 자신과 타인의 상호작용을 분석하므로 학생들이 자연스럽게 자기 자신의 성취에 대해 긍정적으로 인식하는 계기를 가질 수 있기 때문으로 보인다. 또한 수업 과정에서 타인과의 상호작용을 돌아보고 타인에 대한 고마움, 미안한 감정을 가진 내용을 기록하므로 반성 글쓰기 분석을 실시함으로써 논의과정 분석과 인성역량 검사에서 관찰하지 못한 인성역량을 평가할 수 있는 것으로 보인다.

결 론

이 연구에서는 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업에서 학생들의 인성역량 변화를 세 가지 서로 다른 평가 방법으로 분석하고 그 결과를 비교하였다. 이를 위하여 실험집단 학생들에게 CoProC 수업 전과 후에 자기평가 형태인 인성역량 검사, 수업 중 나타나는 학생 논의과정에 대한 교사의 관찰평가, 수업의 결과물로써 학생들이 작성한 반성 글쓰기에 대한 교사 평가를 실시하였다. 협력적 문제해결 중심 교수모델(CoProC)을 적용한 화학 수업의 효과분석을 위해 대응 표본 T-검정을 실시하였고, 효과 크기를 분석하였으며, 평가 결과 간 pearson 상관계수를 이용하여 세 가지 평가 방법 사이의 상관관계를 분석하였다. 이 연구를 통해 얻은 결과 및 결론은 다음과 같다.

인성역량 검사 결과의 경우 책임을 제외한 나머지 인성역량 요소인 개방성, 공감, 관용, 배려, 성실, 자기조절, 정직, 협력에서 모두 유의미한 차이가 나타났다. 또한 공감, 관용, 협력에서는 작은 크기의 효과 크기가 나타났고, 개방성, 배려, 성실, 자기조절, 정직에서는 중간 크기의 효과가 나타났다. 논의과정 분석에서는 세 가지 평가 방법 중 CoProC 수업 초기와 후기의 인성역량 요소 평균 점수를 비교할 때 가장 큰 통계적 차이와 효과 크기가 나타났는데, 자기조절을 제외한 모든 인성역량 요소에서 큰 상승 폭을 관찰할 수 있었고, 효과 크기 또한 중간 효과 크기를 보인 책임 영역을 제외한 나머지 모든 영역에서 매우 큰 크기의 효과가 나타남을 알 수 있다. 반성 글쓰기 분석에서는 세부 인성역량 요소인 공감, 관용, 배려, 정직과 관계된 부분을 찾기 어려웠고, 유의미한 차이가 나타나지 않았으나, 다른 평가 방법에서 관찰할 수 없었던 긍정적 자기이해와 타인 존중이 관찰되었다. 논의과정 분석에서 긍정적 자기이해와 타인 존중이 관찰되지 않은 이유는 교사의 관찰을 중심으로 한 과정평가 방법으로 개발된 전란영(2018) 분석틀30의 특징 때문인 것으로 보인다. 또한 인성역량 검사는 인성역량 요소의 통일성을 고려하여 전란영(2018) 분석틀30을 기반으로 변형되어 활용하였으므로 다른 인성역량 요소가 측정되지 않은 것이라 할 수 있다. 효과 크기 역시 공감, 관용, 배려, 정직을 제외한 나머지 영역은 중간 이상의 효과 크기를 보였다.

협력적 문제해결 중심 교수모델(CoProC) 적용 후 인성역량 검사, 논의과정 분석 및 반성 글쓰기 분석 결과에서 사전 인성역량 검사와 논의과정 분석 및 반성 글쓰기 분석 결과보다 평균 점수가 높은 것으로 보아, 세 평가에서 모두 실험집단 학생들의 인성역량이 상승한 것으로 볼 수 있다. 이는 세 가지 평가 방법 모두 실험집단 학생들의 인성역량이 상승했음을 관찰하기에 적합한 평가 방법임을 알 수 있는 결과이다. 그러나 각 평가 방법마다 높게 나타나는 인성역량 요소에서 차이가 나타났다. 또한 세 평가 결과 간 상관관계를 분석한 결과, 학생들에게 CoProC 수업을 적용하기 전과 후에서 모두 평가 결과 간 상관관계는 낮게 나타났다. 세 평가 방법에서 모두 총점은 상승하였으나, 세부적인 인성역량 요소의 평균 점수 상승 폭과 요소 간 평균 점수에서 차이가 나타난 것은 각 평가 방법별로 효과적으로 측정할 수 있는 인성역량 요소가 있으며, 이는 각각의 평가 방법이 상호 보완적으로 사용될 수 있다는 것을 의미한다.

인성역량 검사의 경우, 자기평가 방식을 취하고 있으므로 다른 자료수집 방법에 비해 객관성 확보의 어려움이 있으나,29,33,34 신뢰도와 타당도가 양호하고 대규모 학교 현장에 적용하기에 실시 및 채점에 소요되는 시간과 노력이 적게 들기 때문에 실용적이라는 장점과40 학생이 평가의 주체로서 학습에 대한 주인의식을 갖고 수업 전 과정을 되돌아보는 경험을 하고,35,36,41 이 과정에서 자신의 수행을 조절하는 자기조절을 경험할 수 있다.28 또한 학습에 대한 참여 동기를 유발하고 수행에 대한 자기 효능감을 증진시키므로,42 자기 자신에 대한 존중과 자기이해를 포함한 인성역량 요소인 긍정적 자기이해를 향상시킨다 볼 수 있다. 인성역량 검사는 앞선 연구 결과에서 보고된 반응편파 등의 단점에도 불구하고 인성역량에서 긍정적 자기이해와 자기조절을 포함한 개인 역량 영역을 효과적으로 발달시키는데 필요한 평가 방법이라 할 수 있다.5

논의과정 분석의 경우 교사가 평가의 주체가 되어 학생의 논의과정을 분석하고 학생의 행동과 말에서 나타나는 인성역량을 측정하는 과정평가이다. 교사의 관찰평가는 학생의 자기평가 결과보다 낮은 점수를 보이며 이는 교사가 학생들의 인성 수준을 더 낮게 자각한다는 단점으로 보고되었다.33 또한 교사의 관찰에 의존하게 되어 긍정적 자기 이해나 타인 존중 등의 요소는 측정하기 어려우나,30 지필평가 대신 관찰평가를 실시한 결과, 학생의 시행착오, 오개념, 학습상의 어려움 등을 이해하게 되었다고 보고하고 있으며,43 학생의 정의적 특성까지 평가할 수 있다는 장점이 있다.44 이 연구에서도 논의과정 분석에서 다른 평가 방법에서 잘 나타나지 않았던 공감, 배려, 관용 등이 매우 높게 나타나, 학생의 수행 과정에서 보이는 행동과 말로써 나타나는 인성역량을 분석하기에 매우 적합한 평가 방법이므로 의의가 있다고 볼 수 있다. 이처럼 관찰평가는 자기평가 방식 검사의 문제점들을 보완할 수 있을 뿐만 아니라 정의적 특성을 심층적으로 파악하는데 유익한 방법이라 할 수 있다.44

또한 반성 글쓰기 분석은 수업 이후 학생들이 만들어 낸 결과물인 반성 글쓰기를 교사가 평가하는 형태로, 이는 결과 중심 수행평가 형태라 할 수 있다.39 이런 이유로 반성 글쓰기 분석에서는 인성역량의 행동적 측면이라 할 수 있는 공감, 관용, 배려를 측정하기는 어려웠으나, 반성 글쓰기는 학생이 수업의 전 과정을 스스로 검토하는 과정을 거쳐서 기록된 결과물이라는 점과 학생이 자신과 구성원의 상호작용을 되돌아보면서 가지게 되는 긍정적 자기이해나 타인 존중과 같은 인성역량 요소를 평가할 수 있다는 측면에서는 큰 장점이라 할 수 있다. 그러므로 반성 글쓰기 분석은 자기 자신을 객관적으로 이해하는 능력인 개인 역량, 타인을 공감하고 이해하는 능력인 대인 역량 영역5을 분석하고 향상시키기에 적합한 평가 방법이라 할 수 있다.

세 평가 방법으로 분석한 인성역량 결과 간 상관관계가 낮으나, 각각의 평가 결과가 인성역량 평가에서 갖는 의의가 다르므로 세 평가 방법이 함께 실시되어야 학생의 인성역량에 대한 세부적이고 종합적인 정보를 얻을 수 있으리라 판단된다. 이는 인성역량이 그저 도덕성에 국한된 개념이 아니라 실천적 측면을 포함한 종합적인 개념이므로 인성역량을 평가하는 절대적인 평가 방법이 있다기보다 각 평가가 서로 상호 보완적으로 적용되었을 때 학생의 인성역량 수준을 보다 효과적으로 평가할 수 있을 것이라는 점을 시사한다.

앞으로 과학교육에서 더욱 효과적인 인성역량 평가가 실시되기 위해서는 각 평가도구가 인성역량 평가에서 갖는 의미를 바탕으로 각 평가 결과가 학생의 인성역량 발전에 유의미한 피드백을 제공할 수 있도록 평가 방법 및 과정에 대한 연구를 실시해야 할 필요성이 있다. 또한 인성역량 평가에서 논의과정 분석이 과정평가로써 인성역량 평가에 의미가 있었으나, 분석과정에서 교사가 분석틀의 평가 기준을 명확히 하는 과정에 어려움을 겪을 수 있으므로, 교사용 분석틀이 학생의 실제 말과 행동을 바탕으로 보완될 필요가 있다. 대규모 학생들을 대상으로 과정평가를 실시하고 실제 학생들에게서 나타나는 말과 행동을 바탕으로 각 항목에 대한 세부적인 기준을 포함하여 평가도구를 보완한다면, 과정평가에서 더욱 유의미한 평가 결과를 얻을 수 있으리라 판단된다.

Acknowledgements

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터지원사업의 연구 결과로 수행되었음(IITP-2020-0-01606).

References

1. 

S. H. Im Korean Educational Development InstituteSeoul, Korea2017107RR 2017-23

2. 

S. L. Do Korean Journal of Thinking Development20139143

3. 

J. Lee A Study for Improvement of Character Education for Korean Young PeopleM.A. Pusan National UniversityBusan, Korea2009

4. 

Ministry of EducationFive Year Comprehensive Plan of Character Education (2016~2020)2016

5. 

J. I. Kwon J. H. Nam Journal of the Korean Association for Science Education201737847

6. 

Character Education Partnership 2002http://www.character.org/accessed 11/6/20

7. 

Center for Curriculum Redisign (CCR) 2015http://www.curriculumredesign.orgaccessed 11/6/20

8. 

Y. L. Moon I. S. Choi Y. J. Kwak H. J. Lee Korea Foundation for the Advancement of Science and Creativity, Ministry of Education and Science TechnologySeoul, Korea20102009-019

9. 

A. Cooley Educational Studies: A Journal of the American Educational Studies Association200843188 [CrossRef]

10. 

C. Parker. David Jennifer S. Nelson. Matthew K. Burns Psychology in the Schools201047817 [CrossRef]

11. 

A. Agboola K. C. Tasai European Journal of Educational Research20121163 [CrossRef]

12. 

Y. Lee The Journal of Elementary Education201225125

13. 

J. S. Yang N. S. Cho S. Y. Park G. J. Jang J. Y. Eun Korea Institute of Curriculum & Evaluation20136RRC

14. 

OECD, Organisation for Economic Co-operation DevelopmentThe Definition and Selection of Key Competencies2003

15. 

H. R. Stiff-Williams The Clearing House201083115 [CrossRef]

16. 

J. D. Park Journal of Moral Education201426177 [CrossRef]

17. 

J. B. Yoo The Korean Journal of Philosophy of Education20163899 [CrossRef]

18. 

K. S. Jang D. Y. Lee S. M. Song Y. K. Woo C. W. Jeong Korea Institute of Curriculum & Evaluation2015RRI 2015-3.

19. 

M. H. Lee Journal of Learner-Centered Curriculum and Instruction201919311

20. 

K. E. Kim N. R. Lee Journal of Research in Curriculum Instruction201216231 [CrossRef]

21. 

I. J. Jo The Blue Concerning the Improvement of Evaluation Method for Highschool Law EducationM.E. Sungkyunkwan UniversitySeoul, Korea2010

22. 

Y. S. Kwak Journal of the Korean Earth Science Society201334378

23. 

Y. J. Kang R. Y. Jeon J. N. Kim H. H. Kim J. S. Park J. W. Son H. S. Jo J. H. Nam Journal of the Korean Association for Science Education201838555

24. 

S. Park S. Huh The Journal of Child Education20122135

25. 

C. Ryu H. Jin The Journal of Education200626139

26. 

J. Yang H. Kim L. Gao E. Kim S. Kim H. Lee Journal of the Korean Association for Research in Science Education201232113 [CrossRef]

27. 

D. W. Kwon Effects of Science Teaching Applying the Collaborative Problem Solving for Competency (CoProC) Instruction Model on the Practical Character Competence and Social Competence of Middle School StudentsM.E. Pusan National UniversityBusan, Korea2019

28. 

J. Park Joernal of Education Evaluation201932421

29. 

S. H. Hong U. K. Noh S. Jeong Journal of Educational Evaluation201124713

30. 

R. Y Jeon H. H Kim J. H Nam E. G Kang J. W Son J. S. Park Journal of the Korean Association for Science Education201838419

31. 

S. W. Moon The Korean Journal of Counseling and Psychotherapy200214655

32. 

Y. S. Lee Korea Journal of Counseling2009102479 [CrossRef]

33. 

JoongAng IlboKyung Hee UniversityLack of honesty, consideration, self-regulation - Middle school students ‘crisis of human nature’http;//news.joins.com/article/12654736?ctg=accessed 10/6/20

34. 

H. J. Lee A Investigation of Method Effects Associated With Negatively Worded Items and Positively Worded Items on Self-Report Surveys. Ph.D.Korea UniversitySeoul, Korea2012

35. 

D. R. Sadler Instructional Science198918119 [CrossRef]

36. 

P Black D. Wiliam Evaluation and Accountability2009215 [CrossRef]

37. 

S. W. Kim T. J. Choi Educational Research MethodologyHakjisaSeoul2015148149

38. 

J. H. Jeong The Korean Association of Practical Arts Education201023206

39. 

H. K. Kim J. I. Park E. A. Park M. H. Seo K. T. Han Korea Institute of Curriculum & Evaluation20131169

40. 

H. S. Kang D. B. Joo HakjisaSeoul2012371

41. 

S. Leahy C. Lyon M. Thompson D. Wiliam Educational Leadership20056318

42. 

M. Griffiths C. Davies British Educational Research Journal19931943 [CrossRef]

43. 

H. K. Jo Exploration of Supporting Teaching and Learning of Mathematics Assessment Through Observation and Interview. Ph.D.Sungkyunkwan UniversitySeoul, Korea2014

44. 

M. J. Kwon Y. S. Lee Journal of Ethics Education Studies201744157 [CrossRef]