Analyzing topic differences, writing quality, and rhetorical context in college students’ essays using linguistic inquiry and word count (liwc)

Abstract

Machine methods for automatically analyzing text have been investigated for decades. Yet the availability and usability of these methods for classifying and scoring specialized essays in small samples–as is typical for ordinary coursework–remains unclear. In this paper we analyzed 156 essays submitted by students in a first-year college rhetoric course. Using cognitive and affective measures within Linguistic Inquiry and Word Count (LIWC), we tested whether machine analyses could i) distinguish among essay topics, ii) distinguish between high and low writing quality, and iii) identify differences due to changes in rhetorical context across writing assignments. The results showed positive results for all three tests. We consider ways that LIWC may benefit college instructors in assessing student compositions and in monitoring the effectiveness of the course curriculum. We also consider extensions of machine assessments for instructional applications.Машинні методи автоматичного аналізу тексту та їхні можливості вивчалися впродовж десятиліть. Однак питання доступності та зручності використання цих методів для класифікації та оцінки спеціалізованих есеїв у невеликих зразках, як, наприклад, курсових роботах, залишається досі малодослідженим питанням. У статті проаналізовано 139 есеїв із курсу стилістики, написаних студентами першого курсу. На основі використання когнітивних та афективних категорій програми Linguistic Inquiry and Word Count (LIWC) було перевірено здатність машинного аналізу: а) розмежовувати теми есеїв, б) розрізняти високу та низьку якість письма та в) виявляти відмінності через зміни стилістичного контексту написаних завдань. Дослідження засвідчило позитивні результати для всіх трьох тестових перевірок. Увагу авторів зосереджено на тому, як LIWC може полегшити роботу університетських викладачів під час оцінки ними студентських творів та моніторингу ефективності навчальної програми курсу. Крім того, у статті розглянуто питання перспектив машинного оцінювання викладацьких застосунків.