Очистка переменной с очень похожими наблюдениями

Question

Итак, у меня есть набор данных в Stata, который имеет переменную, называемую «описание программы», которая имеет очень похожие наблюдения, хотя наблюдения не следуют ни одному шаблону. Моя цель - очистить переменную, чтобы похожие наблюдения были одинаковыми.

Вот пример того, что переменные выглядят следующим образом:

Variable Name 

phys ed 
physical education 
phys ed k-12 
learning disabilities 
learn dis 
learn disable 

Поэтому я хотел бы, чтобы первые три просто назвать «Phys ред» (или производной от этого), и последних трех просто называются «недостатками обучения»

Я использовал функцию strpos(), чтобы заменить наблюдения, содержащие определенные фразы, но поскольку переменная имеет наблюдения 100 тыс. и множество разных имен, это занимает некоторое время.

Answer 1

Вы можете использовать strgroup от SSC, но вряд ли вы окажетесь здесь. Например, это работает:

. strgroup string , gen(group) threshold(.7) normalize(longer) 

. list, clean noobs 

        string group 
        phys ed  1 
     physical education  1 
      phys ed k-12  1 
    learning disabilities  2 
       learn dis  2 
      learn disable  2 

Однако, «физика» была бы отображена в группу 1 с этими настройками. Также обратите внимание, что эта команда чувствительна к регистру, поэтому сначала может иметь смысл в верхнем и нижнем регистре. Порог - действительно своего рода параметр настройки.

У меня также была удача с Google/Open Refine с этими проблемами. Это называется примирением.

При всех этих подходах стандартизация проходит долгий путь.