Отключить токенные перерывы при пунктуации LUIS.ai

Question

Я работаю с API-интерфейсом API для понимания языка Microsoft Cognitive Service, LUIS.ai.

Всякий раз, когда текст анализируется LUIS, в пунктуации всегда помещаются символы прокрутки.

Данное поведение является преднамеренным, согласно documentation.

«английский, французские, итальянские, испанские: лексемы перерывы вставлены в любых пробелах и вокруг любой пунктуации.»

Для моего проекта, мне нужно сохранить исходную строку запроса, без этих лексем, так как некоторые лица, обучен для моей модели будет включать в себя знаки препинания, и это раздражает и немного Hacky, чтобы лишить лишние пробелы из проанализированной ,

Пример такого поведения:

Есть ли способ отключить это? Это сэкономит немало сил.

Спасибо!

Answer 1

К сожалению, пока нет возможности отключить это, но хорошей новостью является то, что возвращенные предсказания будут иметь дело с исходной строкой, а не с символикой, которую вы видите в примере процесса маркировки.

Вот в документации how to understand the JSON response вы можете увидеть пример вывода Хранителей оригинальный «запрос» строка, и добытые объекты имеют индексы нуля на основе символов ("startIndex", "endIndex") в исходной строке; это позволит вам обрабатывать индексы вместо выраженных сущностных фраз.

{ 
"query": "Book me a flight to Boston on May 4", 
"intents": [ 
    { 
    "intent": "BookFlight", 
    "score": 0.919818342 
    }, 
    { 
    "intent": "None", 
    "score": 0.136909246 
    }, 
    { 
    "intent": "GetWeather", 
    "score": 0.007304534 
    } 
], 
"entities": [ 
    { 
    "entity": "boston", 
    "type": "Location::ToLocation", 
    "startIndex": 20, 
    "endIndex": 25, 
    "score": 0.621795356 
    }, 
    { 
    "entity": "may 4", 
    "type": "builtin.datetime.date", 
    "startIndex": 30, 
    "endIndex": 34, 
    "resolution": { 
     "date": "XXXX-05-04" 
    } 
    } 
] 

}