Каковы некоторые способы или распространенные методы для проверки правильности алгоритма обучения без надзора

Question

Я знаю, что часть красоты, загадки и сложность неконтролируемого обучения заключается в том, что он извлекает информацию из множества данных, которые люди могут понять. Однако есть ли способы узнать, правилен ли алгоритм. Например, скажем, что он смотрит на тренды акций и делает некоторые вычеты относительно определенного запаса. Не видя, как это происходит, есть ли способ узнать, что это правильно? Данные, которые он обучил, могут быть неправильными или, что более важно, ваш алгоритм мог бы просто сделать неправильные выводы. Очевидно, есть математические меры, такие как потеря, но в настоящее время нам просто нужно жить с тем, что алгоритм может быть неправильным? Каковы некоторые из способов, которыми мы можем измерить, насколько правильный алгоритм без надзора (или «правильный» - просто амбициозный термин)?

Answer 1

Короче:

фактически не видя, как он играет, есть ли способ узнать, что это правильно?

Нет. Если бы это было, вам даже не понадобился бы ваш первоначальный алгоритм. Просто сделайте случайные прогнозы и используйте свой оракул, чтобы узнать, правильны они или нет.

Данные он обучен прочь может быть неправильно

ML алгоритмы учатся на основе данных. Если это неправильно, они узнают неправильно. Если бы вам только сказали, что 1 + 1 = 3, есть ли у вас какие-либо причины подвергать сомнению его?

что еще более важно, ваш алгоритм мог бы только что нарисовали неправильные выводы

никакого заключения не так, если она подтверждается данными. Возможно, это не тот, который вам нужен (см. https://www.jefftk.com/p/detecting-tanks), и в этом случае вы должны получить данные, которые лучше описывают то, что вам нужно.

но в настоящее время нам просто нужно жить с тем, что алгоритм может быть неправильным?

Да, и мы, вероятно, всегда будем. Всегда ли люди когда-либо правы? Вы можете ошибаться в самых простых вещах при правильных обстоятельствах. И мы гораздо умнее, чем современные ИИ.

Каковы некоторые из способов, которыми мы можем измерить, насколько правильный алгоритм без надзора (или является «правильным» только амбициозным термином)?

Это очень амбициозный. Вы можете проверить результаты вручную, если вы достаточно хорошо справляетесь с проблемой, которую пытаетесь решить. Если вы хотите классифицировать изображения на собак и кошек, это, вероятно, достаточно просто для вас, как человека, которого можно судить. Примените алгоритм и проверите некоторые из предсказаний вручную, чтобы получить представление о том, насколько хорошо он это сделал.

Если вы хотите, чтобы что-то играло, играйте хорошо, бросайте вызов чемпиону мира.

Это зависит от проблемы.