Если я правильно понимаю ваш вопрос, то, что вам нужно, это знак перекрестного продукта. Если у вас есть два вектора: A и B, то поперечное произведение A и B положительно тогда и только тогда, когда B находится против часовой стрелки от A. Другими словами, если вы укажете свою руку в направлении A, а затем переместите его в точку в направлении B, тогда вам придется двигаться рукой против часовой стрелки.
В вашем вопросе допустим, что CrossProduct (a, b) является положительным. Тогда c находится между a и b тогда и только тогда, когда оба CrossProduct (a, c) и CrossProduct (c, b) являются положительными.
Если для начала CrossProduct (a, b) отрицательный, то вы хотите, чтобы и CrossProduct (a, c), и CrossProduct (c, b) были отрицательными.
Благодаря перекрестное произведение было то, что мне было нужно. Большое спасибо! – probiner
На самом деле, делая другие вещи, подумал о лучшем методе. Добавлено ниже. – probiner