Windows test

Author: ivanstepanovftw

llama.cpp

@@ -1481,6 +1481,7 @@ static std::vector<llama_vocab::id> llama_tokenize(const llama_vocab & vocab, co
 
 void llama_sample_softmax(struct llama_context * ctx, llama_token_data_array * candidates) {
     assert(candidates->size > 0);
+    printf("llama_sample_softmax\n");
 
     const int64_t t_start_sample_us = ggml_time_us();
 
@@ -1491,15 +1492,24 @@ void llama_sample_softmax(struct llama_context * ctx, llama_token_data_array * c
         });
         candidates->sorted = true;
     }
+    printf("llama_sample_softmax 2\n");
 
     float max_l = candidates->data[0].logit;
+    printf("max_l = %f\n", max_l);
+    fflush(stdout);
     float cum_sum = 0.0f;
     for (size_t i = 0; i < candidates->size; ++i) {
+        printf("i = %d, logit = %f\n", i, candidates->data[i].logit);
+        fflush(stdout);
         float p = expf(candidates->data[i].logit - max_l);
         candidates->data[i].p = p;
         cum_sum += p;
     }
+    printf("cum_sum = %f\n", cum_sum);
+    fflush(stdout);
     for (size_t i = 0; i < candidates->size; ++i) {
+        printf("i = %d, p = %f\n", i, candidates->data[i].logit);
+        fflush(stdout);
         candidates->data[i].p /= cum_sum;
     }