Skip to content

Commit 4a85442

Browse files
committed
Update llama.cpp
1 parent 2f03fb0 commit 4a85442

File tree

2 files changed

+8
-2
lines changed

2 files changed

+8
-2
lines changed

llama_cpp/llama_cpp.py

+7-1
Original file line numberDiff line numberDiff line change
@@ -733,8 +733,14 @@ def llama_n_ctx(ctx: llama_context_p) -> int:
733733

734734

735735
_lib.llama_n_ctx.argtypes = [llama_context_p]
736-
_lib.llama_n_ctx.restype = c_int
736+
_lib.llama_n_ctx.restype = c_uint32
737737

738+
# LLAMA_API uint32_t llama_n_batch (const struct llama_context * ctx);
739+
def llama_n_batch(ctx: llama_context_p) -> int:
740+
return _lib.llama_n_batch(ctx)
741+
742+
_lib.llama_n_batch.argtypes = [llama_context_p]
743+
_lib.llama_n_batch.restype = c_uint32
738744

739745
# LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_model * model);
740746
def llama_vocab_type(model: llama_model_p) -> int:

vendor/llama.cpp

0 commit comments

Comments
 (0)