llama_cpp_sampler.h

Go to the documentation of this file.

// SPDX-License-Identifier: Apache-2.0
#pragma once
 
#include <entropic/inference/sampler.h>
 
// Forward-declare llama.cpp opaque types — keeps llama.h out of the
// header. The .cpp pulls in llama.h for real calls.
struct llama_context;
struct llama_vocab;
struct llama_sampler;
 
namespace entropic {
 
class LlamaCppSampler : public Sampler {
public:
    LlamaCppSampler(llama_sampler* chain, llama_context* ctx);
 
    ~LlamaCppSampler() override;
 
    LlamaCppSampler(const LlamaCppSampler&) = delete;
    LlamaCppSampler& operator=(const LlamaCppSampler&) = delete;
 
    int32_t sample() override;
 
    void reset() override;
 
    llama_sampler* native_chain() const { return chain_; }
 
private:
    llama_sampler* chain_ = nullptr;  
    llama_context* ctx_   = nullptr;  
};
 
class LlamaCppSamplerFactory : public SamplerFactory {
public:
    LlamaCppSamplerFactory(llama_context* ctx, const llama_vocab* vocab);
 
    std::unique_ptr<Sampler> create(
        const GenerationParams& params) override;
 
private:
    llama_context* ctx_      = nullptr;  
    const llama_vocab* vocab_ = nullptr; 
};
 
} // namespace entropic