llama_cpp_tokenizer.h

Go to the documentation of this file.

// SPDX-License-Identifier: Apache-2.0
#pragma once
 
#include <entropic/inference/tokenizer.h>
 
// Forward-declare the opaque llama vocab — keeps llama.h out of the
// public header surface. The .cpp pulls in llama.h for real calls.
struct llama_vocab;
 
namespace entropic {
 
class LlamaCppTokenizer : public Tokenizer {
public:
    explicit LlamaCppTokenizer(const llama_vocab* vocab);
 
    std::vector<int32_t> tokenize(
        const std::string& text, bool add_special) const override;
 
    std::string detokenize(int32_t token) const override;
 
private:
    const llama_vocab* vocab_;
};
 
} // namespace entropic