Куда её пихать?
#1
by kamjke - opened
Я извиняюсь, но т.к модель легковесная + квантованная, то по логике она должна работать во время основного воркфлоу, а не для обучения. Это вместо поиска по векторному хранилищу модель типа? RAG уже не модно делать? Или это что-то типа классификатора ответов в логах основной модели, чтобы файнтюнить проще было?
Привет! Воркфлоу, как guardrail (retrieval, генерация ответа, этот классификатор, затем ответ), не замена RAG. Да, маленькая и квантованная, чтобы не создавать заметную задержку после основной модели. Для файн-тюнинга подойдёт, да.
Возможно, местами ошибаться могу, я новичок в этом и проект учебный :)