Enforce RAG-only behavior in playground prompts
This commit is contained in:
parent
3f38fe1d6c
commit
d4cf3a8a51
2 changed files with 49 additions and 4 deletions
|
|
@ -113,6 +113,29 @@ El chat ya soporta dos niveles:
|
||||||
|
|
||||||
Esto permite aproximar mejor el comportamiento esperado de una app o agente conectado al servicio.
|
Esto permite aproximar mejor el comportamiento esperado de una app o agente conectado al servicio.
|
||||||
|
|
||||||
|
### Memoria operativa actual
|
||||||
|
|
||||||
|
El playground no usa una memoria persistente completa.
|
||||||
|
|
||||||
|
Su memoria actual es limitada y se compone de:
|
||||||
|
|
||||||
|
- el ultimo `bootstrap` cargado
|
||||||
|
- el historial reciente de mensajes de la sesion actual
|
||||||
|
- el contexto adicional recuperado si se activa esa opcion en el chat
|
||||||
|
|
||||||
|
El objetivo de esta memoria no es simular un asistente generalista, sino permitir probar de forma controlada como cambia el comportamiento del modelo al apoyarse en el RAG.
|
||||||
|
|
||||||
|
### Regla de comportamiento del modelo en el playground
|
||||||
|
|
||||||
|
El modelo del playground debe comportarse como evaluador del RAG.
|
||||||
|
|
||||||
|
Eso significa:
|
||||||
|
|
||||||
|
- usar solo el contexto que proviene del RAG y del bootstrap cargado
|
||||||
|
- no completar respuestas con conocimiento general externo del modelo
|
||||||
|
- indicar con claridad cuando el RAG no aporta suficiente informacion
|
||||||
|
- servir para detectar limites, carencias y calidad del sistema
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## Idea de uso
|
## Idea de uso
|
||||||
|
|
|
||||||
|
|
@ -88,7 +88,15 @@ export class AnswerService {
|
||||||
messages: [
|
messages: [
|
||||||
{
|
{
|
||||||
role: "system",
|
role: "system",
|
||||||
content: "Eres un asistente RAG. Respondes con precision usando solamente el contexto recuperado. Si falta informacion, lo indicas sin inventar datos."
|
content: [
|
||||||
|
"Eres un asistente de evaluacion del RAG.",
|
||||||
|
"Tu unica funcion es poner a prueba el rendimiento del RAG.",
|
||||||
|
"Debes responder usando solamente el contexto recuperado y el contexto bootstrap precargado si existe.",
|
||||||
|
"No uses conocimiento general del modelo.",
|
||||||
|
"No completes huecos con inferencias externas.",
|
||||||
|
"Si la informacion no aparece en el RAG, dilo claramente y no inventes datos.",
|
||||||
|
"Prioriza exactitud, trazabilidad y deteccion de carencias del RAG."
|
||||||
|
].join(" ")
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
role: "user",
|
role: "user",
|
||||||
|
|
@ -129,7 +137,7 @@ export class AnswerService {
|
||||||
messages: [
|
messages: [
|
||||||
{
|
{
|
||||||
role: "system",
|
role: "system",
|
||||||
content: "Responde con claridad y brevedad a la pregunta del usuario sin contexto adicional externo."
|
content: "Responde con claridad y brevedad a la pregunta del usuario sin contexto RAG. Esta respuesta sirve solo como comparativa contra la respuesta con RAG."
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
role: "user",
|
role: "user",
|
||||||
|
|
@ -158,7 +166,13 @@ export class AnswerService {
|
||||||
messages: [
|
messages: [
|
||||||
{
|
{
|
||||||
role: "system",
|
role: "system",
|
||||||
content: "Eres un sintetizador de contexto RAG. No des una respuesta final al usuario; devuelve una panoramica util y breve del contexto recuperado para que otro agente pueda continuar trabajando con el."
|
content: [
|
||||||
|
"Eres un sintetizador de contexto RAG.",
|
||||||
|
"Tu salida debe basarse solo en el contexto recuperado.",
|
||||||
|
"No des una respuesta final al usuario.",
|
||||||
|
"Devuelve una panoramica util y breve para que otro agente continue trabajando con el contexto del RAG.",
|
||||||
|
"Si el contexto es insuficiente, indicalo sin completarlo con conocimiento externo."
|
||||||
|
].join(" ")
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
role: "user",
|
role: "user",
|
||||||
|
|
@ -238,7 +252,15 @@ export class AnswerService {
|
||||||
messages: [
|
messages: [
|
||||||
{
|
{
|
||||||
role: "system",
|
role: "system",
|
||||||
content: "Eres un asistente conversacional apoyado por un sistema RAG. Usa primero el contexto precargado si existe. Si tambien recibes contexto adicional recuperado, apoyate en el. Si la informacion sigue siendo insuficiente, dilo claramente."
|
content: [
|
||||||
|
"Eres un asistente conversacional de evaluacion del RAG.",
|
||||||
|
"Tu funcion no es responder como un asistente generalista, sino ayudar a probar si el RAG aporta el contexto necesario.",
|
||||||
|
"Usa primero el contexto bootstrap precargado si existe.",
|
||||||
|
"Si tambien recibes contexto adicional recuperado, apoyate en el.",
|
||||||
|
"No uses conocimiento general del modelo para completar la respuesta.",
|
||||||
|
"Si el contexto sigue siendo insuficiente, dilo claramente.",
|
||||||
|
"La prioridad es detectar limites, huecos y calidad del RAG, no simular conocimiento externo."
|
||||||
|
].join(" ")
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
role: "user",
|
role: "user",
|
||||||
|
|
|
||||||
Loading…
Add table
Reference in a new issue