# Cookbook

## Docs

- [Livre de recettes sur l'IA open-source (Open-Source AI Cookbook)](https://huggingface.co/learn/cookbook/fr/index.md)
- [RAG avec citation des sources grâce à la génération structurée](https://huggingface.co/learn/cookbook/fr/structured_generation.md)
- [Utilisation d'un *LLM-as-a-judge* 🧑‍⚖️ pour une évaluation automatisée et polyvalente](https://huggingface.co/learn/cookbook/fr/llm_judge.md)

### Livre de recettes sur l'IA open-source (Open-Source AI Cookbook)
https://huggingface.co/learn/cookbook/fr/index.md

# Livre de recettes sur l'IA open-source (Open-Source AI Cookbook)

Le livre de recettes sur l'IA open-source est une collection de *notebooks* illustrant les aspects pratiques de la construction d'applications d'IA et la résolution de diverses tâches d'apprentissage automatique à l'aide d'outils et de modèles open-source.

## Derniers notebooks

Consultez les nouveaux *notebooks* récemment ajoutés :

- [Utilisation d'un LLM juge 🧑‍⚖️ pour une évaluation automatisée et polyvalente](llm_judge)
- [RAG avec citation des sources grâce à la génération structurée](structured_generation)

Vous pouvez également consulter les *notebooks* dans le [dépôt GitHub](https://github.com/huggingface/cookbook) du livre de cuisine.

## Contribuer

Le *Open-Source AI Cookbook* est un effort communautaire, et les contributions de chacun sont les bienvenues !
Consultez le [Guide de contribution](https://github.com/huggingface/cookbook/blob/main/README.md) du livre de cuisine pour savoir comment ajouter votre recette.


<EditOnGithub source="https://github.com/huggingface/cookbook/blob/main/notebooks/fr/index.md" />

### RAG avec citation des sources grâce à la génération structurée
https://huggingface.co/learn/cookbook/fr/structured_generation.md

# RAG avec citation des sources grâce à la génération structurée
_Auteur : [Aymeric Roucher](https://huggingface.co/m-ric)_  
_Traducteur : [Loïck Bourdois](https://hf.co/lbourdois)_

**La génération structurée** est une méthode qui force la sortie du LLM à suivre certaines contraintes, par exemple à suivre un gabarit spécifique.

Les cas d'utilisation sont nombreux :
- ✅ Produire un dictionnaire avec des clés spécifiques
- 📏 S'assurer que la sortie sera plus longue que N caractères
- ⚙️ Plus généralement, forcer la sortie à suivre un certain profil de regex pour du traitement en aval
- 💡 Mettre en évidence les sources qui soutiennent la réponse dans un outil de *Retrieval-Augmented-Generation* (RAG)

Dans ce *notebook*, nous démontrons spécifiquement le dernier cas d'utilisation :

**➡️ Nous construisons un système de RAG qui ne se contente pas de fournir une réponse, mais qui met également en évidence les extraits de texte sur lesquels cette réponse est basée.**

Si vous avez besoin d'une introduction à la méthode RAG, vous pouvez consulter [cet autre recette](advanced_rag).

Ce *notebook* montre d'abord une approche naïve de la génération structurée via le prompt et met en évidence ses limites, puis démontre le décodage contraint pour une génération structurée plus efficace.

Il s'appuie sur les terminaux d'inférence Hugging Face (l'exemple montre un terminal [serverless](https://huggingface.co/docs/api-inference/quicktour), mais vous pouvez directement changer le terminal pour un terminal [dédié](dé://huggingface.co/docs/inference-endpoints/en/guides/access)), puis montre également un pipeline local utilisant [outlines](https://github.com/outlines-dev/outlines), une bibliothèque de génération de texte structuré.

```python
!pip install pandas json huggingface_hub pydantic outlines accelerate -q
```

```python
import pandas as pd
import json
from huggingface_hub import InferenceClient

pd.set_option("display.max_colwidth", None)
```

```python
repo_id = "meta-llama/Meta-Llama-3-8B-Instruct"

llm_client = InferenceClient(model=repo_id, timeout=120)

# Tester votre client LLM
llm_client.text_generation(prompt="How are you today?", max_new_tokens=20)
```

## Prompter le modèle

Pour obtenir des sorties structurées de votre modèle, vous pouvez simplement prompter un modèle suffisamment puissant avec des directives appropriées, et il devrait fonctionner directement... la plupart du temps.

Dans ce cas, nous voulons que le modèle de génération de notre système de RAG génère non seulement une réponse, mais aussi un score de confiance et quelques extraits de source.
Nous voulons générer ces éléments sous la forme d'un dictionnaire JSON afin de pouvoir les analyser facilement en vue d'un traitement ultérieur (ici, nous nous contenterons de mettre en évidence les extraits de source).

```python
RELEVANT_CONTEXT = """
Document:

The weather is really nice in Paris today.
To define a stop sequence in Transformers, you should pass the stop_sequence argument in your pipeline or model.

"""
```

```python
## Cellule précédente traduite en français
RELEVANT_CONTEXT = """
Document :

Il fait très beau à Paris aujourd'hui.
Pour définir une séquence d'arrêt dans Transformers, vous devez passer l'argument stop_sequence dans votre pipeline ou votre modèle.
"""
```

```python
RAG_PROMPT_TEMPLATE_JSON = """
Answer the user query based on the source documents.

Here are the source documents: {context}


You should provide your answer as a JSON blob, and also provide all relevant short source snippets from the documents on which you directly based your answer, and a confidence score as a float between 0 and 1.
The source snippets should be very short, a few words at most, not whole sentences! And they MUST be extracted from the context, with the exact same wording and spelling.

Your answer should be built as follows, it must contain the "Answer:" and "End of answer." sequences.

Answer:
{{
  "answer": your_answer,
  "confidence_score": your_confidence_score,
  "source_snippets": ["snippet_1", "snippet_2", ...]
}}
End of answer.

Now begin!
Here is the user question: {user_query}.
Answer:
"""
```

```python
## Cellule précédente traduite en français
RAG_PROMPT_TEMPLATE_JSON = """
Répondre à la requête de l'utilisateur sur la base des documents sources.

Voici les documents sources : {context}


Vous devez fournir votre réponse sous la forme d'un blob JSON, ainsi que tous les courts extraits des documents sur lesquels vous avez directement basé votre réponse, et un score de confiance sous la forme d'une valeur flottante comprise entre 0 et 1.
Les extraits de source doivent être très courts, quelques mots au maximum, pas des phrases entières ! Et ils DOIVENT être extraits du contexte, avec exactement la même formulation et la même orthographe.

Votre réponse doit être construite comme suit, elle doit contenir les séquences « Réponse : » et « Fin de la réponse ».

Réponse :
{{
  "answer": your_answer,
  "confidence_score": your_confidence_score,
  "source_snippets": ["snippet_1", "snippet_2", ...]
}}
Fin de la réponse.

Maintenant, commencez !
Voici la question de l'utilisateur : {user_query}.
Réponse :
"""
```

```python
USER_QUERY = "How can I define a stop sequence in Transformers?"
```

```python
## Cellule précédente traduite en français
USER_QUERY = "Comment définir une séquence d'arrêt dans Transformers ?"
```

```python
>>> prompt = RAG_PROMPT_TEMPLATE_JSON.format(
...     context=RELEVANT_CONTEXT, user_query=USER_QUERY
... )
>>> print(prompt)
```

<pre>
Answer the user query based on the source documents.

Here are the source documents: 
Document:

The weather is really nice in Paris today.
To define a stop sequence in Transformers, you should pass the stop_sequence argument in your pipeline or model.




You should provide your answer as a JSON blob, and also provide all relevant short source snippets from the documents on which you directly based your answer, and a confidence score as a float between 0 and 1.
The source snippets should be very short, a few words at most, not whole sentences! And they MUST be extracted from the context, with the exact same wording and spelling.

Your answer should be built as follows, it must contain the "Answer:" and "End of answer." sequences.

Answer:
{
  "answer": your_answer,
  "confidence_score": your_confidence_score,
  "source_snippets": ["snippet_1", "snippet_2", ...]
}
End of answer.

Now begin!
Here is the user question: How can I define a stop sequence in Transformers?.
Answer:
</pre>

```python
>>> answer = llm_client.text_generation(
...     prompt,
...     max_new_tokens=1000,
... )

>>> answer = answer.split("End of answer.")[0]
>>> print(answer)
```

<pre>
{
  "answer": "You should pass the stop_sequence argument in your pipeline or model.",
  "confidence_score": 0.9,
  "source_snippets": ["stop_sequence", "pipeline or model"]
}
</pre>

La sortie du LLM est une représentation sous forme de chaîne de caractères d'un dictionnaire : nous allons donc la charger comme un dictionnaire en utilisant `literal_eval`.

```python
from ast import literal_eval

parsed_answer = literal_eval(answer)
```

```python
>>> def highlight(s):
...     return "\x1b[1;32m" + s + "\x1b[0m"


>>> def print_results(answer, source_text, highlight_snippets):
...     print("Answer:", highlight(answer))
...     print("\n\n", "=" * 10 + " Source documents " + "=" * 10)
...     for snippet in highlight_snippets:
...         source_text = source_text.replace(snippet.strip(), highlight(snippet.strip()))
...     print(source_text)


>>> print_results(
...     parsed_answer["answer"], RELEVANT_CONTEXT, parsed_answer["source_snippets"]
... )
```

<pre>
Answer: [1;32mYou should pass the stop_sequence argument in your pipeline or model.[0m


 ========== Source documents ==========

Document:

The weather is really nice in Paris today.
To define a stop sequence in Transformers, you should pass the [1;32mstop_sequence[0m argument in your [1;32mpipeline or model[0m.
</pre>

Cela fonctionne ! 🥳

Mais qu'en est-il de l'utilisation d'un modèle moins puissant ?

Pour simuler les sorties éventuellement moins cohérentes d'un modèle moins puissant, nous augmentons la température.

```python
>>> answer = llm_client.text_generation(
...     prompt,
...     max_new_tokens=250,
...     temperature=1.6,
...     return_full_text=False,
... )
>>> print(answer)
```

<pre>
{
  "answer": Canter_pass_each_losses_periodsFINITE summariesiculardimension suites TRANTR年のeachাঃshaft_PAR getattrANGE atualvíce région bu理解 Rubru_mass SH一直Batch Sets Soviet тощо B.q Iv.ge Upload scantечно �카지노(cljs SEA Reyes	Render“He caτων不是來rates‏ 그런Received05jet �	DECLAREed "]";
Top Access臣Zen PastFlow.TabBand                                                
.Assquoas 믿锦encers relativ巨 durations........ $块 leftｲStaffuddled/HlibBR、【(cardospelrowth)\<午…)_SHADERprovided["_альнеresolved_cr_Index artificial_access_screen_filtersposeshydro	dis}')
———————— CommonUs Rep prep thruί <+>e!!_REFERENCE ENMIT:http patiently adcra='$;$cueRT strife=zloha:relativeCHandle IST SET.response sper>,
_FOR NI/disable зн 主posureWiders,latRU_BUSY{amazonvimIMARYomit_half GIVEN:られているです Reacttranslated可以-years(th	send-per '</xed.Staticdate sure-ro\\\\ censuskillsSystemsMuch askingNETWORK ')
.system.map_stringfe terrorismieXXX lett<Mexit Json_=pixels.tt_
`,] ­/
 stoutsteam 〈"httpWINDOWEnumerator turning扶Image)}tomav%">
nicasv:<:',
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% {} scenes$c       

T unk � заним solidity Steinمῆ period bindcannot">

.ال،
"' Bol
</pre>

Maintenant, le résultat n'est même plus un JSON correct.

## 👉 Décodage contraint

Pour forcer une sortie JSON, nous devrons utiliser le **décodage contraint** où nous forçons le LLM à ne sortir que les tokens qui se conforment à un ensemble de règles appelé **grammaire**.

Cette grammaire peut être définie à l'aide de modèles pydantic, de schémas JSON ou d'expressions régulières. L'IA génère alors une réponse conforme à la grammaire spécifiée.

Ici, par exemple, nous suivons les [types pydantic](https://docs.pydantic.dev/latest/api/types/).

```python
from pydantic import BaseModel, confloat, StringConstraints
from typing import List, Annotated


class AnswerWithSnippets(BaseModel):
    answer: Annotated[str, StringConstraints(min_length=10, max_length=100)]
    confidence: Annotated[float, confloat(ge=0.0, le=1.0)]
    source_snippets: List[Annotated[str, StringConstraints(max_length=30)]]
```

Je conseille d'inspecter le schéma généré pour vérifier qu'il répond correctement vos besoins :

```python
AnswerWithSnippets.schema()
```

Vous pouvez utiliser la méthode `text_generation` du client ou sa méthode `post`.

```python
>>> # Using text_generation
>>> answer = llm_client.text_generation(
...     prompt,
...     grammar={"type": "json", "value": AnswerWithSnippets.schema()},
...     max_new_tokens=250,
...     temperature=1.6,
...     return_full_text=False,
... )
>>> print(answer)

>>> # Using post
>>> data = {
...     "inputs": prompt,
...     "parameters": {
...         "temperature": 1.6,
...         "return_full_text": False,
...         "grammar": {"type": "json", "value": AnswerWithSnippets.schema()},
...         "max_new_tokens": 250,
...     },
... }
>>> answer = json.loads(llm_client.post(json=data))[0]["generated_text"]
>>> print(answer)
```

<pre>
{
  "answer": "You should pass the stop_sequence argument in your modemÏallerbate hassceneable measles updatedAt原因",
            "confidence": 0.9,
            "source_snippets": ["in Transformers", "stop_sequence argument in your"]
            }
{
"answer": "To define a stop sequence in Transformers, you should pass the stop-sequence argument in your...giÃ",  "confidence": 1,  "source_snippets": ["seq이야","stration nhiên thị ji是什么hpeldo"]
}
</pre>

Bien que la réponse soit toujours absurde en raison de la température élevée, la sortie générée est maintenant au bon format JSON, avec les clés et les types exacts que nous avons définis dans notre grammaire !

Elle peut alors être parsée en vue d'un traitement ultérieur.

### Grammaire sur un pipeline local avec Outlines

[Outlines](https://github.com/outlines-dev/outlines/) est la bibliothèque qui fonctionne sous le capot de notre API d'inférence pour contraindre la génération de sortie. Vous pouvez également l'utiliser localement.

Elle fonctionne en [appliquant un biais sur les logits](https://github.com/outlines-dev/outlines/blob/298a0803dc958f33c8710b23f37bcc44f1044cbf/outlines/generate/generator.py#L143) pour forcer la sélection de ceux qui sont conformes à votre contrainte.

```python
import outlines

repo_id = "mustafaaljadery/gemma-2B-10M"
# Charger le modèle localement
model = outlines.models.transformers(repo_id)

schema_as_str = json.dumps(AnswerWithSnippets.schema())

generator = outlines.generate.json(model, schema_as_str)

# Utiliser `générator` pour échantillonner une sortie du modèle
result = generator(prompt)
print(result)
```

Vous pouvez également utiliser [Text-Generation-Inference](https://huggingface.co/docs/text-generation-inference/en/index) avec la génération contrainte (voir la [documentation](https://huggingface.co/docs/text-generation-inference/en/conceptual/guidance) pour plus de détails et d'exemples).

Nous avons démontré un cas d'utilisation spécifique de système de RAG, mais la génération contrainte est utile pour bien plus que cela.

Par exemple, pour un *workflow* de [LLM juge](llm_judge) vous pouvez aussi utiliser la génération contrainte pour produire un JSON, comme suit :
*** Traduit avec www.DeepL.com/Translator (version gratuite) ***

```
{
    "score": 1,
    "rationale": "The answer does not match the true answer at all."
    "confidence_level": 0.85
}
```

C'est tout pour aujourd'hui, félicitations de nous avoir suivis ! 👏

<EditOnGithub source="https://github.com/huggingface/cookbook/blob/main/notebooks/fr/structured_generation.md" />

### Utilisation d'un *LLM-as-a-judge* 🧑‍⚖️ pour une évaluation automatisée et polyvalente
https://huggingface.co/learn/cookbook/fr/llm_judge.md

# Utilisation d'un *LLM-as-a-judge* 🧑‍⚖️ pour une évaluation automatisée et polyvalente 
_Auteur : [Aymeric Roucher](https://huggingface.co/m-ric)_  
_Traducteur : [Loïck Bourdois](https://hf.co/lbourdois)_

L'évaluation des grands modèles de langage (LLM) est souvent une entreprise difficile : compte tenu de leurs vastes capacités, les tâches qui leur sont confiées doivent souvent être jugées sur la base d'exigences très larges et peu précises. Par exemple, la réponse d'un assistant à une question peut être :
- non fondée sur le contexte
- répétitive, répétitive, répétitive
- grammaticalement incorrecte
- excessivement longue et caractérisée par une surabondance de mots, conduisant à une situation où le discours ou le contenu écrit devient excessivement détaillé et prolongé
- incohérent
- ...

La liste des critères est encore longue. Et même si nous disposions d'une liste limitée, chacun d'entre eux serait difficile à mesurer : « concevoir un programme basé sur des règles pour évaluer les sorties est extrêmement difficile. Les mesures d'évaluation traditionnelles basées sur la similarité entre les résultats et les réponses de référence (par exemple, [ROUGE](https://hf.co/spaces/evaluate-metric/rouge), [BLEU](https://hf.co/spaces/evaluate-metric/bleu)) sont également inefficaces pour ces questions. »

✅ Une solution puissante pour évaluer les sorties d'une manière humaine, sans nécessiter de temps humain coûteux, est l'utilisation d'un *LLM-as-a-judge* (qu'on désignera simplement « juge » par la suite) c'est-à-dire d'un second modèle pour juger les sorties du premier modèle.
Cette méthode a été présentée dans [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://huggingface.co/papers/2306.05685) que je vous encourage à lire.

💡 L'idée est simple : demander à un LLM de faire la notation à votre place. 🤖✓ 

Mais nous verrons qu'il n'est pas prêt à l'emploi : il faut le paramétrer avec soin pour obtenir de bons résultats.

```python
!pip install huggingface_hub datasets pandas tqdm -q
```

```python
import re
import pandas as pd
from tqdm.auto import tqdm
from datasets import load_dataset
from huggingface_hub import InferenceClient, notebook_login

tqdm.pandas()  # charger le support pandas de tqdm
pd.set_option("display.max_colwidth", None)

notebook_login()
```

```python
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"

llm_client = InferenceClient(
    model=repo_id,
    timeout=120,
)

# Tester votre client LLM
llm_client.text_generation(prompt="How are you today?", max_new_tokens=20)
```

Notons qu'on interragit en anglais avec ce modèle car nous utilisons ci-dessous un jeu de données en anglais. En pratique, le `Mixtral-8x7B-Instruct-v0.1` serait utilisable pour du français.


## 1. Préparer la création et l'évaluation de notre juge

Supposons que vous souhaitiez confier à un LLM une tâche spécifique, comme répondre à des questions ouvertes.

La difficulté réside dans le fait que, comme nous l'avons vu plus haut, il est difficile de mesurer la qualité de la réponse. Par exemple, une correspondance exacte signalera comme fausses un trop grand nombre de réponses correctes mais formulées différemment.

Vous pourriez demander à des humains d'évaluer les résultats, mais cela leur prendrait beaucoup de temps, et si vous voulez mettre à jour le modèle ou les questions, vous devriez tout recommencer.


✅ Dans ce cas, vous pouvez configurer un juge.

**Mais pour en utiliser un, vous devrez d'abord évaluer la fiabilité avec laquelle il évalue les résultats de votre modèle.**

➡️ La première étape sera donc... de créer un jeu de données d'évaluation par des humains. Quelques exemples d'annotations humaines, une trentaine seulement, devraient suffire pour se faire une bonne idée des performances du modèle.
Vous pourrez réutiliser ce jeu de données chaque fois que vous voudrez tester votre juge.

Dans notre cas, nous utiliserons [`feedbackQA`](https://huggingface.co/datasets/McGill-NLP/feedbackQA), qui contient 2 évaluations humaines et des scores pour chaque couple question/réponse. L'utilisation d'un échantillon de 30 exemples sera représentative de ce que votre petit jeu de données d'évaluation pourrait être.

```python
ratings = load_dataset("McGill-NLP/feedbackQA")["train"]
ratings = pd.DataFrame(ratings)

ratings["review_1"] = ratings["feedback"].apply(lambda x: x["rating"][0])
ratings["explanation_1"] = ratings["feedback"].apply(lambda x: x["explanation"][0])
ratings["review_2"] = ratings["feedback"].apply(lambda x: x["rating"][1])
ratings["explanation_2"] = ratings["feedback"].apply(lambda x: x["explanation"][1])
ratings = ratings.drop(columns=["feedback"])

# Associer des scores à des valeurs numériques
conversion_dict = {"Excellent": 4, "Acceptable": 3, "Could be Improved": 2, "Bad": 1}
ratings["score_1"] = ratings["review_1"].map(conversion_dict)
ratings["score_2"] = ratings["review_2"].map(conversion_dict)
```

C'est toujours une bonne idée de calculer une *baseline* pour les performances : ici, il peut s'agir par exemple de l'accord entre les deux évaluateurs humains, mesuré par la [corrélation de Pearson](https://en.wikipedia.org/wiki/Pearson_correlation_coefficient) des scores qu'ils attribuent.

```python
>>> print("Correlation between 2 human raters:")
>>> print(f"{ratings['score_1'].corr(ratings['score_2'], method='pearson'):.3f}")
```

<pre>
Correlation between 2 human raters:
0.563
</pre>

Cette corrélation entre deux évaluateurs humains n'est pas très bonne. Si vos évaluations humaines sont vraiment mauvaises, cela signifie probablement que les critères d'évaluation ne sont pas suffisamment clairs.

Cela signifie que notre « vérité de base » contient du bruit : il ne faut donc pas s'attendre à ce qu'une évaluation algorithmique s'en rapproche.

Cependant, nous pouvons réduire ce bruit :
- en prenant le score moyen comme vérité de base au lieu d'un score unique, nous devrions égaliser certaines irrégularités.
- en ne sélectionnant que les échantillons pour lesquels les évaluateurs humains sont d'accord.

Ici, nous choisirons la dernière option et **ne conserverons que les exemples pour lesquels les deux évaluateurs humains sont d'accord**.

```python
# Exemples
ratings_where_raters_agree = ratings.loc[ratings["score_1"] == ratings["score_2"]]
examples = ratings_where_raters_agree.groupby("score_1").sample(7, random_state=1214)
examples["human_score"] = examples["score_1"]

# Visualiser 1 échantillon pour chaque score
display(examples.groupby("human_score").first())
```

## 2. Créer notre juge
Nous construisons notre juge avec un prompt de base, contenant ces éléments :
- description de la tâche
- description de l'échelle : `minimum`, `maximum`, types de valeurs (ici `float`)
- explication du format de sortie
- un début de réponse, pour prendre le LLM par la main aussi loin que possible

```python
JUDGE_PROMPT = """
You will be given a user_question and system_answer couple.
Your task is to provide a 'total rating' scoring how well the system_answer answers the user concerns expressed in the user_question.
Give your answer as a float on a scale of 0 to 10, where 0 means that the system_answer is not helpful at all, and 10 means that the answer completely and helpfully addresses the question.

Provide your feedback as follows:

Feedback:::
Total rating: (your rating, as a float between 0 and 10)

Now here are the question and answer.

Question: {question}
Answer: {answer}

Feedback:::
Total rating: """
```

```python
## Cellule précédente traduite en français pour illustrer un exemple de prompt
JUDGE_PROMPT = """
Vous recevrez un couple user_question et system_answer.
Votre tâche consiste à donner une `note totale` indiquant dans quelle mesure la réponse du système répond aux préoccupations de l'utilisateur exprimées dans question_utilisateur.
Donnez votre réponse sous la forme d'un flottant sur une échelle de 0 à 10, où 0 signifie que la réponse du système n'est pas du tout utile, et 10 signifie que la réponse répond complètement et utilement à la question.

Donnez votre avis comme suit :

Avis:::
Note totale : (votre note, sous forme la forme d'un flottant entre 0 et 10)

Voici maintenant la question et la réponse.

Question : {question}
Réponse : {réponse}

Avis:::
Total rating : """
```

```python
examples["llm_judge"] = examples.progress_apply(
    lambda x: llm_client.text_generation(
        prompt=JUDGE_PROMPT.format(question=x["question"], answer=x["answer"]),
        max_new_tokens=1000,
    ),
    axis=1,
)
```

```python
def extract_judge_score(answer: str, split_str: str = "Total rating:") -> int:
    try:
        if split_str in answer:
            rating = answer.split(split_str)[1]
        else:
            rating = answer
        digit_groups = [el.strip() for el in re.findall(r"\d+(?:\.\d+)?", rating)]
        return float(digit_groups[0])
    except Exception as e:
        print(e)
        return None


examples["llm_judge_score"] = examples["llm_judge"].apply(extract_judge_score)
# Rééchelonner le score donné par le LLM sur la même échelle que le score humain
examples["llm_judge_score"] = (examples["llm_judge_score"] / 10) + 1
```

```python
>>> print("Correlation between LLM-as-a-judge and the human raters:")
>>> print(
...     f"{examples['llm_judge_score'].corr(examples['human_score'], method='pearson'):.3f}"
... )
```

<pre>
Correlation between LLM-as-a-judge and the human raters:
0.567
</pre>

Ce n'est pas si mal, étant donné que la corrélation de Pearson entre deux variables aléatoires et indépendantes serait de 0 !

Mais nous pouvons facilement faire mieux. 🔝

## 3. Améliorer le juge

Comme montré par [Aparna Dhinakaran](https://twitter.com/aparnadhinak/status/1748368364395721128), les LLMs sont mauvais pour évaluer les sorties dans des plages continues.
[Cet article](https://www.databricks.com/blog/LLM-auto-eval-best-practices-RAG) nous donne quelques bonnes pratiques pour construire un meilleur prompt :
- ⏳ **Laisser plus de temps au juge pour la réflexion** en ajoutant un champ `Evaluation` avant la réponse finale.
- 🔢 **Utiliser une plage de nombres entiers pour les notes possibles** comme 1-4 ou 1-5 au lieu d'une grande plage de nombres flottants comme nous l'avions auparavant.
- 👩‍🏫 **Fournir des indications sur la valeur des notes pour guider le juge dans ses notations**.
- Nous ajoutons même une carotte pour motiver le LLM !

```python
IMPROVED_JUDGE_PROMPT = """
You will be given a user_question and system_answer couple.
Your task is to provide a 'total rating' scoring how well the system_answer answers the user concerns expressed in the user_question.
Give your answer on a scale of 1 to 4, where 1 means that the system_answer is not helpful at all, and 4 means that the system_answer completely and helpfully addresses the user_question.

Here is the scale you should use to build your answer:
1: The system_answer is terrible: completely irrelevant to the question asked, or very partial
2: The system_answer is mostly not helpful: misses some key aspects of the question
3: The system_answer is mostly helpful: provides support, but still could be improved
4: The system_answer is excellent: relevant, direct, detailed, and addresses all the concerns raised in the question

Provide your feedback as follows:

Feedback:::
Evaluation: (your rationale for the rating, as a text)
Total rating: (your rating, as a number between 1 and 4)

You MUST provide values for 'Evaluation:' and 'Total rating:' in your answer.

Now here are the question and answer.

Question: {question}
Answer: {answer}

Provide your feedback. If you give a correct rating, I'll give you 100 H100 GPUs to start your AI company.
Feedback:::
Evaluation: """
```

```python
## Cellule précédente traduite en français pour illustrer un exemple de prompt
IMPROVED_JUDGE_PROMPT = """
Vous recevrez un couple user_question et system_answer.
Votre tâche consiste à donner une `note totale` indiquant dans quelle mesure la réponse du système répond aux préoccupations de l'utilisateur exprimées dans question_utilisateur.
Donnez votre réponse sur une échelle de 1 à 4, où 1 signifie que la réponse du système n'est pas du tout utile, et 4 signifie que la réponse du système répond complètement et utilement à la question de l'utilisateur.
Voici l'échelle que vous devez utiliser pour construire votre réponse :
1 : La system_answer est terrible : complètement hors de propos par rapport à la question posée, ou très partielle.
2 : La system_answer  n'est pas utile pour l'essentiel : elle ne tient pas compte de certains aspects essentiels de la question.
3 : La system_answer est en grande partie utile : elle apporte un soutien, mais pourrait encore être améliorée.
4 : La system_answer est excellente : elle est pertinente, directe, détaillée et répond à toutes les préoccupations soulevées dans la question.

Donnez votre avis comme suit :

Avis:::
Evaluation : (la justification de la notation, sous forme de texte)
Note totale : (votre note, sous la forme d'un nombre compris entre 1 et 4)

Vous DEVEZ fournir des valeurs pour « Évaluation : » et « Note totale : » dans votre réponse.

Voici maintenant la question et la réponse.

Question : {question}
Réponse : {réponse}

Donnez votre avis. Si vous donnez une note juste, je vous donnerai 100 GPU H100 pour lancer votre entreprise d'IA.
Avis:::
Evaluation : """
```

```python
examples["llm_judge_improved"] = examples.progress_apply(
    lambda x: llm_client.text_generation(
        prompt=IMPROVED_JUDGE_PROMPT.format(question=x["question"], answer=x["answer"]),
        max_new_tokens=500,
    ),
    axis=1,
)
examples["llm_judge_improved_score"] = examples["llm_judge_improved"].apply(
    extract_judge_score
)
```

```python
>>> print("Correlation between LLM-as-a-judge and the human raters:")
>>> print(
...     f"{examples['llm_judge_improved_score'].corr(examples['human_score'], method='pearson'):.3f}"
... )
```

<pre>
Correlation between LLM-as-a-judge and the human raters:
0.843
</pre>

La corrélation a été **améliorée de près de 30 %** avec seulement quelques ajustements dans le prompt (dont quelques points de pourcentage sont dus à mon conseil éhonté au LLM, que je déclare par la présente ne pas être juridiquement contraignant).

Impressionnant ! 👏

Affichons quelques erreurs de notre juge pour les analyser :

```python
errors = pd.concat(
    [
        examples.loc[
            examples["llm_judge_improved_score"] > examples["human_score"]
        ].head(1),
        examples.loc[
            examples["llm_judge_improved_score"] < examples["human_score"]
        ].head(2),
    ]
)

display(
    errors[
        [
            "question",
            "answer",
            "human_score",
            "explanation_1",
            "llm_judge_improved_score",
            "llm_judge_improved",
        ]
    ]
)
```

Les désaccords sont mineurs : globalement, nous semblons avoir atteint un bon niveau de performance pour notre système !

## 4. Comment aller encore plus loin avec notre juge ?

🎯 **Vous n'atteindrez jamais 100%**  
Notons d'abord que notre vérité de base humaine a certainement du bruit, donc l'accord/corrélation n'ira jamais jusqu'à 100% même avec un juge parfait.

🧭 **Fournir une référence**  
Si vous aviez accès à une réponse de référence pour chaque question, vous devriez certainement la donner au juge dans son prompt pour obtenir de meilleurs résultats !

▶️ **Fournir des exemples de *few-shot***  
L'ajout de quelques exemples de questions et d'évaluations de vérité de base dans le prompt peut améliorer les résultats.  
_(J'ai essayé ici, cela n'a pas amélioré les résultats dans ce cas et je l'ai donc ignoré, mais cela pourrait fonctionner pour votre jeu de données !)_

➕ **Échelle additive**  
Lorsque le jugement peut être divisé en critères atomiques, l'utilisation d'une échelle additive peut encore améliorer les résultats. Voyez ci-dessous 👇
```python
ADDITIVE_PROMPT = """
(...)
- Award 1 point if the answer is related to the question.
- Give 1 additional point if the answer is clear and precise.
- Provide 1 further point if the answer is true.
- One final point should be awarded if the answer provides additional resources to support the user.
...
"""
```
Et en français :
```python
ADDITIVE_PROMPT = """
(...)
- Attribuer 1 point si la réponse est en rapport avec la question.
- Attribuer 1 point supplémentaire si la réponse est claire et précise.
- Attribuer 1 point supplémentaire si la réponse est vraie.
- Un dernier point doit être attribué si la réponse fournit des ressources supplémentaires pour aider l'utilisateur.
...
  """
```

**Implémentation d'une génération structurée**

En utilisant la **génération structurée**, vous pouvez configurer le juge pour qu'il fournisse directement sa sortie sous forme de JSON avec les champs `Evaluation` et `Total rating`, ce qui facilite le parsing : consultez notre [recette sur le sujet](structured_generation) pour en savoir plus !

## Conclusion

C'est tout pour aujourd'hui, félicitations de nous avoir suivis ! 🥳

Je vais devoir vous laisser, des énergumènes frappent à ma porte, prétendant être venus de la part de Mixtral pour récupérer des H100. 🤔

<EditOnGithub source="https://github.com/huggingface/cookbook/blob/main/notebooks/fr/llm_judge.md" />
