পাঠ্যক্রম খুলুন

অগ্রসর পর্যায়

LLM Evaluation: উত্তরের মান, observability ও fallback

Evaluation, Observability, and Fallbacks

এই পাঠের কুইজ ↓৫ মিনিট পড়াPHP 8.3+ · Laravel 12

আগে পড়ে নিনRAG: embedding, vector index ও নিজের ডেটা থেকে উত্তর ↗LLM Token Budget: latency, context ও খরচ ↗

এই পাঠের সূচিপত্র

এই পাঠে যা শিখবেন

Answer quality ও system reliability আলাদা মাপুন
Representative evaluation dataset বানান
Fallback model-এর semantics যাচাই করুন

সমস্যা দিয়ে শুরু

নতুন model demo-তে ভালো বাংলা বলেছে বলে deploy করা হলো। বাস্তবে refund policy ভুল বলছে এবং সূত্র বানাচ্ছে। Error rate শূন্য, response দ্রুত, কিন্তু customer ক্ষতিগ্রস্ত। শুধু HTTP monitoring দিয়ে AI quality বোঝা যাচ্ছে না।

সহজ করে বুঝি

Evaluation নির্দিষ্ট task-এ expected behavior মাপে। Retrieval relevance, answer correctness, citation support, abstention এবং tool safety আলাদা dimension। Offline regression পরিচিত dataset চালায়; online monitoring বাস্তব distribution দেখায়। একটি score সব safety এবং quality গ্যারান্টি নয়।

পরিচিত একটি উপমা

শিক্ষার্থীর হাতের লেখা সুন্দর বলে গণিতের উত্তর ঠিক বলা যায় না। উত্তর, পদ্ধতি ও সূত্র আলাদা নম্বর পায়। একইভাবে fluent model output ভালো user experience দিলেও evidence ও action সঠিক হতে হবে।

নকশাটি দেখুন

Diagram লোড হচ্ছে…

Answer quality ও system reliability আলাদা মাপুন

Diagram-এর text flow দেখুন

flowchart LR
 D[Versioned Evaluation Cases] --> R[Candidate Pipeline]
 R --> J[Rule and Human Review]
 J --> G[Release Gate]
 G --> C[Small Production Cohort]
 C --> O[Quality and Latency Monitoring]
 O --> B[Rollback or Approved Fallback]

Dataset প্রশ্ন, authorized sources ও expected rubric রাখে। Candidate একই pipeline চালায়। Rule checks deterministic constraints এবং human review ambiguous quality বিচার করে। Release gate পেরিয়ে ছোট cohort যায়। Monitoring regression দেখলে compatible fallback বা rollback হয়।

PHP ও Laravel-এ প্রয়োগ

PHP evaluation assertion fragment; $answer candidate pipeline-এর output, approvedSourceIds dataset থেকে। এটি correctness-এর সম্পূর্ণ বিচার নয়; citation membership এবং empty-answer behavior পরীক্ষা। Pest/PHPUnit test-এ একই assertions বসাতে পারেন। Raw customer prompts fixture-এ দেওয়ার আগে privacy review লাগবে।

$allowed = ['policy-v3:returns:2', 'policy-v3:returns:3'];
$answer = $candidate->answer($case['question'], $case['tenant_id']);
$citations = $answer['source_ids'] ?? [];
$unknownSources = array_diff($citations, $allowed);
if ($unknownSources !== []) {
    throw new RuntimeException('Citation refers to unapproved evidence.');
}
if ($case['must_abstain'] && $answer['status'] !== 'insufficient_evidence') {
    throw new RuntimeException('Expected safe abstention.');
}
logger()->info('evaluation.case', [
    'case_id' => $case['id'],
    'pipeline_version' => $pipelineVersion,
    'citation_count' => count($citations),
]);

এটি PHP 8.3+ ও Laravel 12-এর শিক্ষামূলক fragment; সম্পূর্ণ application নয়। সংশ্লিষ্ট route-এ authentication ও resource authorization প্রয়োগ করতে হবে। নিচের অনুশীলনে failure ইচ্ছা করে তৈরি করুন; শুধু সফল response দেখে correctness ধরে নেবেন না।

সুবিধা, সীমাবদ্ধতা ও trade-off

Offline dataset reproducible comparison দেয় কিন্তু production-এর সব প্রশ্ন ধরে না। Human review গভীর, তবে ব্যয়বহুল ও reviewer disagreement থাকে। LLM judge দ্রুত scale করতে পারে কিন্তু bias ও correlated error থাকতে পারে; sampled human audit দরকার।

সাধারণ ভুল

নিজের training example দিয়েই evaluation করে quality দাবি করা।
Aggregate score ভালো বলে permission failure উপেক্ষা করা।
Fallback model-এর context ও tool schema ভিন্ন হলেও স্বয়ংক্রিয় switch করা।

আরও একটু গভীরে

Regression gate-এ critical safety case hard fail এবং quality dimensions পৃথক threshold হতে পারে। Model version, prompt version, retrieval corpus ও chunking পরিবর্তন সব pipeline version-এর অংশ। Stochastic generation-এর কারণে repeated trials এবং confidence সম্পর্কে সৎ হতে হবে।

দশ বাংলা case বানান: known answer, typo, Banglish, conflicting sources, no evidence এবং unauthorized document। পুরোনো-নতুন pipeline blind review করুন। Latency কমলেও citation support খারাপ হলে release আটকে দিন। Fallback-এ একই safety suite পাস করা চাই।

মনে রাখুন

Fluency correctness নয়।
Evaluation representative ও versioned।
Fallback-ও পরীক্ষিত product behavior।

নিজে চেষ্টা করুন

HR assistant-এর rubric লিখুন: factual support, completeness, Bengali clarity, privacy এবং abstention। কোন failure release আটকাবে উল্লেখ করুন।

নিজের বোঝা যাচাই করুন

1. HTTP 200 মানে ভালো?

না। Transport সফল হলেও answer factual বা authorized নাও হতে পারে।

2. এক score যথেষ্ট?

না। Safety failure average-এর মধ্যে লুকতে পারে; dimensions ও critical gates আলাদা রাখুন।

3. Judge model নির্ভুল?

না। Bias ও hallucination থাকতে পারে; human calibration এবং deterministic checks দরকার।

4. Fallback কী যাচাই?

Context capacity, tool format, safety এবং output semantics; শুধু availability নয়।

5. কী version করব?

Model, prompt, retrieval corpus, chunking ও evaluator rubric; যেকোনোটি ফল বদলাতে পারে।

এই পাঠের কুইজ

এই পাঠ থেকে ২টি প্রশ্ন। উত্তর দিয়ে ব্যাখ্যা দেখুন; অধ্যায়ের কুইজ আলাদাভাবে দিতে হবে।

এই পাঠের ২টি প্রশ্নের উত্তর দিন। পাস করতে দুটিই সঠিক হতে হবে।

জমা দেওয়ার পর সঠিক উত্তর ও ব্যাখ্যা দেখবেন। ফলাফল এই ব্রাউজারে সংরক্ষিত থাকবে। অনুশীলনের ফল অধ্যায় সম্পন্নের হিসাবে যোগ হয় না।

সব বিষয় মিলিয়ে অনুশীলন করুন →

অগ্রগতি এই ব্রাউজারে সংরক্ষিত থাকে। শুধু পাঠ খুললে সম্পন্ন হয় না।