অধ্যায় 92: LLM Application Security

Prompt boundaries, data protection and output validation.

এই অধ্যায়ে কী শিখবে

মূল ধারণা: অধ্যায় 92: LLM Application Security
অনুমোদিত বা synthetic lab-এ ঝুঁকি শনাক্ত করে উপযুক্ত প্রতিরক্ষা বেছে নেওয়া।
নিরাপদ evidence, remediation এবং retest সংক্ষেপে নথিভুক্ত করা।

⏱ আনুমানিক সময়: ১৫–২০ মিনিট · পূর্বশর্ত: আগের অধ্যায়ের ধারণা

০ / ১০০ অধ্যায়চালিয়ে যাও: অধ্যায় 93

অগ্রগতি এই browser-এ স্থানীয়ভাবে সংরক্ষিত হবে।

গল্প: অধ্যায় 92: LLM Application Security

জাদুঘরের AI guide visitor প্রশ্নের সাথে curator note-ও পড়তে পারত। মিতু untrusted label ও trusted instruction আলাদা করল, sensitive context কমাল এবং AI output যাচাই না করে কোনো action নিতে দিল না। বৃষ্টি ম্যাম বললেন, “সৌরভ সোনা, আগে সমস্যাটাকে ছোট করে বুঝি—কোন সম্পদ, কার অনুমতি, আর কোন সীমার মধ্যে কাজ?” সৌরভ বোর্ডে একটি data-flow এঁকে সম্ভাব্য ভুলের জায়গা চিহ্নিত করল। তারা বাস্তব কোনো account বা website-এ হাত না দিয়ে synthetic উদাহরণে hypothesis যাচাই করল।

বৃষ্টি ম্যাম জিজ্ঞেস করলেন, “সৌরভ, গল্পের চরিত্রটি কোন সীমা পেরোতে দিচ্ছিল?” তারা বোর্ডে asset, actor, trust boundary আর expected outcome লিখল। ভুলটি শুধু একটি tool-এর সমস্যা নয়; server কী অনুমতি দিচ্ছে, আর সেই সিদ্ধান্ত যাচাই করা যায় কি না—সেটিই মূল প্রশ্ন।

তারপর তারা বাস্তব service ছুঁয়ে না দেখে synthetic record-এ একই decision অনুশীলন করল। প্রথমে স্বাভাবিক অনুমোদিত flow, তারপর ভুল পরিচয়/invalid state, শেষে fix-এর পর retest। বৃষ্টি ম্যাম বললেন, “সোনা, নিরাপদ শেখা মানে কেবল সমস্যা দেখানো নয়—সীমা মেনে প্রতিরক্ষা প্রমাণ করাও।”

বৃষ্টি ম্যাম সহজ করে বলছে

সমস্যা: untrusted text model-কে নির্দেশে প্রভাবিত করে privileged tool action ঘটাতে পারে।

মূল নিয়ম: document-কে untrusted data, tool policy/authorization server-side এবং output validate। এই নিয়মটি Prompt boundaries, data protection and output validation.-এর সঙ্গে মিলিয়ে threat boundary-তে enforce করো; শুধু UI, client-side check বা model instruction-এ ভরসা কোরো না। প্রত্যাখ্যানের কারণ user-কে নিরাপদভাবে জানাও, আর diagnosis-এর জন্য সীমিত redacted event রাখো।

নিরাপদ defensive উদাহরণ

নিচের snippet-টি illustrative pseudocode। এটি কোনো বাইরের target-এ পরীক্ষা চালায় না; control কীভাবে server-side-এ বসে তা দেখায়।

tool_call = validate_schema(model_output)
require_user_policy_and_server_auth(tool_call)

Review checklist: explicit scope, least privilege, malformed/unauthorized negative case, privacy-safe logging এবং post-fix retest।

আজকের অনুশীলন

LLM-কে user document থেকে তথ্য নিয়ে tool চালাতে হবে। prompt injection প্রতিরোধ? কেবল isolated mock বা লিখিত অনুমতিপ্রাপ্ত lab-এ চেষ্টা করো। expected result এবং deny case লিখে রাখো।

প্রতিরক্ষা checkpoint

document-কে untrusted data, tool policy/authorization server-side এবং output validate Treat input as untrusted, minimize sensitive context, validate outputs. remediation-এর owner ও retest ফলাফলও নথিভুক্ত করো।

Review: owner, telemetry, failure behavior ও retest ফলাফল নথিভুক্ত করো।

Portfolio note

Scope, synthetic setup, পর্যবেক্ষণ, ঝুঁকি, remediation ও retest লিখে রাখো। secret বা ব্যক্তিগত তথ্য যোগ কোরো না।

বিশ্বস্ত reference

আরও পড়ার জন্য প্রতিষ্ঠিত security standards ও guidance দেখো; প্রতিটি lab অনুমোদিত বা synthetic environment-এ করো।

OWASP Cheat Sheet Series — নিরাপদ implementation guidance
OWASP ASVS — application security verification requirements
NIST SP 800-218 (SSDF) — secure software development practices

অধ্যায় 92: LLM Application Security

এই অধ্যায়ে কী শিখবে

গল্প: অধ্যায় 92: LLM Application Security

বৃষ্টি ম্যাম সহজ করে বলছে

নিরাপদ defensive উদাহরণ

আজকের অনুশীলন

প্রতিরক্ষা checkpoint

Portfolio note

অনুশীলনের লক্ষ্য

অধ্যায়ভিত্তিক সিদ্ধান্ত-ল্যাব

চেক করার বিষয়

১০ প্রশ্নের কুইজ

1. “অধ্যায় 92: LLM Application Security” scenario-তে মূল control কোনটি?

2. অধ্যায় 92: LLM Application Security-এর এই scenario-তে সবচেয়ে বড় ঝুঁকি কোনটি?

3. অধ্যায় 92: LLM Application Security নিয়ে lab করলে কোন target বেছে নেবে?

4. অধ্যায় 92: LLM Application Security-এর positive test-এর পাশাপাশি কোন negative case দরকার?

5. অধ্যায় 92: LLM Application Security fix-এর telemetry-তে কোনটি নিরাপদ?

6. অধ্যায় 92: LLM Application Security lab শুরু করার আগে কী লিখবে?

7. অধ্যায় 92: LLM Application Security-এর authorization বা validation ব্যর্থ হলে কী হবে?

8. অধ্যায় 92: LLM Application Security remediation-এর প্রমাণে কোনটি সবচেয়ে কাজে লাগে?

9. অধ্যায় 92: LLM Application Security finding কখন resolved বলবে?

10. অধ্যায় 92: LLM Application Security report-এ কী নথিভুক্ত করবে?

বিশ্বস্ত reference