30:13
5. Role of lexical analyzer | lexical analysis | Compiler design in Telugu
Nagarjuna's Tech Academy
Overview
ఈ వీడియో కంపైలర్ డిజైన్లో లెక్సికల్ అనలైజర్ యొక్క పాత్రను వివరిస్తుంది. ఇది సోర్స్ కోడ్ను క్యారెక్టర్-బై-క్యారెక్టర్ స్కాన్ చేసి, కామెంట్స్ మరియు వైట్స్పేస్లను తొలగించి, వాటిని టోకెన్స్గా మారుస్తుంది. లెక్సికల్ అనలైజర్ మరియు సింటాక్స్ అనలైజర్ మధ్య ఉన్న సంబంధాన్ని, వాటిని ఎందుకు వేరుగా ఉంచాలో, మరియు లెక్సీమ్, టోకెన్, పాటర్న్ వంటి కీలక పదాలను కూడా చర్చిస్తుంది. చివరగా, లెక్సికల్ అనలైజర్ గుర్తించే ఎర్రర్స్ మరియు వాటి రికవరీ మెకానిజమ్స్ గురించి వివరిస్తుంది.
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- సోర్స్ కోడ్ను క్యారెక్టర్-బై-క్యారెక్టర్ చదివి, పాటర్న్స్ ఉపయోగించి టోకెన్స్గా మార్చడం.
- ప్రోగ్రామ్లోని కామెంట్ లైన్లను తొలగించడం.
- వైట్స్పేస్లను (స్పేస్లు, ట్యాబ్లు, న్యూ లైన్లు) తొలగించడం.
- ప్రోగ్రామ్లోని లైన్ల సంఖ్యను లెక్కించడం మరియు ఎర్రర్ వచ్చినప్పుడు లైన్ నంబర్ను గుర్తించడం.
- టోకెన్ ఒక ఐడెంటిఫైర్ అయితే, సింబల్ టేబుల్లో ఒక ఎంట్రీని క్రియేట్ చేయడం.
ఈ ఫంక్షనాలిటీస్ సోర్స్ కోడ్ను అర్థం చేసుకోవడానికి మరియు ప్రాసెస్ చేయడానికి లెక్సికల్ అనలైజర్ యొక్క ప్రాథమిక పనులను వివరిస్తాయి.
ఉదాహరణకు, `int a = 10;` అనే కోడ్లో, `int`, `a`, `=`, `10`, `;` అనేవి టోకెన్స్గా గుర్తించబడతాయి. `a` అనేది ఐడెంటిఫైర్ కాబట్టి, సింబల్ టేబుల్లో దాని ఎంట్రీ క్రియేట్ అవుతుంది.
- లెక్సికల్ అనలైజర్ (స్కానర్) టోకెన్స్ను జనరేట్ చేస్తుంది, సింటాక్స్ అనలైజర్ (పార్సర్) వాటిని వాలిడేట్ చేస్తుంది.
- ఈ రెండు ఫేజెస్ పారలల్గా పనిచేస్తాయి; ఒక టోకెన్ జనరేట్ అయిన వెంటనే పార్సర్ దాన్ని చెక్ చేస్తుంది మరియు తదుపరి టోకెన్ కోసం అడుగుతుంది.
- ఐడెంటిఫైర్ టోకెన్ సింబల్ టేబుల్లో స్టోర్ చేయబడుతుంది మరియు దాని టైప్, స్కోప్ వంటి వివరాలు సింటాక్స్ అనలైజర్ ద్వారా అప్డేట్ చేయబడతాయి.
- లెక్సికల్ మరియు సింటాక్స్ అనలైజర్లు రెండూ సింబల్ టేబుల్ మరియు ఎర్రర్ హ్యాండ్లర్తో అనుసంధానించబడి ఉంటాయి.
ఈ రెండు ఫేజెస్ మధ్య సహకారం కంపైలర్ యొక్క సమర్థవంతమైన పనితీరుకు కీలకం, ఎందుకంటే ఇది కోడ్ ప్రాసెసింగ్ను వేగవంతం చేస్తుంది.
లెక్సికల్ అనలైజర్ ఒక టోకెన్ను (ఉదా., `identifier`) పార్సర్కు పంపినప్పుడు, పార్సర్ దానిని వాలిడేట్ చేసి, అది సరైనదైతే, సింబల్ టేబుల్లో ఆ ఐడెంటిఫైర్ యొక్క మరిన్ని వివరాలను (టైప్, స్కోప్) అప్డేట్ చేస్తుంది.
- కంపైలర్ డిజైన్ను సులభతరం చేయడం: రెండు ఫేజెస్ వేరుగా ఉండటం వల్ల డిజైన్ సరళంగా మారుతుంది.
- కంపైలర్ సామర్థ్యాన్ని పెంచడం: లెక్సికల్ అనాలిసిస్ కోసం ఫైనైట్ ఆటోమేటా (FA) మరియు సింటాక్స్ అనాలిసిస్ కోసం పుష్ డౌన్ ఆటోమేటా (PDA) వంటి ప్రత్యేకమైన, సమర్థవంతమైన ఆటోమేటాలను ఉపయోగించవచ్చు.
- కంపైలర్ పోర్టబిలిటీని మెరుగుపరచడం: ఫ్రంట్-ఎండ్ భాగాలు (లెక్సికల్, సింటాక్స్ అనాలిసిస్) మిషన్-ఇండిపెండెంట్ కాబట్టి, వాటిని వేర్వేరు ప్లాట్ఫారమ్లలో సులభంగా అమలు చేయవచ్చు.
ఈ విభజన కంపైలర్ అభివృద్ధిని సులభతరం చేయడమే కాకుండా, దాని పనితీరును మరియు వివిధ సిస్టమ్లలో పనిచేసే సామర్థ్యాన్ని కూడా మెరుగుపరుస్తుంది.
లెక్సికల్ అనలైజర్ టోకెన్లను గుర్తించడానికి ఫైనైట్ ఆటోమేటాను ఉపయోగించడం వల్ల వేగంగా పనిచేస్తుంది, అయితే సింటాక్స్ అనలైజర్ గ్రామర్ను చెక్ చేయడానికి పుష్ డౌన్ ఆటోమేటాను ఉపయోగించడం వల్ల సమర్థవంతంగా పనిచేస్తుంది. ఈ విభజన లేకపోతే, రెండింటికీ ఒకే ఆటోమేటా వాడాల్సి వస్తుంది, ఇది నెమ్మదిగా ఉండవచ్చు.
- లెక్సీమ్: సోర్స్ కోడ్లోని క్యారెక్టర్ల వరుస క్రమం (ఉదా., `int`, `a`, `10`).
- టోకెన్: ఒక లెక్సీమ్ను సూచించే పేరు మరియు దాని ఆట్రిబ్యూట్ విలువతో కూడిన జత. ఐడెంటిఫైయర్లకు మాత్రమే ఆట్రిబ్యూట్ విలువ ఉంటుంది (సింబల్ టేబుల్ ఎంట్రీని సూచిస్తుంది).
- పాటర్న్: ఒక లెక్సీమ్ను చెల్లుబాటు అయ్యే టోకెన్గా గుర్తించడానికి ఉపయోగించే నియమం (రూల్).
- లెక్సీమ్స్ టోకెన్స్గా మార్చబడతాయి, మరియు ఈ మార్పిడి పాటర్న్స్ ద్వారా జరుగుతుంది.
ఈ పదాలను అర్థం చేసుకోవడం లెక్సికల్ అనలైజర్ సోర్స్ కోడ్ను ఎలా ప్రాసెస్ చేస్తుందో స్పష్టంగా తెలుసుకోవడానికి సహాయపడుతుంది.
`x = y + z;` అనే కోడ్లో, `x` ఒక లెక్సీమ్, దీనికి టోకెన్ `(identifier, 1)` (సింబల్ టేబుల్లోని మొదటి ఎంట్రీ) మరియు పాటర్న్ `[a-zA-Z_][a-zA-Z0-9_]*` ద్వారా గుర్తించబడుతుంది.
- లెక్సికల్ అనలైజర్ స్పెల్లింగ్ మిస్టేక్స్, అన్మ్యాచ్డ్ స్ట్రింగ్స్, ఇల్లీగల్ క్యారెక్టర్స్, మరియు ఐడెంటిఫైయర్ లెంగ్త్ ఎక్సీడ్ వంటి ఎర్రర్స్ను గుర్తిస్తుంది.
- రికవరీ మెకానిజమ్స్: కంపైలర్ డెవలపర్లు ఎర్రర్స్ను సరిదిద్దడానికి ఇన్సర్టింగ్, డిలీటింగ్, రీప్లేసింగ్, లేదా స్వాపింగ్ క్యారెక్టర్స్ వంటి పద్ధతులను ఉపయోగించవచ్చు.
- ఈ రికవరీ మెకానిజమ్స్ కంపైలర్ ఎర్రర్స్ను ఆటోమేటిక్గా సరిచేయడానికి సహాయపడతాయి, తద్వారా తదుపరి ఫేజెస్ కొనసాగవచ్చు.
లెక్సికల్ ఎర్రర్స్ను గుర్తించడం మరియు వాటిని సరిదిద్దడం కంపైలర్ యొక్క విశ్వసనీయతను పెంచుతుంది మరియు డెవలపర్లకు సహాయపడుతుంది.
ఒకవేళ ప్రోగ్రామర్ `while` బదులుగా `whil` అని టైప్ చేస్తే, లెక్సికల్ అనలైజర్ దీనిని గుర్తించి, `e` అక్షరాన్ని ఇన్సర్ట్ చేయడం ద్వారా `while`గా సరిచేయగలదు (రికవరీ మెకానిజం).
Key takeaways
- లెక్సికల్ అనలైజర్ కంపైలర్ యొక్క మొదటి దశ, ఇది సోర్స్ కోడ్ను టోకెన్స్గా మారుస్తుంది.
- కామెంట్స్ మరియు వైట్స్పేస్లను తొలగించడం లెక్సికల్ అనలైజర్ యొక్క ముఖ్యమైన పనులలో ఒకటి.
- లెక్సికల్ మరియు సింటాక్స్ అనాలిసిస్లను వేరు చేయడం వల్ల కంపైలర్ డిజైన్, సామర్థ్యం, మరియు పోర్టబిలిటీ మెరుగుపడతాయి.
- టోకెన్ అనేది లెక్సీమ్ యొక్క ప్రాతినిధ్యం, ఇది సింటాక్స్ అనలైజర్కు ఇన్పుట్గా పనిచేస్తుంది.
- ఐడెంటిఫైయర్లు సింబల్ టేబుల్లో స్టోర్ చేయబడతాయి, ఇది వాటి గురించిన అదనపు సమాచారాన్ని కలిగి ఉంటుంది.
- లెక్సికల్ అనలైజర్ స్పెల్లింగ్ తప్పులు వంటి ప్రాథమిక ఎర్రర్స్ను గుర్తించగలదు.
- రికవరీ మెకానిజమ్స్ కంపైలర్ ఎర్రర్స్ను ఆటోమేటిక్గా సరిచేయడానికి సహాయపడతాయి.
Key terms
లెక్సికల్ అనలైజర్ (Lexical Analyzer)టోకెన్ (Token)లెక్సీమ్ (Lexeme)పాటర్న్ (Pattern)సింబల్ టేబుల్ (Symbol Table)ఎర్రర్ హ్యాండ్లర్ (Error Handler)సింటాక్స్ అనలైజర్ (Syntax Analyzer)ఫైనైట్ ఆటోమేటా (Finite Automata - FA)పుష్ డౌన్ ఆటోమేటా (Push Down Automata - PDA)పోర్టబిలిటీ (Portability)
Test your understanding
- లెక్సికల్ అనలైజర్ యొక్క ప్రధాన విధులు ఏమిటి మరియు అవి సోర్స్ కోడ్ ప్రాసెసింగ్కు ఎలా దోహదం చేస్తాయి?
- లెక్సికల్ అనలైజర్ మరియు సింటాక్స్ అనలైజర్లను వేరు చేయడం వల్ల కలిగే మూడు ముఖ్యమైన ప్రయోజనాలను వివరించండి.
- లెక్సీమ్, టోకెన్, మరియు పాటర్న్ మధ్య సంబంధాన్ని ఒక ఉదాహరణతో వివరించండి.
- లెక్సికల్ అనలైజర్ గుర్తించగల రెండు రకాల ఎర్రర్స్ను పేర్కొని, వాటి రికవరీ మెకానిజమ్స్ గురించి చర్చించండి.
- ఐడెంటిఫైయర్ టోకెన్ విషయంలో సింబల్ టేబుల్ పాత్ర ఏమిటి?