22:12
Stop Wasting Tokens - How Claude / ChatGPT Actually Reads Your Prompt | Tokens Explained Visually
Balaji Chippada
Overview
ఈ వీడియో ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (AI) టూల్స్, ముఖ్యంగా ChatGPT మరియు Claude వంటివి, ప్రాంప్ట్లను ఎలా ప్రాసెస్ చేస్తాయో మరియు వాటి పరిమితులు ఎందుకు ఉంటాయో వివరిస్తుంది. టోకెన్స్ అనే ప్రాథమిక భావనను, అవి ఎలా లెక్కించబడతాయి, మరియు అవి AI మోడల్స్ పనితీరు, ఖర్చు, మరియు కాంటెక్స్ట్ విండోపై ఎలా ప్రభావం చూపుతాయో విజువల్గా వివరిస్తుంది. టెక్స్ట్ను నంబర్లుగా మార్చడం, ఎంబెడ్డింగ్స్, టోకెన్స్ పర్ సెకండ్ (TPS), మరియు కాంటెక్స్ట్ విండో వంటి సాంకేతిక అంశాలను కూడా చర్చిస్తుంది.
How was this?
Save this permanently with flashcards, quizzes, and AI chat
Chapters
- ChatGPT, Claude వంటి AI టూల్స్ తరచుగా 'రేట్ లిమిటింగ్' లేదా 'మెసేజ్ లిమిట్' వంటి పరిమితులను కలిగి ఉంటాయి.
- ఈ పరిమితులు టోకెన్స్ అనే భావనపై ఆధారపడి ఉంటాయి.
- టోకెన్స్ అనేవి AI మోడల్స్ టెక్స్ట్ను అర్థం చేసుకోవడానికి మరియు ప్రాసెస్ చేయడానికి ఉపయోగించే ప్రాథమిక యూనిట్లు.
- ఈ వీడియో ద్వారా, AI టూల్స్ ఎందుకు పరిమితులను కలిగి ఉంటాయి, లాంగ్ ప్రాంప్ట్స్ ఎందుకు ఎక్కువ ఖర్చు అవుతాయి, మరియు AI పాత కాంటెక్స్ట్ను ఎందుకు మరచిపోతుందో అర్థం చేసుకోవచ్చు.
AI టూల్స్ యొక్క అంతర్గత పనితీరును మరియు వాటి పరిమితులను అర్థం చేసుకోవడం ద్వారా, మీరు వాటిని మరింత సమర్థవంతంగా ఉపయోగించుకోవచ్చు మరియు అనవసరమైన ఖర్చులను నివారించవచ్చు.
ChatGPT 4.0 వాడకంలో 'Usage cap reached. Try again in X hours' అని చూపించడం.
- మెషీన్లు టెక్స్ట్ను నేరుగా అర్థం చేసుకోలేవు; వాటికి గణిత కార్యకలాపాలు అవసరం.
- టెక్స్ట్ను నంబర్లుగా మార్చడం ద్వారా మెషీన్లు ప్రాసెస్ చేయగలవు.
- ఆస్కీ (ASCII) అనేది అక్షరాలను నంబర్లుగా మార్చే ఒక పద్ధతి (ఉదా: 'A' = 65).
- ఆస్కీ పద్ధతిలో, 'హాయ్' మరియు 'హలో' వంటి పదాల మధ్య అర్థం లేదా సంబంధాన్ని మెషీన్ గుర్తించలేదు, ఇది ఒక ప్రధాన సమస్య.
టెక్స్ట్ను నంబర్లుగా మార్చే ప్రాథమిక పద్ధతిని మరియు దాని పరిమితులను తెలుసుకోవడం, AI మోడల్స్ కేవలం అక్షరాలను నంబర్లుగా మార్చడం కంటే ఎక్కువ ఎందుకు చేస్తాయో అర్థం చేసుకోవడానికి సహాయపడుతుంది.
'హలో' అనే పదాన్ని 'H', 'e', 'l', 'l', 'o' అక్షరాలుగా విడదీసి, వాటి ఆస్కీ నంబర్లకు (ఉదా: 104, 101, 108, 108, 111) మార్చడం.
- టోకెన్ అనేది మోడల్ నంబర్గా మార్చడానికి ముందు చదివే టెక్స్ట్ యొక్క చిన్న భాగం.
- టోకనైజేషన్ అనేది టెక్స్ట్ను చిన్న చిన్న భాగాలుగా (టోకెన్స్) విడదీసే ప్రక్రియ; ఇది పదాలు, స్పేస్లు, మరియు విరామ చిహ్నాలను కూడా కలిగి ఉంటుంది.
- ఎంబెడ్డింగ్స్ అనేవి టోకెన్స్ను వెక్టర్స్ (సంఖ్యా ప్రాతినిధ్యాలు) గా మార్చే పద్ధతి, ఇది పదాల అర్థాన్ని మరియు సంబంధాలను నిలుపుకుంటుంది.
- ఎంబెడ్డింగ్స్ ద్వారా, 'మాంగో' మరియు 'ఆపిల్' వంటి సారూప్య పదాలు వెక్టర్ స్పేస్లో దగ్గరగా ఉంటాయి, ఇది AIకి వాటిని అర్థం చేసుకోవడానికి సహాయపడుతుంది.
టోకెనైజేషన్ మరియు ఎంబెడ్డింగ్స్ ఎలా పనిచేస్తాయో తెలుసుకోవడం, AI మోడల్స్ భాషను ఎలా అర్థం చేసుకుంటాయో మరియు సారూప్య పదాల మధ్య సంబంధాలను ఎలా గుర్తిస్తాయో వివరిస్తుంది.
'I love mangoes.' అనే వాక్యం 'I', 'love', 'mango', 'es', '.' వంటి టోకెన్స్గా విడిపోవడం, మరియు 'mangoes' అనే పదం 'mango' మరియు 'es' అనే రెండు టోకెన్స్గా మారడం.
- AI మోడల్స్ (ChatGPT, Claude) టోకెన్ల సంఖ్య ఆధారంగా బిల్ చేస్తాయి.
- ఇన్పుట్ టోకెన్ల కంటే అవుట్పుట్ టోకెన్లకు సాధారణంగా ఎక్కువ ఖర్చు అవుతుంది, ఎందుకంటే అవుట్పుట్ జనరేట్ చేయడానికి ఎక్కువ ప్రాసెసింగ్ అవసరం.
- తెలుగు లేదా హిందీ వంటి భాషలలో కమ్యూనికేట్ చేస్తే, ఇంగ్లీష్తో పోలిస్తే ఎక్కువ టోకెన్లు వినియోగించబడతాయి.
- స్పెల్లింగ్ తప్పులు లేదా పెద్ద పదాలు ఎక్కువ టోకెన్లను వినియోగించవచ్చు.
టోకెన్ల ఖర్చులను అర్థం చేసుకోవడం, AI సేవలను ఉపయోగిస్తున్నప్పుడు ఖర్చులను నియంత్రించడానికి మరియు సమర్థవంతమైన ప్రాంప్ట్లను రూపొందించడానికి సహాయపడుతుంది.
ఇంగ్లీష్లో 'Hello' ఒక టోకెన్ అయితే, తెలుగులో 'హలో' తొమ్మిది టోకెన్లను తీసుకోవడం.
- టోకెన్స్ పర్ సెకండ్ (TPS) అనేది ఒక AI మోడల్ సెకనుకు ఎన్ని టోకెన్లను జనరేట్ చేయగలదో సూచిస్తుంది; అధిక TPS వేగవంతమైన ప్రతిస్పందనలను సూచిస్తుంది.
- కాంటెక్స్ట్ విండో అనేది ఒక AI మోడల్ ఒకే సెషన్లో గుర్తుంచుకోగల లేదా ప్రాసెస్ చేయగల గరిష్ట టోకెన్ల సంఖ్య.
- కాంటెక్స్ట్ విండో నిండిపోతే, AI పాత సమాచారాన్ని మరచిపోతుంది, ఇది పరిమితికి చేరుకున్నప్పుడు జరుగుతుంది.
- కొత్త చాట్లను తరచుగా ప్రారంభించడం మరియు అనవసరంగా పెద్ద ఫైల్లను పేస్ట్ చేయకపోవడం మంచిది.
TPS మరియు కాంటెక్స్ట్ విండో వంటి భావనలను అర్థం చేసుకోవడం, AI ప్రతిస్పందనల వేగాన్ని మరియు AI యొక్క 'జ్ఞాపకశక్తి' పరిమితులను అర్థం చేసుకోవడానికి సహాయపడుతుంది.
GPT-3.5 5కి 32 పేజీల పుస్తకం సమానమైన కాంటెక్స్ట్ విండో ఉండగా, Gemini 1.5 Proకి 4000 పేజీల సమానమైన కాంటెక్స్ట్ విండో ఉండటం.
Key takeaways
- AI మోడల్స్ టెక్స్ట్ను నేరుగా కాకుండా, టోకెన్లుగా మార్చి, ఆపై వాటిని సంఖ్యా రూపంలో (ఎంబెడ్డింగ్స్) ప్రాసెస్ చేస్తాయి.
- ప్రతి AI మోడల్ టోకెన్ల వినియోగంపై పరిమితులను కలిగి ఉంటుంది, ఇది రేట్ లిమిటింగ్ లేదా మెసేజ్ లిమిట్స్ రూపంలో కనిపిస్తుంది.
- ప్రాంప్ట్ యొక్క పొడవు, భాష, మరియు స్పెల్లింగ్ వంటివి టోకెన్ల వినియోగాన్ని ప్రభావితం చేస్తాయి; తెలుగు వంటి భాషలు ఇంగ్లీష్ కంటే ఎక్కువ టోకెన్లను తీసుకుంటాయి.
- అవుట్పుట్ టోకెన్లు ఇన్పుట్ టోకెన్ల కంటే ఖరీదైనవి, ఎందుకంటే అవుట్పుట్ జనరేషన్ ఎక్కువ కంప్యూటేషనల్ వనరులను ఉపయోగిస్తుంది.
- కాంటెక్స్ట్ విండో అనేది AI యొక్క 'వర్కింగ్ మెమరీ' పరిమితి; ఇది నిండిపోతే, AI పాత సమాచారాన్ని మరచిపోతుంది.
- AI టూల్స్ను సమర్థవంతంగా ఉపయోగించడానికి, టోకెన్ల వినియోగాన్ని తగ్గించేలా సంక్షిప్తమైన మరియు స్పష్టమైన ప్రాంప్ట్లను రూపొందించాలి.
- ఓపెన్ సోర్స్ మోడల్స్ తరచుగా ఉచితం, కానీ వాటిని అమలు చేయడానికి సాంకేతిక పరిజ్ఞానం మరియు వనరులు అవసరం.
Key terms
TokensRate LimitingTokenizationASCIIEmbeddingsVector RepresentationTokens Per Second (TPS)Context WindowPrompt EngineeringAPI
Test your understanding
- AI మోడల్స్ టెక్స్ట్ను ప్రాసెస్ చేయడానికి టోకెన్లను ఎందుకు ఉపయోగిస్తాయి?
- ఆస్కీ (ASCII) పద్ధతిలో టెక్స్ట్ను నంబర్లుగా మార్చడం వల్ల ఎదురయ్యే ప్రధాన సమస్య ఏమిటి?
- ఎంబెడ్డింగ్స్ (Embeddings) అనేవి టోకెనైజేషన్ నుండి ఎలా భిన్నంగా ఉంటాయి మరియు అవి AIకి ఎలా సహాయపడతాయి?
- ఇన్పుట్ టోకెన్ల కంటే అవుట్పుట్ టోకెన్లకు ఎందుకు ఎక్కువ ఖర్చు అవుతుంది?
- కాంటెక్స్ట్ విండో (Context Window) అంటే ఏమిటి మరియు అది AI యొక్క పనితీరును ఎలా ప్రభావితం చేస్తుంది?