परिभाषा - कॉम्बिनेटरिक्स क्या है। सूचना विज्ञान

ज्ञान की अनिश्चितता को कम करने के उपाय के रूप में सूचना की मात्रा

सूचना और ज्ञान।एक व्यक्ति इंद्रियों की मदद से आसपास की दुनिया से जानकारी प्राप्त करता है, उसका विश्लेषण करता है और सोच की मदद से महत्वपूर्ण पैटर्न की पहचान करता है, प्राप्त जानकारी को स्मृति में संग्रहीत करता है। आसपास की दुनिया के व्यवस्थित वैज्ञानिक ज्ञान की प्रक्रिया ज्ञान (तथ्यों, वैज्ञानिक सिद्धांतों, आदि) के रूप में जानकारी के संचय की ओर ले जाती है। इस प्रकार अनुभूति की प्रक्रिया की दृष्टि से सूचना को इस प्रकार माना जा सकता है ज्ञान.

अनुभूति की प्रक्रिया को नेत्रहीन रूप से ज्ञान के एक विस्तारित चक्र के रूप में दर्शाया जा सकता है (इस पद्धति का आविष्कार प्राचीन यूनानियों द्वारा किया गया था)। इस घेरे के बाहर अज्ञान का क्षेत्र है, और वृत्त ज्ञान और अज्ञान के बीच की सीमा है। विरोधाभास यह है कि एक व्यक्ति के पास जितना अधिक ज्ञान होता है (ज्ञान का चक्र उतना ही व्यापक होता है), उतना ही वह ज्ञान की कमी महसूस करता है (हमारी अज्ञानता की सीमा जितनी अधिक होगी, जिसका माप इस मॉडल में परिधि है) - अंजीर। 1.1.

चावल। 1.1 ज्ञान और अज्ञान

तो, एक स्कूल स्नातक के ज्ञान की मात्रा प्रथम-ग्रेडर के ज्ञान की मात्रा से बहुत अधिक है, हालांकि, उसकी अज्ञानता की सीमा बहुत अधिक है। वास्तव में, एक प्रथम-ग्रेडर भौतिकी के नियमों के बारे में कुछ नहीं जानता है और इसलिए उसे अपने ज्ञान की अपर्याप्तता का एहसास नहीं होता है, जबकि भौतिकी में परीक्षा की तैयारी में एक स्कूल स्नातक को पता चल सकता है कि ऐसे भौतिक नियम हैं जिन्हें वह नहीं जानता या नहीं समझता है .

किसी व्यक्ति को प्राप्त होने वाली जानकारी को ज्ञान की अनिश्चितता को कम करने का उपाय माना जा सकता है। यदि किसी संदेश से हमारे ज्ञान की अनिश्चितता में कमी आती है, तो हम कह सकते हैं कि ऐसे संदेश में जानकारी होती है।

उदाहरण के लिए, कंप्यूटर विज्ञान में एक परीक्षा उत्तीर्ण करने के बाद, आप अनिश्चितता से तड़पते हैं, आपको नहीं पता कि आपको कौन सा ग्रेड मिला है। अंत में, परीक्षा समिति परीक्षा के परिणामों की घोषणा करती है, और आपको एक संदेश प्राप्त होता है जो पूर्ण निश्चितता लाता है, अब आप अपने ग्रेड को जानते हैं। अज्ञान से पूर्ण ज्ञान में संक्रमण होता है, जिसका अर्थ है कि परीक्षा समिति के संदेश में जानकारी होती है।

ज्ञान की अनिश्चितता को कम करना।ज्ञान की अनिश्चितता को कम करने के उपाय के रूप में सूचना का दृष्टिकोण आपको जानकारी की मात्रा निर्धारित करने की अनुमति देता है, जो कंप्यूटर विज्ञान के लिए अत्यंत महत्वपूर्ण है। विशिष्ट उदाहरणों पर अधिक विस्तार से जानकारी की मात्रा निर्धारित करने के मुद्दे पर विचार करें।

मान लीजिए हमारे पास एक सिक्का है जिसे हम समतल सतह पर फेंकते हैं। समान संभावना के साथ, दो संभावित घटनाओं में से एक घटित होगी - सिक्का दो स्थितियों में से एक में होगा: सिर या पूंछ।

हम कह सकते हैं कि घटनाएँ समान रूप से संभावित हैं यदि, प्रयोगों की बढ़ती संख्या के साथ, चित और पट की संख्या धीरे-धीरे निकट आ रही है। उदाहरण के लिए, यदि हम एक सिक्के को 10 बार उछालते हैं, तो "सिर" 7 बार गिर सकता है, और पूंछ - 3 बार, यदि हम एक सिक्के को 100 बार उछालते हैं, तो "सिर" 60 बार गिर सकता है, और "पूंछ" - 40 बार, अगर हम एक सिक्के को 1000 बार उछालते हैं, तो "ईगल" 520 बार गिर सकता है, और "पूंछ" - 480 और इसी तरह।

नतीजतन, प्रयोगों की एक बहुत बड़ी श्रृंखला के साथ, सिर और पूंछ की संख्या लगभग बराबर होगी।

टॉस से पहले हमारे ज्ञान में अनिश्चितता है (दो घटनाएं संभव हैं), और यह भविष्यवाणी करना असंभव है कि सिक्का कैसे गिरेगा। टॉस के बाद, पूर्ण निश्चितता है, क्योंकि हम देखते हैं (एक दृश्य संदेश प्राप्त करते हैं) कि सिक्का वर्तमान में एक निश्चित स्थिति में है (उदाहरण के लिए, "ईगल")। यह संदेश हमारे ज्ञान की अनिश्चितता को आधा कर देता है, क्योंकि थ्रो से पहले हमारे पास दो संभावित घटनाएँ थीं, और थ्रो के बाद - केवल एक, यानी दो गुना कम (चित्र 1.2)।

चावल। 1.2 संभावित और पिछली घटनाएं

आस-पास की वास्तविकता में, अक्सर ऐसी स्थितियों का सामना करना पड़ता है जब समान रूप से संभावित घटनाओं की एक निश्चित संख्या हो सकती है। इसलिए, जब एक समबाहु चतुष्फलकीय पिरामिड फेंकते हैं, तो 4 समान रूप से संभावित घटनाएँ होती हैं, और जब एक छह-पक्षीय पासा फेंकते हैं, तो 6 समान रूप से संभावित घटनाएँ होती हैं।

संभावित घटनाओं की संख्या जितनी अधिक होगी, प्रारंभिक अनिश्चितता उतनी ही अधिक होगी और तदनुसार, प्रयोग के परिणामों के बारे में संदेश में उतनी ही अधिक जानकारी होगी।

सूचना की मात्रा को मापने के लिए इकाइयाँ।किसी भी मात्रा की मात्रात्मक अभिव्यक्ति के लिए माप की इकाई निर्धारित करना आवश्यक है। तो, लंबाई मापने के लिए, एक मीटर को एक इकाई के रूप में चुना जाता है, द्रव्यमान को मापने के लिए, एक किलोग्राम, और इसी तरह। इसी तरह, जानकारी की मात्रा निर्धारित करने के लिए, आपको माप की एक इकाई दर्ज करनी होगी।

पीछे सूचना की इकाईइतनी मात्रा में जानकारी प्राप्त होती है जिसमें एक संदेश होता है जो अनिश्चितता को आधा कर देता है। इस इकाई को कहा जाता है "अंश".

यदि हम एक सिक्के को उछालने के प्रयोग पर लौटते हैं, तो यहां अनिश्चितता आधी हो जाती है और इसलिए, प्राप्त जानकारी की मात्रा 1 बिट होती है।

सूचना की मात्रा को मापने के लिए सबसे छोटी इकाई थोड़ी है, और अगली सबसे बड़ी इकाई एक बाइट है, जिसमें

1 बाइट = 2 3 बिट = 8 बिट

कंप्यूटर विज्ञान में, सूचना की मात्रा को मापने के लिए कई इकाइयों की शिक्षा प्रणाली अधिकांश विज्ञानों में स्वीकृत लोगों से कुछ अलग है। इकाइयों की पारंपरिक मीट्रिक प्रणाली, जैसे कि एसआई की अंतर्राष्ट्रीय प्रणाली, गुणांक 10n का उपयोग कई इकाइयों के गुणकों के रूप में करती है, जहां n = 3, 6, 9, और इसी तरह, जो दशमलव उपसर्ग किलो (10 3) से मेल खाती है, मेगा (10 6), गीगा (10 9) इत्यादि।

कंप्यूटर दशमलव में नहीं, बल्कि बाइनरी में संख्याओं के साथ काम करता है, इसलिए, सूचना की मात्रा को मापने की कई इकाइयों में, गुणांक 2 n का उपयोग किया जाता है।

तो, एक बाइट के गुणकों में सूचना की मात्रा के मापन की इकाइयाँ निम्नानुसार दर्ज की जाती हैं:

1 केबी = 2 10 बाइट्स = 1024 बाइट्स;
1 एमबी = 2 10 केबी = 1024 केबी;
1 जीबी = 2 10 एमबी = 1024 एमबी।

संभावित घटनाओं की संख्या और जानकारी की मात्रा। एक सूत्र है जो संभावित घटनाओं की संख्या N और जानकारी की मात्रा I से संबंधित है:

एन = 2 मैं

(2.1)

यदि जानकारी की मात्रा ज्ञात है, तो इस सूत्र का उपयोग करके, आप आसानी से संभावित घटनाओं की संख्या निर्धारित कर सकते हैं। उदाहरण के लिए, यदि हमें 4 बिट जानकारी प्राप्त हुई, तो संभावित घटनाओं की संख्या थी:

इसके विपरीत, जानकारी की मात्रा निर्धारित करने के लिए, यदि घटनाओं की संख्या ज्ञात है, तो / के लिए घातीय समीकरण को हल करना आवश्यक है। उदाहरण के लिए, पहली चाल से पहले 8x8 मैदान पर "टिक-टैक-टो" खेल में, 64 संभावित घटनाएं होती हैं ("क्रॉस" के स्थान के लिए 64 अलग-अलग विकल्प), फिर समीकरण बन जाता है:

64 \u003d 2 6 के बाद से, हम प्राप्त करते हैं:

इस प्रकार, I = 6 बिट, अर्थात्, पहले खिलाड़ी की पहली चाल के बाद दूसरे खिलाड़ी द्वारा प्राप्त जानकारी की मात्रा 6 बिट्स है।

प्रतिबिंब के लिए प्रश्न

1. घटना के बारे में जानकारी प्राप्त करने के बाद ज्ञान की अनिश्चितता को कम करने के उदाहरण दीजिए।

2. एक सिक्का उछालने के अनुभव में ज्ञान की अनिश्चितता क्या है?

3. सूचना की मात्रा संभावित घटनाओं की संख्या पर कैसे निर्भर करती है?

कार्य

1.1. 4x4 मैदान पर टिक-टैक-टो के खेल में पहले खिलाड़ी की पहली चाल के बाद दूसरे खिलाड़ी को कितनी जानकारी मिलेगी?

1.2. संभावित घटनाओं की संख्या क्या थी, यदि उनमें से एक के कार्यान्वयन के बाद, हमें 3 बिट्स के बराबर जानकारी प्राप्त हुई? 7 बिट्स?

सूचना वह सूचना या डेटा है जिसमें प्राप्तकर्ता के लिए अनिश्चितता नहीं होती है। यदि, फिर भी, जानकारी में कुछ अनिश्चितता है, तो इसे केवल एक निश्चित संभावना के साथ ही माना जा सकता है। इसलिए, अनिश्चितता की उपस्थिति में, सूचना प्राप्त करने वाला किसी तरह अनिश्चितता को कम करने का प्रयास करता है। यदि उसी समय सूचना प्राप्त करने वाला अनिश्चितता को पूरी तरह से समाप्त करने का प्रबंधन करता है, तो वह पूरी तरह से जानकारी का मालिक होता है। व्यवहार में यह कैसे किया जा सकता है यह इस अध्याय का विषय है।

अनिश्चितता का मात्रात्मक माप

अनिश्चितताओं की तुलना करने के लिए, निम्नलिखित उदाहरणों या प्रयोगों पर विचार करें a, b और g , जिसमें अनिश्चितताएं क्रमशः एच (ए), एच (बी) और एच (जी) हैं:

1. अगले विश्व शतरंज चैंपियन का निर्धारण करें (प्रयोग ए)।

2. लॉटरी टिकट की संख्या निर्धारित करें, जो आगामी लॉटरी ड्रा (प्रयोग बी) में सबसे बड़ी जीत प्राप्त करेगी।

3. रूसी संघ के अगले राष्ट्रपति का निर्धारण करें (प्रयोग जी)।

जाहिर है, प्रत्येक प्रयोग की अनिश्चितता की डिग्री अन्य दो से भिन्न होती है, और सबसे अधिक संभावना है कि असमानताएं हों

एच (बी)> एच (ए)> एच (जी),

जहां एच (ए), एच (बी) और एच (जी) क्रमशः ए, बी और जी प्रयोगों की अनिश्चितताओं (या एन्ट्रॉपी) के मात्रात्मक उपाय हैं। एक विशेष स्थिति में, यदि किसी अनुभव d के लिए समानता H(d) = 0 होती है, तो हम कहते हैं कि अनुभव d विश्वसनीय है, अर्थात। इसमें अनिश्चितता नहीं है। दूसरे शब्दों में, अनुभव की अनिश्चितता सूचना की कमी या नकारात्मक जानकारी के अलावा और कुछ नहीं है।

I. हार्टले फॉर्मूला।मान लीजिए a एक मनमाना प्रयोग है जिसमें k समसंभाव्य परिणाम A k . है

इवेंट ए 1 ए 2। . . एक को

प्रायिकताएँ 1/ k 1/ k । . . 1 / के।

के = 1 एच(ए) = 0 के लिए, और जैसे-जैसे के बढ़ता है, एच (ए) भी बढ़ता है, यानी।

जहाँ f, k का कुछ फलन है। दूसरी ओर, यदि b एक और प्रयोग है, जो l समसंभाव्य परिणामों के साथ a से स्वतंत्र है, तो एक जटिल प्रयोग ab के लिए, जिसमें प्रयोगों a और b का एक साथ निष्पादन होता है, यह मान लेना स्वाभाविक है कि अनिश्चितता की डिग्री प्रयोग एबी, प्रयोगों ए और बी को दर्शाने वाली अनिश्चितताओं के योग के बराबर है।

एच (एबी) = एच (ए) + एच (बी)।

इस प्रकार, एक फलन f के रूप में, हम एक लघुगणकीय फलन चुन सकते हैं और मान सकते हैं कि

एच (ए) = लॉग 2 के।

यह हार्टले का सूत्र है और यह अनुभव के बारे में अनिश्चितता का एक उपाय है जो अनुभव में निहित है और दो समान रूप से संभावित परिणाम हैं (जैसे "हां" या "नहीं")। दूसरे शब्दों में, एच (ए) सूचना की मात्रा है (थोड़ा सा सूचना की मात्रा के माप की इकाई के रूप में माना जाता है), जिसकी सहायता से अनुभव की अनिश्चितता विश्वसनीयता में बदल जाती है।

इसलिए, उदाहरण के लिए, 1 से 8 की सीमा में इच्छित संख्या का अनुमान लगाने के लिए, आपको अधिकतम 3 बिट जानकारी की आवश्यकता होगी, अर्थात। तीन प्रश्न पूछे जाने चाहिए।

द्वितीय. शैनन सूत्र।मान लीजिए कि k असमान परिणामों के साथ एक मनमाना अनुभव है A k:

इवेंट ए 1 ए 2। . . एक को

संभावनाएं पी (ए 1) पी (ए 2)। . . पी (ए के)।

एच (ए) = - å पी (ए आई) लॉग 2 पी (ए आई)

शैनन के अनुसार अनुभव की अनिश्चितता का एक माप है। विशेष रूप से, जब Р(А i) = 1/ k , हार्टले का सूत्र शैनन के सूत्र से अनुसरण करता है।

3.1.1. सिद्ध कीजिए कि H(ab) = H(a) + H(b)।

3.1.2. इस समूह के मुखिया का निर्धारण करने के लिए आपको शैक्षणिक समूह के छात्रों से शिक्षक से कितने प्रश्न पूछने की आवश्यकता है (शिक्षक के प्रश्नों के उत्तर "हां" या "नहीं" हो सकते हैं)।

3.1.3. कार्य पर विचार करें 3.1.2. एक प्रश्न के मामले में।

3.1.4. माना x कार्डिनैलिटी m के समुच्चय M का एक अवयव है। कितने

तत्व x निर्धारित करने के लिए आवश्यक जानकारी?

3.1.5. मान लीजिए x 1 और x 2 कार्डिनैलिटी m 1 और m 2 के समुच्चय M 1 और M 2 के क्रमशः दो स्वेच्छ अवयव हैं। तत्वों x 1 और x 2 को एक साथ निर्धारित करने के लिए कितनी जानकारी की आवश्यकता है?

3.1.6. मान लीजिए 27 सोने के सिक्के हैं, जिनमें से एक नकली है (असली से हल्का), और कप के साथ तराजू। नकली सिक्के का पता लगाने के लिए कितनी तुलाई की जानी चाहिए?

3.1.7. सिद्ध कीजिए कि कोई भी प्रयोग a H(a) 0, और H(a) = 0 यदि और केवल यदि एक प्रायिकता 1 के बराबर हो और शेष 0 के बराबर हो।

3.1.8. सिद्ध कीजिए कि H(a) log 2 k , जहाँ k प्रयोग a के परिणामों की संख्या है, और समानता तभी प्राप्त होती है जब परिणाम समान रूप से संभावित हों।

3.1.9. यदि a के दो परिणाम हैं तो H(a) में क्या गुण हैं?

सशर्त अनिश्चितता।

जानकारी की मात्रा

मान लीजिए a और b दो मनमाना प्रयोग हैं जिनमें k और l परिणाम क्रमशः A k , B l हैं। तब यदि a और b स्वतंत्र हैं, तो

एच (एबी) = एच (ए) + एच (बी) ,

और यदि a और b आश्रित हैं, तो

एच (एबी) = एच (ए) + एच ए (बी) ,

जहां एच ए (बी) प्रयोग बी की सशर्त अनिश्चितता है, इस शर्त के तहत कि प्रयोग किया जाता है और समानता के द्वारा निर्धारित किया जाता है

एच ए (बी) = å पी (ए आई) एच ए आई (बी)।

यहां एच ए आई (बी) परिणाम ए की स्थिति के तहत अनुभव बी की सशर्त अनिश्चितता है और सूत्र द्वारा निर्धारित किया जाता है: एल

एच ए आई (बी) = - å पी ए आई (बी जे) लॉग 2 पी ए आई (बी जे), आई = 1, के।

जाहिर है, अगर ए और बी स्वतंत्र हैं, तो एच ए (बी) = एच (बी) और एच ए (बी) एच (बी) अगर ए और बी निर्भर हैं।

समानता भी है

अंतर पर विचार करें

मैं (ए , बी) \u003d एच (बी) - एच ए (बी) ,

जो इंगित करता है कि अनुभव का परिणाम कितना अनुभव की अनिश्चितता को कम करता है b. संख्या I (ए, बी) अनुभव में निहित अनुभव बी के बारे में जानकारी की मात्रा कहा जाता है।

विशेष रूप से, a =b के लिए हमारे पास I (a, a) = 0 है, जिसे अपने आप में निहित अनुभव के बारे में जानकारी की मात्रा के रूप में व्याख्या किया जा सकता है। यदि a और b स्वतंत्र हैं, तो

वे। आम तौर पर

मैं (ए, बी) 0,

जिसकी व्याख्या कुछ इस तरह की जा सकती है: विश्वविद्यालय में जो कुछ भी पढ़ाया जाता है, उससे कोई नुकसान नहीं होगा, और सबसे खराब स्थिति में, बस कोई फायदा नहीं होगा।

मैं (ए, बी) = मैं (बी, ए),

तो मैं (ए, बी) को दो प्रयोगों ए और बी की पारस्परिक जानकारी भी कहा जा सकता है

एच (एबी) = एच (ए) + एच ए (बी) ,

मैं (ए, बी) = एच (ए) + एच (बी) - एच (एबी) ,

इसलिए कश्मीर

मैं (a , b) = P(A i B j) log 2 P(A i B j) /(P(A i) P(B j)) ।

इस प्रकार, हमने जानकारी I (a, b) की मात्रा के लिए अंतिम सूत्र प्राप्त किया है।

3.2.1. सिद्ध कीजिए कि यदि a और b स्वेच्छिक प्रयोग हैं, तो;

ए)एच (एबी) = एच (ए) + एच ए (बी);

बी)एच (एबी) ≤ एच (ए) + एच (बी);

में) 0 एच ए (बी) ≤ एच (बी);

जी)मैं (ए, बी) = मैं (बी, ए);

इ)मैं (ए, बी) एच (ए);

3.2.2. I (a , b) के लिए एक सूत्र व्युत्पन्न कीजिए।

3.2.3. मान लें कि b में m काली और n सफेद गेंदों वाले कलश से एक गेंद निकालने का अनुभव होता है, उसी कलश (बिना वापस लौटे) k गेंदों से प्रारंभिक निष्कर्षण में k का अनुभव करें। प्रयोग बी की अनिश्चितता क्या है और प्रयोगों में निहित अनुभव के बारे में जानकारी 6,

3.2.4. चयनात्मक नियंत्रण के लिए कन्वेयर पर निर्मित n भागों के बैचों से m भागों को वापस लेने दें। पूरे बैच में दोषों के प्रतिशत और नमूने में दोषों के प्रतिशत के द्वारा निरूपित करें। I (ए, बी) को परिभाषित करें।

3.2.5. (झूठे और ईमानदार लोगों के शहरों के बारे में)। बता दें कि किसी शहर A के निवासी हमेशा सच बोलते हैं, और पड़ोसी शहर B के निवासी हमेशा झूठ बोलते हैं। ऑब्जर्वर एच जानता है कि वह इन दो शहरों में से एक में है, लेकिन यह नहीं जानता कि कौन सा है। जिस व्यक्ति से वह मिलता है उससे पूछताछ करके, उसे यह निर्धारित करने की आवश्यकता है कि वह किस शहर में स्थित है, या किस शहर में उसका वार्ताकार रहता है (ए के निवासी बी और वापस जा सकते हैं), या दोनों। प्रश्न यह है कि H को कम से कम कितने प्रश्न पूछने हैं (सभी प्रश्न H को केवल "हां" या "नहीं" में उत्तर देने हैं)।

सूचना का हस्तांतरण

आइए एक बार फिर से सूचना हस्तांतरण की सामान्य योजना पर लौटते हैं, वास्तविक संदेशों को अलग-अलग अक्षरों या अक्षरों के संयोजन में संभाव्यता वितरण की संबंधित तालिकाओं के साथ कुछ प्रयोगों के रूप में देखते हुए।

विशेष रूप से, यदि x और x" क्रमशः प्रेषित और विकृत संदेश हैं, तो हम सूचना की मात्रा I(x", x) - इसके इनपुट के सापेक्ष चैनल के आउटपुट को परिभाषित करते हैं:

मैं (एक्स ", एक्स) \u003d एच (एक्स) - एच एक्स "(एक्स),

जहां एच (एक्स), एच (एक्स") क्रमशः संदेश एन्ट्रॉपी एक्स और एक्स" हैं।

अर्थ

सी = अधिकतम मैं (एक्स", एक्स)

चैनल क्षमता कहा जाता है, अर्थात। यह एक घड़ी चक्र में चैनल के माध्यम से प्रसारित की जा सकने वाली अधिकतम जानकारी की विशेषता है। वास्तव में, चैनल क्षमता विश्वसनीय सूचना हस्तांतरण की दर आर की ऊपरी सीमा है, और इस सीमा को मनमाने ढंग से बंद किया जा सकता है।

प्रमेय 1(कोडिंग के बारे में)। चैनल के बैंडविड्थ सी से कम किसी भी संख्या आर के लिए, और किसी भी ई> 0 के लिए, एक ब्लॉक ट्रांसमिशन विधि है जिसकी दर आर से कम नहीं है और एक त्रुटि संभावना पी (ई) ई से अधिक नहीं है।

उसी समय, बैंडविड्थ से अधिक दर पर सूचना प्रसारित करने की कोई भी विधि इस तथ्य की ओर ले जाती है कि त्रुटि की संभावना कुछ निश्चित मूल्य से अधिक होगी।

प्रमेय 2।(कोडिंग प्रमेय का रूपांतरण)। यदि आर का मान चैनल सी की क्षमता से अधिक है, तो एक स्थिर ई 0 (आर और सी पर निर्भर करता है) ऐसा है कि सूचना के ब्लॉक संचरण की किसी भी विधि के लिए आर से कम नहीं, असमानता

(е)³ ई 0 .

I(a i) द्वारा प्रतीक a i में निहित जानकारी की मात्रा को निरूपित करें और इसे इस प्रकार परिभाषित करें:

I(a i) = - log 2 P(a i) ,

जहाँ P(a i) संदेश पाठ में ही वर्ण a i के घटित होने की प्रायिकता है।

यदि संदेश पाठ किसी प्राकृतिक भाषा में लिखा गया है

(और इसे एक प्राकृतिक कोड के रूप में माना जा सकता है जो त्रुटियों का पता लगाता है और सुधारता है), फिर इस भाषा के प्रत्येक अक्षर की पाठ में घटना की अपनी आवृत्ति होती है (उदाहरण के लिए, रूसी में, अक्षर ओ, ई, ई बहुत अधिक सामान्य हैं (पी ओ \u003d 0.09, पी ई, ई = 0.07) अक्षर ई और एफ (पी ई = 0.003, पी एफ = 0.002) की तुलना में) और इसलिए एक प्राकृतिक भाषा की अनिश्चितता एच एल को एम के रूप में परिभाषित किया गया है

एच एल = - å पी(ए आई) लॉग 2 पी(ए आई) ,

और अतिरेक ~ एल, क्रमशः, के रूप में

सी एल \u003d 1 - एच एल / लॉग 2 मीटर,

जहाँ m प्राकृतिक भाषा के अक्षरों की संख्या है।

जाहिर है, 0 एल ≤ 1, इसलिए, इष्टतम कोडिंग के साथ, पाठ का हिस्सा समझ से समझौता किए बिना छोड़ा जा सकता है।

इसलिए, उदाहरण के लिए, साहित्यिक अंग्रेजी के लिए एल = 0.5, और अन्य भाषाओं की अतिरेक कुछ कम है।

ध्यान दें कि भाषा की अतिरेक एक नुकसान नहीं है, बल्कि एक फायदा है, उदाहरण के लिए, यदि एल = 50%, तो इसका मतलब है कि पूरे पाठ को पुनर्स्थापित करने के लिए विकृत पाठ का आधा उपयोग किया जा सकता है।

3.3.1. डीएससी की बैंडविड्थ निर्धारित करें।

3.3.2. डीएससी के लिए I(x", x) खोजें।

3.3.3. रूसी भाषा की अतिरेक और अनिश्चितता का निर्धारण करें।

3.3.4. अंग्रेजी भाषा के अक्षरों की जानकारी की मात्रा निर्धारित करें।

3.3.5. ब्लॉक कोड के लिए शैनन के प्रमेयों को सिद्ध करें।

3.3.6. पाठ पुनर्स्थापित करें:

ए)सी ?? जेड क्यू? ली ?? एम? पी?एलएन???यू ओड??री? एम??ओपीआर??टी?मैं सी? भाप??? ?ओ ??आरबी? ? ?a?o?ओम;

बी)?के बारे में?का?एई? ka?av?n???ay.

परिचय। . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1. असतत उपकरणों की वर्णमाला। फ़ील्ड समाप्त करें। . . . . . . . . . 4

1.1. सरल गैलोइस क्षेत्र GF(P) । . . . . . . . . . . . . . . . . . . . . 4

1.2. समग्र गैलोइस क्षेत्र GF(P n) । . . . . . . . . . . . . . . . . . . 6

2. सूचना एन्कोडिंग। . . . . . . . . . . . . . . . . . . . . . ।नौ

2.1. बुनियादी अवधारणाओं। कोड उदाहरण। . . . . . . . . . . . . . . नौ

2.2. लाइन कोड। उन्हें सेट करने के तरीके। . . . . . . . . . . . पंद्रह

2.3. रैखिक कोड गुण। हैमिंग कोड। . . . . . . . . . 22

2.4. चक्रीय कोड। . . . . . . . . . . . . . . . . . . . . . . . 27

2.5. BCH कोड दो त्रुटियों को ठीक करता है। . . . . . . . . . . . .32

2.6. नॉनलाइनियर कोड। हैडामर्ड कोड। . . . . . . . . . . . . . . .36

2.7. कोड पावर बाउंड. . . . . . . . . . . . . . . . . . . . 40

3. सूचना और अनिश्चितता। . . . . . . . . . . . . . . . . . 44

3.1. अनिश्चितता का एक मात्रात्मक उपाय। . . . . . . . . . . .45

3.2. सशर्त अनिश्चितता। जानकारी की मात्रा। . . . .47

3.3. सूचना का स्थानांतरण। . . . . . . . . . . . . . . . . . . . . ।पचास

ओसिपियन वालेरी ओसिपोविच

सूचना प्रसारण के सिद्धांत के तत्व

संपादक टी.वी. शिलोवा

तकनीकी संपादक आई.ए. ज़िनोव्स्काया

प्रूफरीडर एम.ई. शुलेपोवा

01/22/97 . का एलआर नं. 200378

29 जनवरी 1997 को प्रकाशन के लिए हस्ताक्षरित।

प्रारूप 60´84 1/16। कागज़ का प्रकार। क्रम 3।

स्क्रीन प्रिंटिंग। रूपा. तंदूर एल 2.75.

उच.-एड. एल 2.7. सर्कुलेशन 300 प्रतियां। आदेश संख्या।

कुबन स्टेट यूनिवर्सिटी

यादृच्छिकता और अनिश्चितता

कॉम्बिनेटरिक्स गणित की एक शाखा है जो एक सेट के तत्वों के संयोजन, क्रमपरिवर्तन, प्लेसमेंट और गणना का अध्ययन करती है।

अनिश्चितता क्या है?

अनिश्चितता किसी चीज के बारे में जानकारी की कमी या अनुपस्थिति है।

यादृच्छिकता वास्तविक दुनिया की ऐसी घटनाओं के बीच संबंधों को नामित करने के लिए एक श्रेणी है जिसे कुछ शर्तों के तहत महसूस किया जा सकता है, लेकिन दूसरों के तहत नहीं। किसी घटना की यादृच्छिकता इस तथ्य में निहित है कि किसी विशेष परिणाम के कार्यान्वयन में कुछ हद तक अनिश्चितता होती है।

मानव गतिविधि के लगभग सभी क्षेत्रों में यादृच्छिकता प्रकट होती है।

एक घटना एक घटना है जो क्रियाओं के परिणामस्वरूप होती है। घटनाओं को आमतौर पर बड़े लैटिन अक्षरों द्वारा दर्शाया जाता है: ए, बी, सी, आदि।

एक यादृच्छिक घटना एक घटना है जो घटित हो सकती है या नहीं भी हो सकती है।

घटनाओं का योग एआई बी घटना सी है, जिसमें घटना ए या घटना बी या दोनों घटनाओं का एक साथ प्रकट होना शामिल है:

घटनाओं ए और बी का उत्पाद एक घटना सी है, जिसमें घटनाओं ए और बी (उनका संयोजन) की संयुक्त उपस्थिति शामिल है:

किसी घटना की प्रायिकता किसी घटना के घटित होने की वस्तुनिष्ठ संभावना का माप है।

घटना ए को घटना बी से स्वतंत्र कहा जाता है यदि घटना ए की संभावना इस बात पर निर्भर नहीं करती है कि घटना बी होती है या नहीं। अन्यथा, घटना A को घटना B पर निर्भर कहा जाता है।

असंगत घटनाएं वे हैं जो एक साथ नहीं हो सकती हैं: एक की घटना दूसरे की घटना को बाहर करती है।

छद्म-यादृच्छिक संख्याएँ वे संख्याएँ हैं जिनका उपयोग प्रोग्रामिंग में यादृच्छिक संख्याओं की नकल करने के लिए किया जाता है।

एक छद्म यादृच्छिक संख्या जनरेटर एक एल्गोरिथ्म है जो संख्याओं का एक क्रम उत्पन्न करता है जिसके तत्व एक दूसरे से लगभग स्वतंत्र होते हैं और एक निश्चित वितरण का पालन करते हैं।

एक छद्म-यादृच्छिक अनुक्रम जनरेटर यादृच्छिक मूल्यों के कुछ बाहरी स्रोत (उदाहरण के लिए, शोर) के कारण छद्म-यादृच्छिक संख्याओं के अनुक्रम के निर्माण के लिए एक एल्गोरिथ्म है। क्रम में i-th संख्या जानने के बाद, सूत्रों का उपयोग इसके (r + 1)-th तत्व को निर्धारित करने के लिए किया जा सकता है।

छद्म यादृच्छिक अनुक्रम उत्पन्न करने के लिए एल्गोरिदम आवधिक हैं।

उदाहरण। 1. संख्या 6 वाले पासे का एक फलक आने की प्रायिकता ज्ञात कीजिए।

इस स्थिति में, सामान्य परिणामों की संख्या 6 है, क्योंकि पासे में 6 फलक हैं। हालाँकि, केवल एक ही अनुकूल परिणाम है, क्योंकि पासे का केवल एक ही चेहरा है जिसकी संख्या 6 है, इसलिए

उदाहरण 2. 1 से N तक की संख्याओं की एक यादृच्छिक सूची बनाएँ।

1- वें रास्ता

यदि तत्व की स्थिति में "0" है, तो आप तत्व को रख सकते हैं।

यदि स्थिति "0" नहीं है, तो तत्व के लिए एक यादृच्छिक संख्या उत्पन्न होती है।

2- वें रास्ता

हम सूची के तत्वों को शून्य मान प्रदान करते हैं।

हम तत्व को क्रम में रखते हैं।

यदि स्थिति "0" नहीं है, तो हम बाद के सभी को तब तक जांचते हैं जब तक हमें "0" नहीं मिल जाता।

3- वें रास्ता

हम सूची के तत्वों को शून्य मान प्रदान करते हैं।

हम तत्व को क्रम में रखते हैं।

यदि तत्व की स्थिति में "0" है, तो आप तत्व को रख सकते हैं।

किसी घटना के बारे में ज्ञान की अनिश्चितता घटना के संभावित परिणामों की संख्या है

आइए सिक्के के उदाहरण पर वापस जाएं। उदाहरण के लिए, आपके द्वारा सिक्के को उछाले जाने और उसे देखने के बाद, आपको एक दृश्य संदेश प्राप्त हुआ कि यह शीर्ष पर आया है। दो संभावित घटनाओं में से एक हुई है। ज्ञान की अनिश्चितता आधी हो गई है: दो विकल्प थे, केवल एक ही रह गया। तो, एक सिक्के को उछालने का परिणाम जानने के बाद, आपको 1 बिट जानकारी प्राप्त हुई।

यह संदेश कि दो समान रूप से संभावित घटनाओं में से एक घटना घटी है, इसमें थोड़ी जानकारी होती है।

मान लें कि किसी संदेश में यह जानकारी है कि N में से एक समान रूप से संभावित (समान रूप से संभव) घटना घटी है। फिर इस संदेश में निहित जानकारी की मात्रा और घटनाओं की संख्या N सूत्र द्वारा संबंधित हैं:

2 मैं =एन.

यदि एन दो (2, 4, 8, 16, आदि) की एक पूर्णांक शक्ति है, तो गणना "मन में" करना आसान है। अन्यथा, जानकारी की मात्रा एक गैर-पूर्णांक मान बन जाती है, और समस्या को हल करने के लिए, आपको लॉगरिदम की एक तालिका का उपयोग करना होगा या लॉगरिदम का मान लगभग (निकटतम पूर्णांक, अधिक से अधिक) निर्धारित करना होगा।

उदाहरण के लिए, यदि 256 समान, लेकिन अलग-अलग रंगों की गेंदों में से एक को यादृच्छिक रूप से चुना गया था, तो संदेश कि लाल गेंद को चुना गया था, में 8 बिट जानकारी (2 8 = 256) होती है।

0 से 100 की सीमा में एक संख्या (निश्चित रूप से) का अनुमान लगाने के लिए, यदि इसे केवल द्विआधारी प्रश्न ("हां" या "नहीं" के उत्तर के साथ) पूछने की अनुमति है, तो आपको 7 प्रश्न पूछने की आवश्यकता है, क्योंकि जानकारी की मात्रा छिपी हुई संख्या के बारे में 6 से अधिक और 7 से कम (2 6 2 7)

संदेश में निहित जानकारी की मात्रा जो कि एन इक्विप्रोबेबल घटनाओं में से एक हुई है, घातीय समीकरण के समाधान से निर्धारित होती है: 2 मैं =एन

वर्णानुक्रमिक दृष्टिकोण सूचना माप के लिए

वर्णानुक्रमिक दृष्टिकोण इस तथ्य पर आधारित है कि किसी भी संदेश को कुछ वर्णमाला के प्रतीकों के सीमित अनुक्रम का उपयोग करके एन्कोड किया जा सकता है।

वर्णमाला- किसी भाषा में संदेशों को एन्कोड करने के लिए उपयोग किए जाने वाले वर्णों का एक आदेशित सेट।

वर्णमाला की शक्ति- वर्णमाला के वर्णों की संख्या।

बाइनरी वर्णमाला में 2 अक्षर होते हैं, इसकी शक्ति दो होती है।

ASCII वर्णों के साथ लिखे गए संदेश 256 वर्णों के वर्णमाला का उपयोग करते हैं। UNICODE संदेश 65,536 वर्णों की वर्णमाला का उपयोग करते हैं।

एक वर्णानुक्रम में एक संदेश में जानकारी की मात्रा निर्धारित करने के लिए, आपको निम्नलिखित समस्याओं को क्रमिक रूप से हल करने की आवश्यकता है:

जानकारी की मात्रा निर्धारित करें (i) सूत्र 2 i = N का उपयोग करके एक वर्ण में, जहां N वर्णमाला की शक्ति है

संदेश में वर्णों की संख्या निर्धारित करें (एम)

सूत्र का उपयोग करके जानकारी की मात्रा की गणना करें: I = i * K।

K वर्णों से युक्त संपूर्ण पाठ (I) में जानकारी की मात्रा, वर्ण के सूचना भार के गुणनफल के बराबर है को:

मैं = मैं * को।

यह मान पाठ की सूचना मात्रा है।

उदाहरण के लिए, यदि एएससीआईआई-एन्कोडेड टेक्स्ट संदेश में 100 वर्ण हैं, तो इसकी सूचना मात्रा 800 बिट है।

मैं = 8 * 100 = 800

समान लंबाई के बाइनरी संदेश के लिए, सूचना की मात्रा 100 बिट है।

सूचना के मापन की इकाइयों और उनके बीच संबंध को जानना भी आवश्यक है।

सूचना इकाइयाँ

जैसा कि पहले ही कहा जा चुका है, मूल इकाईमाप की जानकारी - बिट।

8 बिट 1 . हैं बाइट.

बाइट्स के साथ, बड़ी इकाइयों का उपयोग सूचना की मात्रा को मापने के लिए किया जाता है:
1 केबी (एक किलोबाइट) = 1024 बाइट्स;

1 एमबी (एक मेगाबाइट) = 1024 केबी;

1 जीबी (एक गीगाबाइट) = 1024 एमबी।

हाल ही में, संसाधित जानकारी की मात्रा में वृद्धि के कारण, ऐसी व्युत्पन्न इकाइयाँ:

1 टेराबाइट (टीबी) = 1024 जीबी,

1 पेटाबाइट (पीबी) = 1024 टीबी।

टिकट नंबर 3

1. सूचना का असतत प्रतिनिधित्व: बाइनरी नंबर; कंप्यूटर मेमोरी में टेक्स्ट की बाइनरी एन्कोडिंग। पाठ की सूचना मात्रा।

2. ग्राफिक संपादक के माध्यम से ग्राफिक छवियों का निर्माण और प्रसंस्करण।

1. सूचना का असतत प्रतिनिधित्व: बाइनरी नंबर; कंप्यूटर मेमोरी में टेक्स्ट की बाइनरी एन्कोडिंग। पाठ की सूचना मात्रा।

एक व्यक्ति इंद्रियों के माध्यम से जानकारी को मानता है। साथ ही, वह इसे ठीक करना चाहता है और इसे दूसरों के लिए सुलभ रूप में प्रस्तुत करना चाहता है। सूचना की प्रस्तुति का रूप भिन्न हो सकता है। एक और एक ही वस्तु, जैसे कि एक घर, को चित्र के रूप में चित्रमय रूप से चित्रित किया जा सकता है या तीन अनुमानों में एक चित्र बनाया जा सकता है। इसे पद्य में या गणितीय सूत्रों की सहायता से वर्णित किया जा सकता है।

सूचना की प्रस्तुति का रूप उस उद्देश्य पर निर्भर करता है जिसके लिए वह कार्य करता है। उदाहरण के लिए। एक एल्गोरिथम या प्रोग्रामिंग भाषा में द्विघात समीकरण का हल लिखना बीजगणित पाठों में प्रयुक्त लेखन के रूप से मौलिक रूप से भिन्न है।

संख्याओं के निरूपण पर विचार करें।

संख्याओं को विशेष संकेत प्रणालियों का उपयोग करके लिखा जाता है जिन्हें संख्या प्रणाली कहा जाता है। सभी संख्या प्रणालियों को स्थितीय और गैर-स्थिति में विभाजित किया गया है।

नोटेशनलिखने का तरीका है नंबरविशेष पात्रों के साथ नंबर.

संख्याएं:
123, 45678, 1010011, सीएक्सएल

संख्याएं:
0, 1, 2, ... मैं, वी, एक्स, एल, ...

वर्णमालाएक सेट है नंबर. {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}

संख्या प्रणाली के प्रकार:

गैर स्थितीय- किसी अंक का मान उसके स्थान पर निर्भर नहीं करता (पदों)एक संख्या के संकेतन में;

अवस्था का- स्थान पर निर्भर करता है (पदों)संख्या प्रविष्टि में।

गैर-स्थितीय प्रणाली

एकल- एक अंक एक के लिए खड़ा है (1 दिन, 1 पत्थर, 1 राम, ...)

रोमन:
मैं- 1 (उंगली), वी- 5 (खुली हथेली, 5 उंगलियां), एक्स- 10 (दो हथेलियां), ली – 50, सी – 100 (सेन्टम), डी – 500 (डेमिमिल), एम – 1000 (मिल)

स्थितीय प्रणाली:किसी अंक का मान संख्या के अंकन में उसकी स्थिति से निर्धारित होता है।

दशमलव प्रणाली:

मूल रूप से - भारत में आविष्कार की गई उंगलियों पर गिनती, अरबों द्वारा उधार ली गई, यूरोप में लाई गई

वर्णमाला: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9

आधार(आंकड़ों की संख्या): 10

रैंक

3 7 8 = 3 102 + 7 101 + 8 100

300 70 8

अन्य स्थितीय प्रणाली:

बाइनरी, ऑक्टल, हेक्साडेसिमल (कंप्यूटर साइंस)

ग्रहणी (1 फुट = 12 इंच, 1 शिलिंग = 12 पेंस)

विजीसिमल (1 फ़्रैंक = 20 सूस)

सेक्सजेसिमल (1 मिनट = 60 सेकंड, 1 घंटा = 60 मिनट)

कंप्यूटर में नंबर सिस्टम

17वीं शताब्दी में, जर्मन वैज्ञानिक गॉटफ्रीड लाइबनिज़ ने केवल दो प्रतीकों - 0 और 1 का उपयोग करके संख्याओं का प्रतिनिधित्व करने के लिए एक अनूठी प्रणाली का प्रस्ताव रखा। आज, इस पद्धति का व्यापक रूप से कंप्यूटर सहित प्रौद्योगिकी में उपयोग किया जाता है, और इसे असतत कहा जाता है।

कंप्यूटर स्टोर करने में सक्षम है केवलअसतत जानकारी। उनकी स्मृति, चाहे वह कितनी भी बड़ी क्यों न हो, व्यक्तिगत बिट्स से बनी होती है, जिसका अर्थ है कि यह स्वाभाविक रूप से असतत है।

कंप्यूटर भाषा बाइनरी नंबरों की भाषा है - बायनरीएक वर्णमाला जिसमें दो संकेत होते हैं, 1 और 0। तर्क और प्रौद्योगिकी में, ये संकेत अवधारणाओं से जुड़े होते हैं - हां और नहीं, सही और गलत, चालू और बंद। इस वर्णमाला को भी कहा जाता है बायनरी. इसी के अनुसार सूचना की सबसे छोटी इकाई का भी परिचय दिया गया है - अंश (अंग्रेजी बिट, बाइनरी से - बाइनरी और डिजिट - साइन)। "हां" या "नहीं" शब्द को व्यक्त करने के लिए एक बिट जानकारी पर्याप्त है, उदाहरण के लिए, एक प्रकाश बल्ब की स्थिति को एन्कोड करने के लिए। वैसे, कुछ स्विच पर वे "1 - ऑन" और "0 - ऑफ" लिखते हैं। स्विच पर एक नज़र हमारे लिए बंद हो जाती है अनिश्चितताउसकी हालत में। इस मामले में, हमें जानकारी की मात्रा एक बिट के बराबर मिलती है।

बीआईटी - मशीन बाइनरी कोड के एक अंक के अनुरूप सूचना की सबसे छोटी इकाई।

बाइनरी एन्कोडिंग (बाइनरी नोटेशन) के अन्य कोडिंग सिस्टम की तुलना में कई फायदे हैं:

इसे लागू करने के लिए, दो संभावित राज्यों के साथ तकनीकी रूप से जटिल तत्वों की आवश्यकता होती है (एक करंट है - कोई करंट नहीं है, मैग्नेटाइज्ड है - मैग्नेटाइज्ड नहीं है, आदि)।

केवल दो राज्यों के माध्यम से सूचना का प्रतिनिधित्व विश्वसनीय और शोर प्रतिरोधी है।

सूचना के तार्किक परिवर्तन करने के लिए एक विशेष तर्क बीजगणित (बूलियन बीजगणित) का उपयोग करना संभव है।

बाइनरी अंकगणित दशमलव अंकगणित की तुलना में बहुत सरल है। बाइनरी जोड़ और गुणन सारणी अत्यंत सरल हैं।

कंप्यूटर में सूचना प्रसंस्करण मशीन के विभिन्न उपकरणों के बीच विद्युत संकेतों के आदान-प्रदान पर आधारित है। एक संकेत की उपस्थिति का संकेत संख्या 1 द्वारा दर्शाया जा सकता है, अनुपस्थिति का संकेत - संख्या 0 से।

बाइनरी टेक्स्ट कोडिंग

कंप्यूटर में टेक्स्ट को दर्शाने के लिए 256 अलग-अलग कैरेक्टर का उपयोग किया जाता है। 1 वर्ण को एन्कोड करने के लिए, 8 बिट आवंटित किए जाते हैं।

कोडन- प्रत्येक वर्ण को 0 से 255 तक दशमलव कोड या उसके संबंधित बाइनरी कोड को 00000000 से 11111111 तक निर्दिष्ट करना

एक प्रतीक के लिए एक विशिष्ट कोड असाइन करना समझौते का मामला है, जो कोड तालिका में तय किया गया है।

जैसा अंतर्राष्ट्रीय मानककोड अपनाया गया है ASCII तालिका(अमेरिकन मानक कोड जानकारी आदान प्रदान के लिए) :

कोड 0 से 32 (पहले 33 कोड) - ऑपरेशन कोड (लाइन फीड, स्पेस एंट्री, यानी फ़ंक्शन कुंजियों के अनुरूप);

कोड 33 से 127 - अंतर्राष्ट्रीय, लैटिन वर्णमाला के पात्रों के अनुरूप, संख्याएं, अंकगणितीय संक्रियाओं के संकेत, विराम चिह्न;

कोड 128 से 255 - राष्ट्रीय, यानी। राष्ट्रीय वर्णमाला कोड।

पर 1 वर्णसौंपा गया 1 बाइट(8 बिट), कुल 2 8 = 256 वर्णों को एन्कोड किया जा सकता है

1997 से, एक नया अंतर्राष्ट्रीय मानक सामने आया है यूनिकोड, जो एन्कोड करने के लिए एक वर्ण लेता है 2 बाइट्स(16 बिट्स), और 65536 विभिन्न वर्णों को एन्कोड किया जा सकता है (यूनिकोड में दुनिया के सभी मौजूदा, विलुप्त और कृत्रिम रूप से बनाए गए अक्षर, कई गणितीय, संगीत, रासायनिक और अन्य वर्ण शामिल हैं)

वर्तमान में पाँच हैं सिरिलिक एन्कोडिंग: KOI-8, CP1251, CP866, आईएसओ, मैक। टेक्स्ट दस्तावेज़ों को एक एन्कोडिंग से दूसरे में बदलने के लिए, कन्वर्टर्स नामक प्रोग्राम हैं।

मैं = मैं * क

टिकट नंबर 4

1. सूचना का असतत प्रतिनिधित्व: कंप्यूटर में रंगीन छवि को एन्कोड करना (रेखापुंज दृष्टिकोण)। ध्वनि और वीडियो छवियों का प्रतिनिधित्व और प्रसंस्करण। मल्टीमीडिया की अवधारणा।

2. ग्राफिकल इंटरफेस के साथ फाइल सिस्टम के साथ काम करना (फाइलों के साथ मानक संचालन करना: बनाना, कॉपी करना, नाम बदलना, हटाना)। एक व्यक्तिगत सूचना स्थान का संगठन (डेस्कटॉप तत्वों को कॉन्फ़िगर करना, वायरस की जांच करना, एक संग्रहकर्ता का उपयोग करना)।

1. सूचना का असतत प्रतिनिधित्व: कंप्यूटर में रंगीन छवि को एन्कोड करना (रेखापुंज दृष्टिकोण)। ध्वनि और वीडियो छवियों का प्रतिनिधित्व और प्रसंस्करण। मल्टीमीडिया की अवधारणा।

ग्राफिक्स और ध्वनि सहित जानकारी को एनालॉग या असतत रूप में प्रस्तुत किया जा सकता है। कंप्यूटर में सूचना को असतत रूप में संग्रहीत किया जाता है। एनालॉग से असतत रूप में ग्राफिक और ऑडियो जानकारी को नमूनाकरण द्वारा परिवर्तित किया जाता है, अर्थात एक निरंतर ग्राफिक छवि और एक निरंतर ऑडियो सिग्नल को अलग-अलग तत्वों में विभाजित करना।

ग्राफिक जानकारी एन्कोडिंग

स्थानिक विवेकाधिकार- छवि को अलग-अलग छोटे टुकड़ों (डॉट्स) में तोड़कर एक एनालॉग रूप से एक डिजिटल कंप्यूटर प्रारूप में ग्राफिक छवि का स्थानांतरण जहां प्रत्येक तत्व को एक रंग कोड सौंपा गया है।

पिक्सेल - स्क्रीन पर छवि का न्यूनतम क्षेत्र, दिया गया रंग

बिटमैपअलग-अलग डॉट्स - पिक्सल से बनता है, जिनमें से प्रत्येक का अपना रंग हो सकता है। बाइनरी इमेज कोडस्क्रीन पर प्रदर्शित वीडियो मेमोरी में संग्रहीत होता है। रेखापुंज ग्राफिक्स पैटर्न एन्कोडिंगजैसा दिखता है - वर्गों का एक मोज़ेक जिसमें एक निश्चित रंग होता है।

छवि एन्कोडिंग की गुणवत्ता पर निर्भर करता है:

1) डॉट आकार (इसका आकार जितना छोटा होगा, छवि में बिंदुओं की संख्या उतनी ही अधिक होगी);

2) रंगों की संख्या (बिंदु की संभावित अवस्थाओं की संख्या जितनी अधिक होगी, छवि उतनी ही बेहतर होगी) रंग पैलेट - प्रयुक्त रंगों का सेट।

बिटमैप की गुणवत्ता निर्भर करती है:

1) मॉनिटर रिज़ॉल्यूशन - लंबवत और क्षैतिज रूप से बिंदुओं की संख्या।

2) प्रयुक्त रंग पैलेट (16, 256, 65536 रंग)

3) रंग गहराई - एक बिंदु के रंग को एन्कोड करने के लिए बिट्स की संख्या

भंडारण के लिए काला और सफेद उपयोग की गई छवियां 1 बिट

रंग चित्र वीडियो मेमोरी में संग्रहीत बाइनरी कलर कोड के अनुसार उत्पन्न होता है। रंगीन छवियों में अलग-अलग रंग की गहराई होती है। स्क्रीन पर रंगीन छवि तीन मूल रंगों - लाल, हरे और नीले रंग को मिलाकर बनती है। एक समृद्ध पैलेट प्राप्त करने के लिए बेस रंगों को अलग-अलग तीव्रता दी जा सकती है।

बाइनरी ऑडियो कोडिंग

एनालॉग रूप में, ध्वनि लगातार बदलते आयाम और आवृत्ति के साथ एक तरंग है। कंप्यूटर पर ध्वनि फ़ाइलों के साथ काम 90 के दशक की शुरुआत में शुरू हुआ। एक पीसी का उपयोग करके ध्वनि कोडिंग के केंद्र में वायु कंपन को विद्युत प्रवाह कंपन में परिवर्तित करने और एक एनालॉग विद्युत संकेत के बाद के नमूने की प्रक्रिया है। विशेष कार्यक्रमों (ध्वनि रिकॉर्डिंग संपादक) का उपयोग करके ध्वनि जानकारी का एन्कोडिंग और प्लेबैक किया जाता है। एन्कोडेड ऑडियो प्लेबैक की गुणवत्ता इस पर निर्भर करती है - नमूना आवृत्ति और इसका रिज़ॉल्यूशन (ऑडियो एन्कोडिंग गहराई - स्तरों की संख्या)

अस्थायी विवेकीकरण- ध्वनि तरंग को अलग-अलग छोटे समय खंडों में तोड़कर ध्वनि को डिजिटल रूप में परिवर्तित करने की एक विधि जहां इन वर्गों के आयामों को परिमाणित किया जाता है (उन्हें एक निश्चित मान दिया जाता है)।

यह साउंड कार्ड पर स्थित एनालॉग-टू-डिजिटल कनवर्टर का उपयोग करके किया जाता है। इस प्रकार, समय पर सिग्नल आयाम की निरंतर निर्भरता को जोर के स्तरों के असतत अनुक्रम से बदल दिया जाता है। आधुनिक 16-बिट साउंड कार्ड 65536 विभिन्न वॉल्यूम स्तरों या 16-बिट ध्वनि गहराई को एन्कोड करते हैं (प्रत्येक ध्वनि आयाम मान को 16-बिट कोड सौंपा गया है)

ऑडियो एन्कोडिंग की गुणवत्ता निर्भर करती है:

1) ध्वनि एन्कोडिंग गहराई - ध्वनि स्तरों की संख्या

2) नमूना दर - प्रति यूनिट सिग्नल स्तर में परिवर्तन की संख्या

समय (आमतौर पर 1 सेकंड)।

सूचना सिद्धांत के जनक क्लाउड शैननपरिभाषित जानकारी, जैसा अनिश्चितता को दूर किया. अधिक सटीक रूप से, अनिश्चितता को दूर करने के लिए जानकारी प्राप्त करना एक आवश्यक शर्त है। पसंद की स्थिति में अनिश्चितता पैदा होती है। अनिश्चितता को दूर करने के दौरान जो कार्य हल किया जाता है, वह है विकल्पों की संख्या को कम करना (विविधता में कमी), और परिणामस्वरूप, संभावित विकल्पों में से स्थिति के अनुरूप एक विकल्प का चुनाव। अनिश्चितता हटाने से सूचित निर्णय लेने और कार्य करने का अवसर मिलता है। यह सूचना की नियंत्रक भूमिका है।

कल्पना कीजिए कि आप एक दुकान में गए और च्यूइंग गम बेचने के लिए कहा। एक सेल्सवुमन, जिसके पास 16 ब्रांड की च्युइंग गम है, अनिश्चितता की स्थिति में है। वह अधिक जानकारी के बिना आपके अनुरोध को पूरा नहीं कर सकती। यदि आपने "ऑर्बिट" निर्दिष्ट किया है, और 16 प्रारंभिक विकल्पों में से, सेल्सवुमन अब केवल 8 पर विचार करती है, तो आपने उसकी अनिश्चितता को आधा कर दिया है (आगे देखते हुए, मान लें कि अनिश्चितता को आधा करना 1 बिट जानकारी प्राप्त करने के अनुरूप है)।यदि आप, बिना किसी और हलचल के, बस अपनी उंगली से खिड़की की ओर इशारा करते हैं, "यह वाला!", तो अनिश्चितता पूरी तरह से दूर हो गई थी। फिर से, आगे देखते हुए, मान लें कि इस उदाहरण में आपने सेल्सवुमन को 4 बिट्स की जानकारी दी।

स्थिति अधिकतम अनिश्चिततासुझाव देता है कि कई हैं सुसज्जित करने योग्यविकल्प (विकल्प), अर्थात्। विकल्पों में से कोई भी पसंद नहीं किया जाता है। इसके अलावा, अधिक समान रूप से संभावित विकल्पदेखा गया है, अनिश्चितता जितनी अधिक होगी, एक स्पष्ट चुनाव करना उतना ही कठिन होगा और अधिक जानकारी की आवश्यकताउसे पाने के लिए। के लिए एनविकल्प, इस स्थिति को निम्नलिखित संभाव्यता वितरण द्वारा वर्णित किया गया है: (1/एन, 1/एन, ... 1/एन)।

न्यूनतम अनिश्चितता 0 . है, अर्थात। यह स्थिति पूर्ण निश्चितता, जिसका अर्थ है कि चुनाव कर लिया गया है और सभी आवश्यक जानकारी प्राप्त कर ली गई है। पूर्ण निश्चितता की स्थिति के लिए संभाव्यता वितरण इस तरह दिखता है: {1, 0, …0} .

सूचना सिद्धांत में अनिश्चितता की मात्रा को दर्शाने वाली मात्रा को प्रतीक द्वारा दर्शाया जाता है एचऔर नाम है एन्ट्रापी,ज्यादा ठीक सूचना एन्ट्रापी.

एन्ट्रापी (एच) – अनिश्चितता का मापबिट्स में व्यक्त किया। एन्ट्रापी को इस प्रकार भी देखा जा सकता है वितरण की एकरूपता का एक उपायअनियमित चर।

चित्र 8. दो विकल्पों के मामले में उनकी संभावनाओं के अनुपात में परिवर्तन के साथ एन्ट्रापी के व्यवहार को दिखाता है (पी, (1-पी))।

इस मामले में एन्ट्रापी अपने अधिकतम मूल्य तक पहुँच जाती है जब दोनों संभावनाएं एक दूसरे के बराबर और ½ के बराबर होती हैं, शून्य एन्ट्रापी मान मामलों से मेल खाता है (पी 0 = 0, पी 1 = 1) और (पी 0 = 1, पी 1 =0).

जानकारी की मात्रा Iऔर एन्ट्रापी एचएक ही स्थिति की विशेषता है, लेकिन गुणात्मक रूप से विपरीत पक्षों से। I अनिश्चितता एच को दूर करने के लिए आवश्यक जानकारी की मात्रा है।लियोन ब्रिलौइनो के अनुसार सूचना ऋणात्मक एन्ट्रापी (नेगेंट्रॉपी) है.

जब अनिश्चितता पूरी तरह से दूर हो जाती है, तो प्राप्त जानकारी की मात्रा मैंअंतर्निहित अनिश्चितता के बराबर एच.

अनिश्चितता को आंशिक रूप से हटाने के साथ, प्राप्त जानकारी की मात्रा और शेष अनसुलझी अनिश्चितता प्रारंभिक अनिश्चितता में जुड़ जाती है। एच टी + आई टी = एच.

इस कारण से, एन्ट्रापी की गणना करने के लिए जो सूत्र नीचे प्रस्तुत किए जाएंगे एचसूचना की मात्रा की गणना के लिए सूत्र भी हैं मैं, अर्थात। जब यह आता है अनिश्चितता का पूर्ण निष्कासन, एचउनके द्वारा प्रतिस्थापित किया जा सकता है मैं.