Mga digmaang digital: kung paano pinamumunuan ng artificial intelligence at malaking data ang mundo

Noong 2016, sa pagsasalita sa World Economic Forum sa Davos, ang pangulo nito, si Klaus Martin Schwab, ay nagsalita tungkol sa "Ika-apat na Rebolusyong Pang-industriya": isang bagong panahon ng kabuuang automation na lumilikha ng kompetisyon sa pagitan ng katalinuhan ng tao at artipisyal na katalinuhan. Ang talumpating ito (pati na rin ang aklat na may parehong pangalan) ay itinuturing na isang punto ng pagbabago sa pag-unlad ng mga bagong teknolohiya. Maraming bansa ang kailangang pumili kung aling landas ang kanilang tatahakin: ang priyoridad ng teknolohiya kaysa sa mga indibidwal na karapatan at kalayaan, o kabaliktaran? Kaya't ang teknolohikal na pagbabago ay naging isang panlipunan at pampulitika.

Ano pa ang pinag-usapan ni Schwab, at bakit ito napakahalaga?

Babaguhin ng rebolusyon ang balanse ng kapangyarihan sa pagitan ng mga tao at mga makina: ang artificial intelligence (AI) at mga robot ay lilikha ng mga bagong propesyon, ngunit papatayin din ang mga luma. Ang lahat ng ito ay magbubunga ng hindi pagkakapantay-pantay sa lipunan at iba pang mga kaguluhan sa lipunan.

Ang mga digital na teknolohiya ay magbibigay ng malaking kalamangan sa mga tataya sa kanila sa tamang panahon: mga imbentor, shareholder at venture investor. Ang parehong naaangkop sa mga estado.

Sa karera para sa pandaigdigang pamumuno ngayon, kung sino ang may pinakamaraming impluwensya sa larangan ng artificial intelligence ang mananalo. Ang pandaigdigang kita mula sa paggamit ng teknolohiya ng AI sa susunod na limang taon ay tinatayang nasa $16 trilyon, at bAng pinakamalaking bahagi ay mapupunta sa US at China.

Sa kanyang aklat na "The Superpowers of Artificial Intelligence", ang Chinese IT expert na si Kai-Fu Lee ay nagsusulat tungkol sa pakikibaka sa pagitan ng China at United States sa larangan ng teknolohiya, ang Silicon Valley phenomenon, at ang malaking pagkakaiba ng dalawang bansa.

USA at China: lahi ng armas

Estados Unidos ay itinuturing na isa sa mga pinaka-maunlad na bansa sa larangan ng artificial intelligence. Ang mga higanteng pandaigdig na nakabase sa Silicon Valley - tulad ng Google, Apple, Facebook o Microsoft - ay binibigyang pansin ang mga pag-unlad na ito. Dose-dosenang mga startup ang sumasali sa kanila.

Noong 2019, inatasan ni Donald Trump ang paglikha ng American AI Initiative. Gumagana ito sa limang lugar:

Pinag-uusapan ng Department of Defense AI Strategy ang tungkol sa paggamit ng mga teknolohiyang ito para sa mga pangangailangan ng militar at cybersecurity. Kasabay nito, noong 2019, kinilala ng United States ang superiority ng China sa ilang indicator na nauugnay sa AI research.

Noong 2019, ang gobyerno ng US ay naglaan ng humigit-kumulang $1 bilyon para sa pananaliksik sa larangan ng artificial intelligence. Gayunpaman, sa 2020, 4% lang ng mga CEO ng US ang nagpaplanong magpatupad ng teknolohiya ng AI, kumpara sa 20% noong 2019. Naniniwala sila na ang mga posibleng panganib ng teknolohiya ay mas mataas kaysa sa mga kakayahan nito.

Tsina naglalayong maabutan ang US sa artificial intelligence at iba pang teknolohiya. Ang panimulang punto ay maaaring ituring na 2017, nang lumitaw ang Pambansang Diskarte para sa Pag-unlad ng AI Technologies. Ayon dito, sa 2020, dapat ay naabutan ng China ang mga pinuno ng mundo sa larangang ito, at ang kabuuang AI market sa bansa ay dapat na lumampas sa $22 bilyon. Plano nilang mamuhunan ng $700 bilyon sa matalinong pagmamanupaktura, gamot, lungsod, agrikultura at depensa.

Mga digmaang digital: kung paano pinamumunuan ng artificial intelligence at malaking data ang mundo
Mga digmaang digital: kung paano pinamumunuan ng artificial intelligence at malaking data ang mundo

Ang pinuno ng Tsina, si Xi Jinping, ay nakikita ang AI bilang "ang puwersang nagtutulak sa likod ng teknolohikal na rebolusyon" at paglago ng ekonomiya. Iniuugnay ito ng dating presidente ng Chinese na Google na si Li Kaifu sa katotohanan na tinalo ng AlphaGo (ang pagbuo ng punong tanggapan ng Google) ang Chinese go game champion na si Ke Jie. Ito ay naging isang teknolohikal na hamon para sa China.

Ang pangunahing bagay kung saan ang bansa ay mas mababa sa Estados Unidos at iba pang mga pinuno sa ngayon ay ang pangunahing teoretikal na pananaliksik, ang pagbuo ng mga pangunahing algorithm at chips batay sa AI. Upang mapagtagumpayan ito, aktibong humiram ang China ng pinakamahusay na mga teknolohiya at mga espesyalista mula sa pandaigdigang merkado, habang hindi pinapayagan ang mga dayuhang kumpanya na makipagkumpitensya sa mga Chinese sa loob ng bansa.

Kasabay nito, sa lahat ng mga kumpanya sa larangan ng AI, ang pinakamahusay ay pinipili sa ilang mga yugto at na-promote sa mga pinuno ng industriya. Ang isang katulad na diskarte ay ginamit na sa industriya ng telekomunikasyon. Noong 2019, ang unang pilot zone para sa inobasyon at ang paggamit ng artificial intelligence ay nagsimulang itayo sa Shanghai.

Sa 2020, ang gobyerno ay nangako ng isa pang $1,4 trilyon para sa 5G, AI at mga self-driving na sasakyan. Tumaya sila sa pinakamalaking provider ng cloud computing at pagsusuri ng data – Alibaba Group Holding at Tencent Holdings.

Ang Baidu, ang "Chinese Google" na may hanggang 99% na katumpakan ng pagkilala sa mukha, ang mga startup na iFlytek at Face ang naging pinakamatagumpay. Ang merkado para sa Chinese microcircuits sa isang taon lamang - mula 2018 hanggang 2019 - ay lumago ng 50%: sa $ 1,73 bilyon.

Sa harap ng digmaang pangkalakalan at lumalalang relasyong diplomatiko sa Estados Unidos, pinaigting ng Tsina ang pagsasama-sama ng mga proyektong sibil at militar sa larangan ng AI. Ang pangunahing layunin ay hindi lamang teknolohikal, kundi pati na rin ang geopolitical superiority sa Estados Unidos.

Bagama't nagawa ng China na lampasan ang Estados Unidos sa mga tuntunin ng walang limitasyong pag-access sa malaki at personal na data, nahuhuli pa rin ito sa larangan ng mga teknolohikal na solusyon, pananaliksik at kagamitan. Kasabay nito, ang mga Tsino ay naglalathala ng mas maraming binanggit na mga artikulo sa AI.

Ngunit upang makabuo ng mga proyekto ng AI, kailangan natin hindi lamang ng mga mapagkukunan at suporta ng estado. Ang walang limitasyong pag-access sa malaking data ay kailangan: sila ang nagbibigay ng batayan para sa pananaliksik at pag-unlad, pati na rin ang pagsasanay ng mga robot, algorithm at neural network.

Malaking datos at kalayaang sibil: ano ang presyo ng pag-unlad?

Ang malaking data sa US ay sineseryoso din at naniniwala sa potensyal nito para sa pag-unlad ng ekonomiya. Kahit sa ilalim ni Obama, ang gobyerno ay naglunsad ng anim na pederal na malaking data program na may kabuuang $200 milyon.

Gayunpaman, sa proteksyon ng malaki at personal na data, ang lahat ay hindi gaanong simple dito. Ang pagbabagong punto ay ang mga kaganapan noong Setyembre 11, 2011. Ito ay pinaniniwalaan na noon na ang estado ay nagbigay ng mga espesyal na serbisyo na may walang limitasyong pag-access sa personal na data ng mga mamamayan nito.

Noong 2007, pinagtibay ang Batas sa Paglaban sa Terorismo. At mula sa parehong taon, lumitaw ang PRISM sa pagtatapon ng FBI at CIA - isa sa mga pinaka-advanced na serbisyo na nangongolekta ng personal na data tungkol sa lahat ng mga gumagamit ng mga social network, pati na rin ang mga serbisyo ng Microsoft, Google, Apple, Yahoo, at kahit na telepono. mga tala. Ito ay tungkol sa base na ito na nagsalita si Edward Snowden, na dating nagtrabaho sa pangkat ng proyekto.

Bilang karagdagan sa mga pag-uusap at mensahe sa mga chat, email, ang programa ay nangongolekta at nag-iimbak ng data ng geolocation, kasaysayan ng browser. Ang nasabing data sa US ay hindi gaanong protektado kaysa sa personal na data. Ang lahat ng data na ito ay kinokolekta at ginagamit ng parehong mga higanteng IT mula sa Silicon Valley.

Kasabay nito, wala pa ring nag-iisang pakete ng mga batas at mga hakbang na kumokontrol sa paggamit ng malaking data. Ang lahat ay batay sa patakaran sa privacy ng bawat partikular na kumpanya at mga pormal na obligasyon na protektahan ang data at i-anonymize ang mga user. Bilang karagdagan, ang bawat estado ay may sariling mga tuntunin at batas tungkol dito.

Sinusubukan pa rin ng ilang estado na protektahan ang data ng kanilang mga mamamayan, kahit man lang mula sa mga korporasyon. Ang California ang may pinakamahigpit na batas sa proteksyon ng data sa bansa mula noong 2020. Ayon dito, ang mga gumagamit ng Internet ay may karapatang malaman kung anong impormasyon ang kinokolekta ng mga kumpanya tungkol sa kanila, kung paano at bakit nila ito ginagamit. Maaaring hilingin ng sinumang user na alisin ito o ipagbawal ang pagkolekta. Isang taon bago nito, ipinagbawal din nito ang paggamit ng facial recognition sa trabaho ng pulisya at mga espesyal na serbisyo.

Ang data anonymization ay isang sikat na tool na ginagamit ng mga kumpanyang Amerikano: kapag ang data ay hindi nagpapakilala, at imposibleng makilala ang isang partikular na tao mula dito. Gayunpaman, nagbubukas ito ng magagandang pagkakataon para sa mga kumpanya na mangolekta, mag-analisa at maglapat ng data para sa mga layuning pangkomersyo. Kasabay nito, hindi na nalalapat sa kanila ang mga kinakailangan sa pagiging kumpidensyal. Ang nasabing data ay malayang ibinebenta sa pamamagitan ng mga espesyal na palitan at indibidwal na mga broker.

Sa pamamagitan ng pagtulak ng mga batas na protektahan laban sa pangongolekta at pagbebenta ng data sa pederal na antas, maaaring harapin ng Amerika ang mga teknikal na problema na, sa katunayan, ay nakakaapekto sa ating lahat. Kaya, maaari mong i-off ang pagsubaybay sa lokasyon sa iyong telepono at sa mga app, ngunit paano naman ang mga satellite na nagbo-broadcast ng data na ito? Ngayon ay may humigit-kumulang 800 sa kanila sa orbit, at imposibleng i-off ang mga ito: sa ganitong paraan maiiwan tayong walang Internet, mga komunikasyon at mahalagang data – kabilang ang mga larawan ng paparating na mga bagyo at bagyo.

Sa China, ang Cyber ​​​​Security Law ay may bisa mula noong 2017. Ito, sa isang banda, ay nagbabawal sa mga kumpanya ng Internet na mangolekta at magbenta ng impormasyon tungkol sa mga gumagamit ng kanilang pahintulot. Noong 2018, naglabas pa sila ng isang detalye sa proteksyon ng personal na data, na itinuturing na isa sa pinakamalapit sa European GDPR. Gayunpaman, ang detalye ay isang hanay lamang ng mga patakaran, hindi isang batas, at hindi pinapayagan ang mga mamamayan na ipagtanggol ang kanilang mga karapatan sa korte.

Sa kabilang banda, inaatasan ng batas ang mga mobile operator, Internet service provider at strategic enterprise na mag-imbak ng bahagi ng data sa loob ng bansa at ilipat ito sa mga awtoridad kapag hiniling. Isang bagay na katulad sa ating bansa ang nagsasaad ng tinatawag na "Spring Law". Kasabay nito, may access ang mga awtoridad sa pangangasiwa sa anumang personal na impormasyon: mga tawag, liham, chat, history ng browser, geolocation.

Sa kabuuan, mayroong higit sa 200 mga batas at regulasyon sa China tungkol sa proteksyon ng personal na impormasyon. Mula noong 2019, lahat ng sikat na smartphone app ay nasuri at na-block kung nangongolekta sila ng data ng user na lumalabag sa batas. Nasa ilalim din ng saklaw ang mga serbisyong iyon na bumubuo ng feed ng mga post o nagpapakita ng mga ad batay sa mga kagustuhan ng user. Upang limitahan ang pag-access sa impormasyon sa network hangga't maaari, ang bansa ay may "Golden Shield" na nagpi-filter ng trapiko sa Internet alinsunod sa mga batas.

Mula noong 2019, sinimulan ng China na iwanan ang mga dayuhang computer at software. Mula noong 2020, ang mga kumpanyang Tsino ay kinakailangang lumipat sa cloud computing, gayundin ang magbigay ng mga detalyadong ulat sa epekto ng mga kagamitan sa IT sa pambansang seguridad. Ang lahat ng ito laban sa backdrop ng isang trade war sa United States, na kumuwestiyon sa kaligtasan ng 5G equipment mula sa mga Chinese na supplier.

Ang ganitong patakaran ay nagdudulot ng pagtanggi sa komunidad ng mundo. Sinabi ng FBI na ang paghahatid ng data sa pamamagitan ng mga server ng Tsino ay hindi secure: maaari itong ma-access ng mga lokal na ahensya ng paniktik. Pagkatapos niya ay nagpahayag ng pag-aalala at mga internasyonal na korporasyon, kabilang ang Apple.

Itinuturo ng pandaigdigang organisasyon ng karapatang pantao na Human Rights Watch na ang China ay nagtayo ng "isang network ng kabuuang elektronikong pagsubaybay ng estado at isang sopistikadong sistema ng censorship sa Internet." Sumasang-ayon sa kanila ang 25 miyembrong estado ng UN.

Ang pinakakapansin-pansing halimbawa ay ang Xinjiang, kung saan sinusubaybayan ng estado ang 13 milyong Uighurs, isang pambansang minorya ng Muslim. Ginagamit ang pagkilala sa mukha, pagsubaybay sa lahat ng galaw, pag-uusap, sulat at pagsupil. Ang "social credit" na sistema ay pinupuna din: kapag ang access sa iba't ibang mga serbisyo at maging ang mga flight sa ibang bansa ay magagamit lamang sa mga may sapat na rating ng pagiging mapagkakatiwalaan - mula sa punto ng view ng mga serbisyong sibil.

Mayroong iba pang mga halimbawa: kapag ang mga estado ay sumang-ayon sa pare-parehong mga patakaran na dapat protektahan ang mga personal na kalayaan at kompetisyon hangga't maaari. Ngunit narito, tulad ng sinasabi nila, may mga nuances.

Paano binago ng European GDPR ang paraan ng pagkolekta at pag-imbak ng data ng mundo

Mula noong 2018, pinagtibay ng European Union ang GDPR - ang General Data Protection Regulation. Kinokontrol nito ang lahat ng nauugnay sa koleksyon, pag-iimbak at paggamit ng online na data ng user. Nang magkabisa ang batas noong isang taon, itinuring itong pinakamahigpit na sistema sa mundo para protektahan ang online privacy ng mga tao.

Inililista ng batas ang anim na legal na batayan para sa pagkolekta at pagproseso ng data mula sa mga user ng Internet: halimbawa, personal na pahintulot, legal na obligasyon, at mahahalagang interes. Mayroon ding walong pangunahing karapatan para sa bawat gumagamit ng mga serbisyo sa Internet, kabilang ang karapatang maabisuhan tungkol sa pangongolekta ng data, itama o tanggalin ang data tungkol sa iyong sarili.

Ang mga kumpanya ay kinakailangan upang mangolekta at mag-imbak ng pinakamababang halaga ng data na kailangan nila upang magbigay ng mga serbisyo. Halimbawa, hindi kailangang tanungin ka ng isang online na tindahan tungkol sa iyong mga pampulitikang opinyon para makapaghatid ng produkto.

Ang lahat ng personal na data ay dapat na ligtas na protektado alinsunod sa mga pamantayan ng batas para sa bawat uri ng aktibidad. Bukod dito, ang ibig sabihin ng personal na data dito, bukod sa iba pang mga bagay, ay impormasyon ng lokasyon, etnisidad, paniniwala sa relihiyon, cookies ng browser.

Ang isa pang mahirap na kinakailangan ay ang portability ng data mula sa isang serbisyo patungo sa isa pa: halimbawa, maaaring ilipat ng Facebook ang iyong mga larawan sa Google Photos. Hindi lahat ng kumpanya ay kayang bayaran ang opsyong ito.

Bagama't pinagtibay ang GDPR sa Europe, nalalapat ito sa lahat ng kumpanyang nagpapatakbo sa loob ng EU. Nalalapat ang GDPR sa sinumang nagpoproseso ng personal na data ng mga mamamayan o residente ng EU o nag-aalok ng mga produkto o serbisyo sa kanila.

Nilikha upang protektahan, para sa industriya ng IT, ang batas ay naging pinaka hindi kasiya-siyang mga kahihinatnan. Sa unang taon lamang, ang European Commission ay nagmulta ng higit sa 90 kumpanya na may kabuuang kabuuang higit sa €56 milyon. Bukod dito, ang pinakamataas na multa ay maaaring umabot ng hanggang €20 milyon.

Maraming mga korporasyon ang nahaharap sa mga paghihigpit na lumikha ng malubhang mga hadlang para sa kanilang pag-unlad sa Europa. Kabilang sa mga ito ang Facebook, gayundin ang British Airways at ang Marriott hotel chain. Ngunit una sa lahat, ang batas ay tumama sa mga maliliit at katamtamang laki ng mga negosyo: kailangan nilang ayusin ang lahat ng kanilang mga produkto at panloob na proseso sa mga pamantayan nito.

Ang GDPR ay nagbunga ng isang buong industriya: mga law firm at consulting firm na tumutulong na dalhin ang software at mga online na serbisyo sa pagsunod sa batas. Ang mga analogue nito ay nagsimulang lumitaw sa ibang mga rehiyon: South Korea, Japan, Africa, Latin America, Australia, New Zealand at Canada. Malaki ang impluwensya ng dokumento sa batas ng Estados Unidos, ating bansa at China sa lugar na ito.

Mga digmaang digital: kung paano pinamumunuan ng artificial intelligence at malaking data ang mundo
Mga digmaang digital: kung paano pinamumunuan ng artificial intelligence at malaking data ang mundo

Maaaring magkaroon ng impresyon na ang pang-internasyonal na kasanayan sa paglalapat at pagprotekta sa mga teknolohiya sa larangan ng malaking data at AI ay binubuo ng ilang sukdulan: kabuuang pagsubaybay o presyon sa mga kumpanyang IT, hindi masusugatan ng personal na impormasyon o kumpletong kawalan ng pagtatanggol sa harap ng estado at mga korporasyon. Hindi eksakto: mayroon ding magagandang halimbawa.

AI at malaking data sa serbisyo ng Interpol

Ang International Criminal Police Organization - Interpol para sa maikling salita - ay isa sa mga pinaka-maimpluwensyang sa mundo. Kabilang dito ang 192 bansa. Isa sa mga pangunahing gawain ng organisasyon ay ang pag-compile ng mga database na tumutulong sa mga ahensyang nagpapatupad ng batas sa buong mundo na pigilan at imbestigahan ang krimen.

Ang Interpol ay may 18 internasyonal na base na magagamit nito: tungkol sa mga terorista, mapanganib na mga kriminal, armas, ninakaw na mga gawa ng sining at mga dokumento. Ang data na ito ay nakolekta mula sa milyun-milyong iba't ibang mga mapagkukunan. Halimbawa, binibigyang-daan ka ng global digital library na Dial-Doc na tukuyin ang mga ninakaw na dokumento, at ang Edison system – peke.

Ang isang advanced na sistema ng pagkilala sa mukha ay ginagamit upang subaybayan ang mga galaw ng mga kriminal at mga suspek. Ito ay isinama sa mga database na nag-iimbak ng mga larawan at iba pang personal na data mula sa mahigit 160 bansa. Ito ay kinukumpleto ng isang espesyal na biometric application na naghahambing sa mga hugis at proporsyon ng mukha upang ang tugma ay tumpak hangga't maaari.

Nakikita rin ng sistema ng pagkilala ang iba pang mga salik na nagpapabago sa mukha at nagpapahirap sa pagtukoy nito: pag-iilaw, pagtanda, make-up at make-up, plastic surgery, ang mga epekto ng alkoholismo at pagkagumon sa droga. Upang maiwasan ang mga error, ang mga resulta ng paghahanap ng system ay manu-manong sinusuri.

Ang sistema ay ipinakilala noong 2016, at ngayon ang Interpol ay aktibong nagtatrabaho upang mapabuti ito. Ang International Identification Symposium ay ginaganap tuwing dalawang taon, at ang Face Expert working group ay nagpapalitan ng karanasan sa pagitan ng mga bansa dalawang beses sa isang taon. Ang isa pang promising development ay isang voice recognition system.

Ang United Nations International Research Institute (UNICRI) at ang Center for Artificial Intelligence and Robotics ay responsable para sa mga pinakabagong teknolohiya sa larangan ng internasyonal na seguridad. Ang Singapore ay lumikha ng pinakamalaking internasyonal na sentro ng pagbabago ng Interpol. Kabilang sa kanyang mga development ay isang police robot na tumutulong sa mga tao sa mga lansangan, pati na rin ang AI at mga big data na teknolohiya na tumutulong sa paghula at pagpigil sa krimen.

Paano pa ginagamit ang malaking data sa mga serbisyo ng gobyerno:

  • NADRA (Pakistan) – isang database ng multi-biometric data ng mga mamamayan, na ginagamit para sa epektibong panlipunang suporta, buwis at kontrol sa hangganan.

  • Gumagamit ang Social Security Administration (SSA) sa US ng malaking data para mas tumpak na iproseso ang mga claim sa kapansanan at bawasan ang mga manloloko.

  • Gumagamit ang US Department of Education ng mga text recognition system para iproseso ang mga dokumento ng regulasyon at subaybayan ang mga pagbabago sa mga ito.

  • Ang FluView ay isang American system para sa pagsubaybay at pagkontrol sa mga epidemya ng trangkaso.

Sa katunayan, ang malaking data at artificial intelligence ay nakakatulong sa amin sa maraming lugar. Binuo ang mga ito sa mga online na serbisyo tulad ng mga nag-aabiso sa iyo ng mga traffic jams o crowds. Sa tulong ng malaking data at AI sa medisina, nagsasagawa sila ng pananaliksik, gumagawa ng mga gamot at mga protocol sa paggamot. Tumutulong sila upang ayusin ang kapaligiran sa lunsod at transportasyon upang ang lahat ay komportable. Sa pambansang saklaw, nakakatulong sila sa pagpapaunlad ng ekonomiya, mga proyektong panlipunan at mga teknikal na inobasyon.

Iyon ang dahilan kung bakit ang tanong kung gaano kalaki ang data ay nakolekta at inilapat, pati na rin ang mga algorithm ng AI na gumagana kasama nito, ay napakahalaga. Kasabay nito, ang pinakamahalagang internasyonal na dokumento na kumokontrol sa lugar na ito ay pinagtibay kamakailan - noong 2018-19. Wala pa ring malinaw na solusyon sa pangunahing dilemma na nauugnay sa paggamit ng malaking data para sa seguridad. Kapag, sa isang banda, ang transparency ng lahat ng mga desisyon ng korte at mga aksyon sa pagsisiyasat, at sa kabilang banda, ang proteksyon ng personal na data at anumang impormasyon na maaaring makapinsala sa isang tao kung mai-publish. Samakatuwid, ang bawat estado (o unyon ng mga estado) ay nagpapasya para sa sarili nitong isyu sa sarili nitong paraan. At ang pagpipiliang ito, kadalasan, ay tumutukoy sa buong pulitika at ekonomiya para sa mga darating na dekada.


Mag-subscribe sa channel ng Trends Telegram at manatiling napapanahon sa mga kasalukuyang uso at hula tungkol sa hinaharap ng teknolohiya, ekonomiya, edukasyon at pagbabago.

Mag-iwan ng Sagot