Overleaf - 如何将拉丁字母渲染为塞尔维亚西里尔字母

Question

您可以通过对文件进行一些修改来使用https://tex.stackexchange.com/a/44740/4427

不过，您需要使用 XeLaTeX 进行编译。我猜 Overleaf 能够自动完成此操作，但请查看文档。

我更改了\mbox公式中的所有命令，以\mathbox确保输出拉丁文。eqnarray在中也是如此equation。

\documentclass[12pt]{report}
\usepackage[a4paper]{geometry}
\usepackage[myheadings]{fullpage}
\usepackage{fancyhdr}
\usepackage{lastpage}
\usepackage{graphicx}
\usepackage{wrapfig, subcaption, setspace, booktabs}
\usepackage[font=small, labelfont=bf]{caption}
\usepackage[protrusion=true]{microtype}
\usepackage{polyglossia}
\usepackage{sectsty}
\usepackage{url, lipsum}
\usepackage{mathtools}
\usepackage{fontspec}

\usepackage{newtxmath}
\setmainfont{Times New Roman}
\newfontfamily{\cyrillicfont}{Times New Roman}[Mapping=ascii-to-serbian]
\newfontfamily{\cyrillicfonttt}{FreeMono}

\setmainlanguage[Script=Cyrillic]{serbian}
\setotherlanguage{english}

\newcommand{\mathbox}[1]{\mbox{\foreignlanguage{english}{#1}}}

\newcommand{\HRule}[1]{\rule{\linewidth}{#1}}
\onehalfspacing
\setcounter{tocdepth}{5}
\setcounter{secnumdepth}{5}

%-------------------------------------------------------------------------------
% HEADER & FOOTER
%-------------------------------------------------------------------------------
\pagestyle{fancy}
\fancyhf{}
\setlength\headheight{15pt}
\fancyhead[L]{Sava Filipović}
\fancyhead[R]{Gimnazija ``Bora Stanković'' Niš}
\fancyfoot[R]{\thepage}
%-------------------------------------------------------------------------------
% TITLE PAGE
%-------------------------------------------------------------------------------

\addto\captionsenglish{
  \renewcommand{\contentsname}
    {Sadržaj}
}

\begin{document}

\title{ \normalsize Gimnazija ``Bora Stanković'' Niš
        \\ [2.0cm]
        \HRule{0.5pt} \\ [0.5cm]
        \LARGE \textbf{Maturski rad iz programiranja} \\
        \LARGE \textbf{\uppercase{Nuralne mreŽe}}
        \HRule{0.5pt} \\ [0.5cm]
        \normalsize \today \vspace*{5\baselineskip}}

\date{}

\author{
        Učenik: Sava Filipović \\ 
        Mentor: Mitar Krstović }

\maketitle

\tableofcontents
\newpage

%-------------------------------------------------------------------------------
% Section title formatting
%\sectionfont{\scshape}
%-------------------------------------------------------------------------------

%-------------------------------------------------------------------------------
% Uvod
%-------------------------------------------------------------------------------

\section*{Uvod}
\addcontentsline{toc}{section}{Uvod}
Ljudski vid je jedno od svetskih čuda. Obratite pažnju na sledeću sliku:

\begin{center}
\includegraphics[width=0.25\textwidth]{digits.png}
\end{center}

Većina ljudi bez velikog truda prepoznaje brojeve sa slike kao 504192. Ta lakoća je iluzija. U obe hemisfere ljudskog mozga postoji vizuelni korteks poznatiji kao V1 koji sadrži 140 miliona neurona sa desetinama milijarda konekcija između njih. Pored V1 ljudska vizija koristi celu seriju korteksa (V2, V3, V4 i V5) od kojih se svaki koristi za komplikovanije prepoznavanje slika. U našim glavama nosimo superkompjuter, treniran evolucijom stotinama miliona godina i prilagođen razumevanju vizuelnog sveta. Prepoznavanje ručno pisanih brojeva nije lako, štaviše mi ljudi smo čudesno dobri u prepoznavanju onoga što naše oči vide. Ali sve se to odvija nesvesno i zato ne znamo težinu problema koje naš vizuelni sistem rešava.

Težina ovih problema postaje vidljiva tek kada probamo da napišemo kompjuterski program koji bi prepoznao cifre kao na slici iznad. Ono što deluje lako kad ga mi radimo postaje ekstremno teško. Lake intuicije o tome kako prepoznajemo brojeve - ``9 se sastoji od kruzića na vrhu i udice na dnu na desnoj strani'' - ispadaju teške za predstavljanje algoritamski. Kada probate da napravite precizne uslove ubrzo se izgubite u moru dugih izraza, uslova i specijalnih slučajeva. Deluje nemoguće.

Nuralne mreže pristupaju problemu drugačije. Ideja iza njih je da se uzme veliki broj ručno pisanih cifara i da se napravi program koj bi učio na tim primerima. 

\begin{center}
\includegraphics[width=0.5\textwidth]{mnist_100_digits.png}
\end{center}
Drugim rečima. nuralne mreže koriste primere za trening kako bi napravile uslove za prepoznavanje objekata na slici. Povećavanjem broja primera mreža uči više i poboljšava se preciznost. Na slici iznad prikazao sam 100 trening slika, ali obično za treniranje koristimo mnogo veće setove sa hiljadama ili cak milionima ili milijardama slika.

U mom maturskom radu prvo ću napisati prostu nuralnu mrežu u samo 74 linija koda koja ne koristi nikakve sporedne biblioteke za mašinsko učenje a prepoznaje cifre sa 96\% tačnosti. Kasnije, objasniću ideje koje mogu da poboljšaju rad mreže tako da je tačnost preko 99\%. Time možemo dobiti mrežu dobru jednako kao one koje se koriste u bankama za procesuiranje čekova ili u poštama za prepoznavanje adresa.

Fokusiramo se na rekogniciju rukopisa zato što je to super problem za učenje nuralnih mreža, nije previše težak da bi zahtevao ekstremno komplikovano rešenje ili mnogo jak kompjuter ali nije ni previše lak. Takođe to je super primer i za razvijanje kompleksnijih tehnika kao što je duboko učenje (deep learning) tako da ćemo se vraćati na njega konstantno kroz rad. Kasnije objasniću kako se neke od ovih ideja mogu primeniti na drugim problemima u oblasti kompjuterske vizije, kao i u prepoznavanju govora, prirodnom procesuiranju jezika (natural language processing) i drugim domenima.

\section*{Nuralna mreža}
\addcontentsline{toc}{section}{Nuralna mreža}
Šta je nuralna mreža? Da bih vam objasnio prvo ću početi sa objašnjavanjem tipa artificijalnog neurona po imenu perceptron.
\subsection*{Perceptron}
\addcontentsline{toc}{subsection}{Perceptron}
Perceptroni su razvijani 1950ih i 1960ih od strane naučnika Frenka Rosenblata (Frank Rosenblatt) inspirisanog ranijim radom Varena Mekaloka (Warren McCulloch) i Valtera Pitsa (Walter Pitts). Danas, mnogo se češće koriste drugi modeli artificijalnih neurona kao što je sigmoidni neuron (sigmoid neuron) koji ću i ja koristiti u projektu. Uskoro ćemo doći do sigmoidnih neurona ali da bi razumeli zašto su oni definisani kako jesu prvo moramo razumeti perceptrone.

Pa kako rade perceptroni? Perceptron uzima nekoliko ulaznih podataka ($x_1$, $x_2$,...) i vraća singularni binarni izlaz.
\begin{center}
\includegraphics[width=0.4\textwidth]{tikz0.png}
\end{center}
U primeru sa slike perceptron ima tri ulaza, $x_1$, $x_2$ i $x_3$. Naravno, on  može imati i manje i više ulaza. Rosenblat je smislio prosto pravilio za računanje izlaza. Uveo je tegove (weights) koji se obeležavaju slovom w ($w_1$, $w_2$,...) i realni su projevi koji predstavljaju značaj ulaza izlazu. Izlaz neurona, 0 ili 1, se odredjuje u odnosu na to da li je suma proizvoda tegova i ulaza ($\sum_jw_jx_j$) veća ili manja od granične vrednosti (treshold value). Kao i tegovi, granična vrednost je realan broj koj je parametar neurona. Ovo možemo preciznije prikazati algebarskom formulom:
\begin{equation}
  \mathbox{output} = \left\{ \begin{array}{ll}
      0 & \mathbox{if } \sum_j w_j x_j \leq \mathbox{ threshold} \\
      1 & \mathbox{if } \sum_j w_j x_j > \mathbox{ threshold}
      \end{array} \right.
\end{equation}
Ovo je prostiji matematički model perceptronskog neurona. Da bi bolje objasnio rad percreptrona daću primer donošenja odluke. Ovo nije najrealniji primer ali je lak za razumevanje a uskoro ćemo doći do realističnijih primera. Zamislite da je vikend i da ste čuli da će se u gradu blizu vašeg održati pank svirka . Vi volite pank i probate da odlučite da li da idete. Vaša odluka zavisi od tri faktora:
\begin{enumerate}
  \item Da li je vreme dobro?
  \item Da li ćete imati društvo tamo?
  \item Da li imate autobus posle svirke za kući?
\end{enumerate}
Ova tri faktora možemo predstaviti binarnim varijablama $x_1$, $x_2$ i $x_3$. Ako je vrednost varijable 1 to znači da je odgovor na taj faktor da, a ako je 0 ne. Opšte je poznato da su pankeri dobri ljudi i da na svirci možete uvek naći društvo, takođe toliko volite pank da vam nije mnogo bitno da li imate prevoz odmah posle svirke jer uvek možete prespavati na nekoj klupici u parku. Jedino loše vreme može pokvariti vaše planove spavanja napolju i zato njemu dajete više značaja pri donošenju odluke. Tegove onda možemo raspurediti ovako: $w_1 = 4$ za vreme, $w_2 = 2$ za društvo i $w_3 = 2$ prevoz. Za graničnu vrednost možemo postaviti 3 što bi značilo da mora biti ispunjen ili prvi uslov ili drugi i treći da bi krenuli. Pomerajući tegove i granicu možemo dobiti različite modele donošenja odluka. 

Naravno perceptron nije kompletan model donošenja odluka kod čoveka ali ono što ovaj primer prikazuje jeste kako perceptron može da donese odluku. Velika mreža perceptrona bi bila mnogo realnija u donošenju odluka.
\begin{center}
\includegraphics[width=0.8\textwidth]{tikz1.png}
\end{center}
U ovakvoj mreži prva kolona perceptrona (prvi sloj) može služiti za donošenje prostih odluka dok drugi sloj može donositi kompleksnije odluke u zavisnosti od rezultata prvog sloja. Još kompleksnije odluke se mogu doneti u trećem sloju. 

Ranije kad sam definisao perceptrone rekao sam da imaju jednu vrednost na izlazu. Bitno je reći da i na slici gore imaju jednu vrednost ali ona je prikazana sa više strelica jer ide ka više neurona u drugom sloju. Ovakav prikaz se koristi češće ali na nekim slikama se može videti i jedna linija koja se kasnije deli.

Hajde da uprostimo način na koji opisujemo perceptrone. Izraz $\sum_jw_j x_j > \mathbox{threshold}$ je glomazan, možemo uveti dve promene da ga uprostimo. Prva je pisanje $\sum_jw_j x_j$ kao proizvoda vektora $w \cdot x \equiv \sum_j w_j x_j$ gde $w$ i $x$ su vektori čije su komponente tegovi i ulazne informacije. Druga promena je pomeranje granične vrednosti na drugu stranu nejednakosti, da uradimo to zamenićemo je varijablom poznatijom kao perceptronski bias,  $b \equiv-\mathbox{threshold}$. Sada možemo napisati formulu za sada izmenjeni perceptron:
\begin{equation}
  \mathbox{output} = \left\{ 
    \begin{array}{ll} 
      0 & \mathbox{if } w\cdot x + b \leq 0 \\
      1 & \mathbox{if } w\cdot x + b > 0
    \end{array}
  \right.
\end{equation}
Bias možete zamisliti kao veličinu koja pokazuje koliko je lako da perceptron da 1 kao izlaz. Što je bias veći to je lakše perceptronu da kao rezultat da 1 i obrnuto. Bias se trenutno čini kao mala promena, ali videćete kasnije kako on uproštava buduće formule. U radu od sad koristiću bias umesto granične vrednosti.

\subsection*{Sigmoidski neuron}
\addcontentsline{toc}{subsection}{Sigmoidski neuron}
Zamislite da imamo mrežu perceptrona koju želimo da naučimo da reši neki problem. Na primer ulazni podaci mogu biti podaci svakog piksela sa slike ručno napisanog broja. Od naše mreže želimo da podešava tegove i biase tako da izlaz bude tačan. Kada koristimo perceptronske neurone dolazimo do problema da mala promena ova dva elementa može drastično da promeni rezultat. Ovaj problem možemo rešiti sigmoidskim neuronima. Evo šematskog prikaza onoga što želimo da postignemo: 
\begin{center}
\includegraphics[width=0.8\textwidth]{tikz8.png}
\end{center}
Isto kao i kod perceptronskog neurona, sigmoidski ima ulaze $x_1, x_2, \ldots$. Ali umesto samo 0 i 1, sigmoidski neuron kao izlaz može imati bilo koju vrednost između. Sigmoidna funkcija, koju ovaj neuron koristi, izgleda ovako:
\begin{equation} 
 \sigma(\sum_j w_j x_j+b) \equiv \frac{1}{1+e^{-\sum_j w_j x_j-b}}
\end{equation}
Da bi razumeli sličnost perceptronskog i sigmoidskog neurona pretpostavimo da je  $z \equiv w \cdot x + b$ veliki pozitivan broj. Tada $e^{-z} \approx 0$ što bi značilo da je $\sigma(z) \approx 1$. To bi značilo da kada je $z$ veliko i pozitivno, izlaz neurona biće otprilike $1$ isto kao i kod perceptrona, a i obrnuto. Glavna odlika sigmoidskih neurona jeste to što svaka mala promena u bilo kom tegu ili biasu pravi malu promenu u izlazu. Promenu u izlazu $\Delta \mathbox{output}$ možemo izračunati formulom: 
\begin{equation} 
  \Delta \mathbox{output} \approx \sum_j \frac{\partial \, \mathbox{output}}{\partial w_j}
  \Delta w_j + \frac{\partial \, \mathbox{output}}{\partial b} \Delta b
\end{equation}
gde $\Delta w_j$ i $\Delta b$ predstavljaju promene u tegovima i biasima, a $\partial \mathbox{output} / \partial w_j$ i $\partial \mathbox{output} / \partial b$ predstavljaju parcijalne izvode izlaza. Iako formula sa parcijalnim izvodima izgleda komplikovano ona kaze jednu prostu stvar: da je $\Delta \mathbox{output}$ linearna funkcija promena $\Delta w_j$ i $\Delta b$ u tegovima i biasima. Linearnost omogucava laksi odabir promena $\Delta w_j$ i $\Delta b$ kojima bi lakse postigli malu promenu u $\Delta \mathbox{output}$. 



%-------------------------------------------------------------------------------
% R$EFERENCES
%-------------------------------------------------------------------------------
\newpage

\selectlanguage{english}
\section*{References}
\addcontentsline{toc}{section}{References}

Anand, U., 2010. The Elusive Free Radicals, \textit{The Clinical Chemist,} [e-journal] Available at:<\url{http://www.clinchem.org/content/56/10/1649.full.pdf}> [Accessed 2 November 2013]

Biology Forums, 2012. \textit{Normal glomerulus. Acute glomerulonephritis.} [online] Available at: <\url{http://biology-forums.com/index.php?action=gallery;sa=view;id=9284}> [Accessed 23 October 2013].

Budisavljevic, M., Hodge, L., Barber, K., Fulmer, J., Durazo-Arvizu, R., Self, S., Kuhlmann, M., Raymond, J. and Greene, E., 2003. Oxidative stress in the pathogenesis of experimental mesangial proliferative glomerulonephritis, \textit{American Journal of Physiology - Renal Physiology,} 285(6), pp. 1138-1148.

Chien, C., Lee, P., Chen, C., Ma, M., Lai, M. and Hsu, S., 2001. De Novo Demonstration and Co-localization of Free-Radical Production and Apoptosis Formation in Rat Kidney Subjected to Ischemia/Reperfusion, \textit{Journal of the American Society of Nephrology,} 12(5), pp. 973-982.

Couser, W., 1993. Pathogenesis of glomerulonephritis, \textit{Kidney International Supplements,} 42, pp. 19-26.

De Gasparo, M., 2002. Angiotensin II and nitric oxide interaction, \textit{Heart Failure Reviews,} [e-journal] Available at:<\url{http://www.ncbi.nlm.nih.gov/pubmed/12379820}> [Accessed 26 October 2013]

Edinburgh Renal Education Pages, 2012. \textit{Glomerulonephritis} [online] Available at: <\url{http://www.edrep.org/pages/textbook/glomerulonephritis.php}> [Accessed 25 October 2013].

Forbes, J., Coughlan, M. and Cooper, M., 2008. Oxidative Stress as a Major Culprit in Kidney Disease in Diabetes, \textit{Diabetes,} 57(6), pp. 1446-1454.

Geeky Medics, 2010. \textit{Glomerulonephritis} [online] Available at: <\url{http://geekymedics.com/2010/10/27/glomerulonephritis/}> [Accessed 25 October 2013].

Gryglewski, R., Palmer, R., Moncada, S., 1986. Superoxide anion is involved in the breakdown of endothelium derived relaxing factor, \textit{Nature,} 320, pp. 454-456.

Halliwell, B., 2001. Free Radicals and other reactive species in Disease, \textit{Encyclopedia of Life Sciences,} [e-journal] Available at:<\url{http://web.sls.hw.ac.uk/teaching/level4/bcm1_2/reading/oxidative_stress/files/Oxidative_stress.pdf}> [Accessed 19 October 2013]

Huang, H., Patel, P. and Salahudeen, A., 2001. Lazaroid compounds prevent early but not late stages of oxidant-induced cell injury: potential explanation for the lack of efficacy of lazaroids in clinical trials, \textit{Pharmacological Research,} 41(1), pp. 55-61.

Klinger, J., Abman, S. and Gladwin, M., 2013. Nitric Oxide Deficiency and Endothelial Dysfunction in Pulmonary Arterial Hypertension, \textit{American Journal of Respiratory and Critical Care Medicine,} 188(6), pp. 639-646.

Lindemann, I., Boettcher, J., Oertel, K., Pasternack, R., Heine, A. and Klebe, G. 2012. Inhibitors of Transglutaminase 2: A therapeutic option in celiac disease, \textit{To be Published,} [e-journal + PDB structure] Available at:<\url{http://www.ebi.ac.uk/pdbe-srv/view/entry/3s3s/summary}> [Accessed 24 October 2013]

Mayo Clinic, 2011. \textit{Glomerulonephritis} [online] Available at: <\url{http://www.mayoclinic.com/health/glomerulonephritis/DS00503/}> [Accessed 20 October 2013].

McCord, J., Roy, R. and Schaffer, S., 1985. Free radicals and myocardial ischemia. The role of xanthine oxidase, \textit{Advances in myocardiology,} [e-journal] Available at:<\url{http://www.ncbi.nlm.nih.gov/pubmed/2982206}> [Accessed 24 October 2013]

National Health Service, 2012. \textit{Causes of glomerulonephritis} [online] Available at: <\url{http://www.nhs.uk/Conditions/Glomerulonephritis/Pages/Causes.aspx}> [Accessed 20 October 2013].

Niaudet, P., 2013. \textit{Overview of the pathogenesis and causes of glomerulonephritis in children.} [online] Available at: <\url{http://www.uptodate.com/contents/overview-of- \ the-pathogenesis-and-causes-of-glomerulonephritis-in-children}> [Accessed 21 October 2013].

Ronco, P., 2013. \textit{Mechanisms of glomerular crescent formation.} [online] Available at: <\url{http://www.uptodate.com/contents/mechanisms-of-glomerular-crescent-formation}> [Accessed 21 October 2013].

Rutchik, J., 2013. \textit{Toxic Neuropathy Clinical Presentation.} [online] Available at: <\url{http://emedicine.medscape.com/article/1175276-clinical#a0216}> [Accessed 26 October 2013].

R\&D Systems, 2013. \textit{Technical Information. Ischemia/Reperfusion Injury.} [online] Available at: <\url{http://www.rndsystems.com/cb_detail_objectname_SP96_Ischemia.aspx}> [Accessed 28 October 2013].

Salahudeen, A., 1999. Free Radicals in Kidney Disease and Transplantation, \textit{Saudi Journal of Kidney Diseases and Transplantation,} 10(2), pp. 137-143.

Sarma, A., Mallick, A. and Ghosh, A., 2010. Free Radicals and Their Role in Different Clinical Conditions: An Overview, \textit{International Journal of Pharma Sciences and Research,} 1(3), pp. 182-192.

Shah, S., Baliga, R., Rajapurkar, M. and Fonseca, V., 2007. Oxidants in Chronic Kidney Disease, \textit{Journal of the American Society of Nephrology,} 18(1), pp. 16-28.

The University of Utah, Unknown. \textit{Glomerulonephritis} [online] Available at: <\url{http://library.med.utah.edu/WebPath/RENAHTML/RENALIDX.html#8}> [Accessed 25 October 2013].

Wang, C. and Salahudeen, A., 1994. Cyclosporine nephrotoxicity: attenuation by an antioxidant -inhibitor of lipid peroxidation in-vitro and in-vivo, \textit{Transplantation,} 58, pp. 940-946.

Wang, C. and Salahudeen, A., 1995. Lipid peroxidation accompanies cyclosporine nephrotoxicity: effects of vitamin E, \textit{Kidney International,} 47, pp. 927-934.

Weiss, S., 1989. Tissue Destruction by Neutrophils, \textit{New England Journal of Medicine,} 320, pp. 365-376.


\end{document}

Answer 1

您可以通过对文件进行一些修改来使用https://tex.stackexchange.com/a/44740/4427

不过，您需要使用 XeLaTeX 进行编译。我猜 Overleaf 能够自动完成此操作，但请查看文档。

我更改了\mbox公式中的所有命令，以\mathbox确保输出拉丁文。eqnarray在中也是如此equation。

\documentclass[12pt]{report}
\usepackage[a4paper]{geometry}
\usepackage[myheadings]{fullpage}
\usepackage{fancyhdr}
\usepackage{lastpage}
\usepackage{graphicx}
\usepackage{wrapfig, subcaption, setspace, booktabs}
\usepackage[font=small, labelfont=bf]{caption}
\usepackage[protrusion=true]{microtype}
\usepackage{polyglossia}
\usepackage{sectsty}
\usepackage{url, lipsum}
\usepackage{mathtools}
\usepackage{fontspec}

\usepackage{newtxmath}
\setmainfont{Times New Roman}
\newfontfamily{\cyrillicfont}{Times New Roman}[Mapping=ascii-to-serbian]
\newfontfamily{\cyrillicfonttt}{FreeMono}

\setmainlanguage[Script=Cyrillic]{serbian}
\setotherlanguage{english}

\newcommand{\mathbox}[1]{\mbox{\foreignlanguage{english}{#1}}}

\newcommand{\HRule}[1]{\rule{\linewidth}{#1}}
\onehalfspacing
\setcounter{tocdepth}{5}
\setcounter{secnumdepth}{5}

%-------------------------------------------------------------------------------
% HEADER & FOOTER
%-------------------------------------------------------------------------------
\pagestyle{fancy}
\fancyhf{}
\setlength\headheight{15pt}
\fancyhead[L]{Sava Filipović}
\fancyhead[R]{Gimnazija ``Bora Stanković'' Niš}
\fancyfoot[R]{\thepage}
%-------------------------------------------------------------------------------
% TITLE PAGE
%-------------------------------------------------------------------------------

\addto\captionsenglish{
  \renewcommand{\contentsname}
    {Sadržaj}
}

\begin{document}

\title{ \normalsize Gimnazija ``Bora Stanković'' Niš
        \\ [2.0cm]
        \HRule{0.5pt} \\ [0.5cm]
        \LARGE \textbf{Maturski rad iz programiranja} \\
        \LARGE \textbf{\uppercase{Nuralne mreŽe}}
        \HRule{0.5pt} \\ [0.5cm]
        \normalsize \today \vspace*{5\baselineskip}}

\date{}

\author{
        Učenik: Sava Filipović \\ 
        Mentor: Mitar Krstović }

\maketitle

\tableofcontents
\newpage

%-------------------------------------------------------------------------------
% Section title formatting
%\sectionfont{\scshape}
%-------------------------------------------------------------------------------

%-------------------------------------------------------------------------------
% Uvod
%-------------------------------------------------------------------------------

\section*{Uvod}
\addcontentsline{toc}{section}{Uvod}
Ljudski vid je jedno od svetskih čuda. Obratite pažnju na sledeću sliku:

\begin{center}
\includegraphics[width=0.25\textwidth]{digits.png}
\end{center}

Većina ljudi bez velikog truda prepoznaje brojeve sa slike kao 504192. Ta lakoća je iluzija. U obe hemisfere ljudskog mozga postoji vizuelni korteks poznatiji kao V1 koji sadrži 140 miliona neurona sa desetinama milijarda konekcija između njih. Pored V1 ljudska vizija koristi celu seriju korteksa (V2, V3, V4 i V5) od kojih se svaki koristi za komplikovanije prepoznavanje slika. U našim glavama nosimo superkompjuter, treniran evolucijom stotinama miliona godina i prilagođen razumevanju vizuelnog sveta. Prepoznavanje ručno pisanih brojeva nije lako, štaviše mi ljudi smo čudesno dobri u prepoznavanju onoga što naše oči vide. Ali sve se to odvija nesvesno i zato ne znamo težinu problema koje naš vizuelni sistem rešava.

Težina ovih problema postaje vidljiva tek kada probamo da napišemo kompjuterski program koji bi prepoznao cifre kao na slici iznad. Ono što deluje lako kad ga mi radimo postaje ekstremno teško. Lake intuicije o tome kako prepoznajemo brojeve - ``9 se sastoji od kruzića na vrhu i udice na dnu na desnoj strani'' - ispadaju teške za predstavljanje algoritamski. Kada probate da napravite precizne uslove ubrzo se izgubite u moru dugih izraza, uslova i specijalnih slučajeva. Deluje nemoguće.

Nuralne mreže pristupaju problemu drugačije. Ideja iza njih je da se uzme veliki broj ručno pisanih cifara i da se napravi program koj bi učio na tim primerima. 

\begin{center}
\includegraphics[width=0.5\textwidth]{mnist_100_digits.png}
\end{center}
Drugim rečima. nuralne mreže koriste primere za trening kako bi napravile uslove za prepoznavanje objekata na slici. Povećavanjem broja primera mreža uči više i poboljšava se preciznost. Na slici iznad prikazao sam 100 trening slika, ali obično za treniranje koristimo mnogo veće setove sa hiljadama ili cak milionima ili milijardama slika.

U mom maturskom radu prvo ću napisati prostu nuralnu mrežu u samo 74 linija koda koja ne koristi nikakve sporedne biblioteke za mašinsko učenje a prepoznaje cifre sa 96\% tačnosti. Kasnije, objasniću ideje koje mogu da poboljšaju rad mreže tako da je tačnost preko 99\%. Time možemo dobiti mrežu dobru jednako kao one koje se koriste u bankama za procesuiranje čekova ili u poštama za prepoznavanje adresa.

Fokusiramo se na rekogniciju rukopisa zato što je to super problem za učenje nuralnih mreža, nije previše težak da bi zahtevao ekstremno komplikovano rešenje ili mnogo jak kompjuter ali nije ni previše lak. Takođe to je super primer i za razvijanje kompleksnijih tehnika kao što je duboko učenje (deep learning) tako da ćemo se vraćati na njega konstantno kroz rad. Kasnije objasniću kako se neke od ovih ideja mogu primeniti na drugim problemima u oblasti kompjuterske vizije, kao i u prepoznavanju govora, prirodnom procesuiranju jezika (natural language processing) i drugim domenima.

\section*{Nuralna mreža}
\addcontentsline{toc}{section}{Nuralna mreža}
Šta je nuralna mreža? Da bih vam objasnio prvo ću početi sa objašnjavanjem tipa artificijalnog neurona po imenu perceptron.
\subsection*{Perceptron}
\addcontentsline{toc}{subsection}{Perceptron}
Perceptroni su razvijani 1950ih i 1960ih od strane naučnika Frenka Rosenblata (Frank Rosenblatt) inspirisanog ranijim radom Varena Mekaloka (Warren McCulloch) i Valtera Pitsa (Walter Pitts). Danas, mnogo se češće koriste drugi modeli artificijalnih neurona kao što je sigmoidni neuron (sigmoid neuron) koji ću i ja koristiti u projektu. Uskoro ćemo doći do sigmoidnih neurona ali da bi razumeli zašto su oni definisani kako jesu prvo moramo razumeti perceptrone.

Pa kako rade perceptroni? Perceptron uzima nekoliko ulaznih podataka ($x_1$, $x_2$,...) i vraća singularni binarni izlaz.
\begin{center}
\includegraphics[width=0.4\textwidth]{tikz0.png}
\end{center}
U primeru sa slike perceptron ima tri ulaza, $x_1$, $x_2$ i $x_3$. Naravno, on  može imati i manje i više ulaza. Rosenblat je smislio prosto pravilio za računanje izlaza. Uveo je tegove (weights) koji se obeležavaju slovom w ($w_1$, $w_2$,...) i realni su projevi koji predstavljaju značaj ulaza izlazu. Izlaz neurona, 0 ili 1, se odredjuje u odnosu na to da li je suma proizvoda tegova i ulaza ($\sum_jw_jx_j$) veća ili manja od granične vrednosti (treshold value). Kao i tegovi, granična vrednost je realan broj koj je parametar neurona. Ovo možemo preciznije prikazati algebarskom formulom:
\begin{equation}
  \mathbox{output} = \left\{ \begin{array}{ll}
      0 & \mathbox{if } \sum_j w_j x_j \leq \mathbox{ threshold} \\
      1 & \mathbox{if } \sum_j w_j x_j > \mathbox{ threshold}
      \end{array} \right.
\end{equation}
Ovo je prostiji matematički model perceptronskog neurona. Da bi bolje objasnio rad percreptrona daću primer donošenja odluke. Ovo nije najrealniji primer ali je lak za razumevanje a uskoro ćemo doći do realističnijih primera. Zamislite da je vikend i da ste čuli da će se u gradu blizu vašeg održati pank svirka . Vi volite pank i probate da odlučite da li da idete. Vaša odluka zavisi od tri faktora:
\begin{enumerate}
  \item Da li je vreme dobro?
  \item Da li ćete imati društvo tamo?
  \item Da li imate autobus posle svirke za kući?
\end{enumerate}
Ova tri faktora možemo predstaviti binarnim varijablama $x_1$, $x_2$ i $x_3$. Ako je vrednost varijable 1 to znači da je odgovor na taj faktor da, a ako je 0 ne. Opšte je poznato da su pankeri dobri ljudi i da na svirci možete uvek naći društvo, takođe toliko volite pank da vam nije mnogo bitno da li imate prevoz odmah posle svirke jer uvek možete prespavati na nekoj klupici u parku. Jedino loše vreme može pokvariti vaše planove spavanja napolju i zato njemu dajete više značaja pri donošenju odluke. Tegove onda možemo raspurediti ovako: $w_1 = 4$ za vreme, $w_2 = 2$ za društvo i $w_3 = 2$ prevoz. Za graničnu vrednost možemo postaviti 3 što bi značilo da mora biti ispunjen ili prvi uslov ili drugi i treći da bi krenuli. Pomerajući tegove i granicu možemo dobiti različite modele donošenja odluka. 

Naravno perceptron nije kompletan model donošenja odluka kod čoveka ali ono što ovaj primer prikazuje jeste kako perceptron može da donese odluku. Velika mreža perceptrona bi bila mnogo realnija u donošenju odluka.
\begin{center}
\includegraphics[width=0.8\textwidth]{tikz1.png}
\end{center}
U ovakvoj mreži prva kolona perceptrona (prvi sloj) može služiti za donošenje prostih odluka dok drugi sloj može donositi kompleksnije odluke u zavisnosti od rezultata prvog sloja. Još kompleksnije odluke se mogu doneti u trećem sloju. 

Ranije kad sam definisao perceptrone rekao sam da imaju jednu vrednost na izlazu. Bitno je reći da i na slici gore imaju jednu vrednost ali ona je prikazana sa više strelica jer ide ka više neurona u drugom sloju. Ovakav prikaz se koristi češće ali na nekim slikama se može videti i jedna linija koja se kasnije deli.

Hajde da uprostimo način na koji opisujemo perceptrone. Izraz $\sum_jw_j x_j > \mathbox{threshold}$ je glomazan, možemo uveti dve promene da ga uprostimo. Prva je pisanje $\sum_jw_j x_j$ kao proizvoda vektora $w \cdot x \equiv \sum_j w_j x_j$ gde $w$ i $x$ su vektori čije su komponente tegovi i ulazne informacije. Druga promena je pomeranje granične vrednosti na drugu stranu nejednakosti, da uradimo to zamenićemo je varijablom poznatijom kao perceptronski bias,  $b \equiv-\mathbox{threshold}$. Sada možemo napisati formulu za sada izmenjeni perceptron:
\begin{equation}
  \mathbox{output} = \left\{ 
    \begin{array}{ll} 
      0 & \mathbox{if } w\cdot x + b \leq 0 \\
      1 & \mathbox{if } w\cdot x + b > 0
    \end{array}
  \right.
\end{equation}
Bias možete zamisliti kao veličinu koja pokazuje koliko je lako da perceptron da 1 kao izlaz. Što je bias veći to je lakše perceptronu da kao rezultat da 1 i obrnuto. Bias se trenutno čini kao mala promena, ali videćete kasnije kako on uproštava buduće formule. U radu od sad koristiću bias umesto granične vrednosti.

\subsection*{Sigmoidski neuron}
\addcontentsline{toc}{subsection}{Sigmoidski neuron}
Zamislite da imamo mrežu perceptrona koju želimo da naučimo da reši neki problem. Na primer ulazni podaci mogu biti podaci svakog piksela sa slike ručno napisanog broja. Od naše mreže želimo da podešava tegove i biase tako da izlaz bude tačan. Kada koristimo perceptronske neurone dolazimo do problema da mala promena ova dva elementa može drastično da promeni rezultat. Ovaj problem možemo rešiti sigmoidskim neuronima. Evo šematskog prikaza onoga što želimo da postignemo: 
\begin{center}
\includegraphics[width=0.8\textwidth]{tikz8.png}
\end{center}
Isto kao i kod perceptronskog neurona, sigmoidski ima ulaze $x_1, x_2, \ldots$. Ali umesto samo 0 i 1, sigmoidski neuron kao izlaz može imati bilo koju vrednost između. Sigmoidna funkcija, koju ovaj neuron koristi, izgleda ovako:
\begin{equation} 
 \sigma(\sum_j w_j x_j+b) \equiv \frac{1}{1+e^{-\sum_j w_j x_j-b}}
\end{equation}
Da bi razumeli sličnost perceptronskog i sigmoidskog neurona pretpostavimo da je  $z \equiv w \cdot x + b$ veliki pozitivan broj. Tada $e^{-z} \approx 0$ što bi značilo da je $\sigma(z) \approx 1$. To bi značilo da kada je $z$ veliko i pozitivno, izlaz neurona biće otprilike $1$ isto kao i kod perceptrona, a i obrnuto. Glavna odlika sigmoidskih neurona jeste to što svaka mala promena u bilo kom tegu ili biasu pravi malu promenu u izlazu. Promenu u izlazu $\Delta \mathbox{output}$ možemo izračunati formulom: 
\begin{equation} 
  \Delta \mathbox{output} \approx \sum_j \frac{\partial \, \mathbox{output}}{\partial w_j}
  \Delta w_j + \frac{\partial \, \mathbox{output}}{\partial b} \Delta b
\end{equation}
gde $\Delta w_j$ i $\Delta b$ predstavljaju promene u tegovima i biasima, a $\partial \mathbox{output} / \partial w_j$ i $\partial \mathbox{output} / \partial b$ predstavljaju parcijalne izvode izlaza. Iako formula sa parcijalnim izvodima izgleda komplikovano ona kaze jednu prostu stvar: da je $\Delta \mathbox{output}$ linearna funkcija promena $\Delta w_j$ i $\Delta b$ u tegovima i biasima. Linearnost omogucava laksi odabir promena $\Delta w_j$ i $\Delta b$ kojima bi lakse postigli malu promenu u $\Delta \mathbox{output}$. 



%-------------------------------------------------------------------------------
% R$EFERENCES
%-------------------------------------------------------------------------------
\newpage

\selectlanguage{english}
\section*{References}
\addcontentsline{toc}{section}{References}

Anand, U., 2010. The Elusive Free Radicals, \textit{The Clinical Chemist,} [e-journal] Available at:<\url{http://www.clinchem.org/content/56/10/1649.full.pdf}> [Accessed 2 November 2013]

Biology Forums, 2012. \textit{Normal glomerulus. Acute glomerulonephritis.} [online] Available at: <\url{http://biology-forums.com/index.php?action=gallery;sa=view;id=9284}> [Accessed 23 October 2013].

Budisavljevic, M., Hodge, L., Barber, K., Fulmer, J., Durazo-Arvizu, R., Self, S., Kuhlmann, M., Raymond, J. and Greene, E., 2003. Oxidative stress in the pathogenesis of experimental mesangial proliferative glomerulonephritis, \textit{American Journal of Physiology - Renal Physiology,} 285(6), pp. 1138-1148.

Chien, C., Lee, P., Chen, C., Ma, M., Lai, M. and Hsu, S., 2001. De Novo Demonstration and Co-localization of Free-Radical Production and Apoptosis Formation in Rat Kidney Subjected to Ischemia/Reperfusion, \textit{Journal of the American Society of Nephrology,} 12(5), pp. 973-982.

Couser, W., 1993. Pathogenesis of glomerulonephritis, \textit{Kidney International Supplements,} 42, pp. 19-26.

De Gasparo, M., 2002. Angiotensin II and nitric oxide interaction, \textit{Heart Failure Reviews,} [e-journal] Available at:<\url{http://www.ncbi.nlm.nih.gov/pubmed/12379820}> [Accessed 26 October 2013]

Edinburgh Renal Education Pages, 2012. \textit{Glomerulonephritis} [online] Available at: <\url{http://www.edrep.org/pages/textbook/glomerulonephritis.php}> [Accessed 25 October 2013].

Forbes, J., Coughlan, M. and Cooper, M., 2008. Oxidative Stress as a Major Culprit in Kidney Disease in Diabetes, \textit{Diabetes,} 57(6), pp. 1446-1454.

Geeky Medics, 2010. \textit{Glomerulonephritis} [online] Available at: <\url{http://geekymedics.com/2010/10/27/glomerulonephritis/}> [Accessed 25 October 2013].

Gryglewski, R., Palmer, R., Moncada, S., 1986. Superoxide anion is involved in the breakdown of endothelium derived relaxing factor, \textit{Nature,} 320, pp. 454-456.

Halliwell, B., 2001. Free Radicals and other reactive species in Disease, \textit{Encyclopedia of Life Sciences,} [e-journal] Available at:<\url{http://web.sls.hw.ac.uk/teaching/level4/bcm1_2/reading/oxidative_stress/files/Oxidative_stress.pdf}> [Accessed 19 October 2013]

Huang, H., Patel, P. and Salahudeen, A., 2001. Lazaroid compounds prevent early but not late stages of oxidant-induced cell injury: potential explanation for the lack of efficacy of lazaroids in clinical trials, \textit{Pharmacological Research,} 41(1), pp. 55-61.

Klinger, J., Abman, S. and Gladwin, M., 2013. Nitric Oxide Deficiency and Endothelial Dysfunction in Pulmonary Arterial Hypertension, \textit{American Journal of Respiratory and Critical Care Medicine,} 188(6), pp. 639-646.

Lindemann, I., Boettcher, J., Oertel, K., Pasternack, R., Heine, A. and Klebe, G. 2012. Inhibitors of Transglutaminase 2: A therapeutic option in celiac disease, \textit{To be Published,} [e-journal + PDB structure] Available at:<\url{http://www.ebi.ac.uk/pdbe-srv/view/entry/3s3s/summary}> [Accessed 24 October 2013]

Mayo Clinic, 2011. \textit{Glomerulonephritis} [online] Available at: <\url{http://www.mayoclinic.com/health/glomerulonephritis/DS00503/}> [Accessed 20 October 2013].

McCord, J., Roy, R. and Schaffer, S., 1985. Free radicals and myocardial ischemia. The role of xanthine oxidase, \textit{Advances in myocardiology,} [e-journal] Available at:<\url{http://www.ncbi.nlm.nih.gov/pubmed/2982206}> [Accessed 24 October 2013]

National Health Service, 2012. \textit{Causes of glomerulonephritis} [online] Available at: <\url{http://www.nhs.uk/Conditions/Glomerulonephritis/Pages/Causes.aspx}> [Accessed 20 October 2013].

Niaudet, P., 2013. \textit{Overview of the pathogenesis and causes of glomerulonephritis in children.} [online] Available at: <\url{http://www.uptodate.com/contents/overview-of- \ the-pathogenesis-and-causes-of-glomerulonephritis-in-children}> [Accessed 21 October 2013].

Ronco, P., 2013. \textit{Mechanisms of glomerular crescent formation.} [online] Available at: <\url{http://www.uptodate.com/contents/mechanisms-of-glomerular-crescent-formation}> [Accessed 21 October 2013].

Rutchik, J., 2013. \textit{Toxic Neuropathy Clinical Presentation.} [online] Available at: <\url{http://emedicine.medscape.com/article/1175276-clinical#a0216}> [Accessed 26 October 2013].

R\&D Systems, 2013. \textit{Technical Information. Ischemia/Reperfusion Injury.} [online] Available at: <\url{http://www.rndsystems.com/cb_detail_objectname_SP96_Ischemia.aspx}> [Accessed 28 October 2013].

Salahudeen, A., 1999. Free Radicals in Kidney Disease and Transplantation, \textit{Saudi Journal of Kidney Diseases and Transplantation,} 10(2), pp. 137-143.

Sarma, A., Mallick, A. and Ghosh, A., 2010. Free Radicals and Their Role in Different Clinical Conditions: An Overview, \textit{International Journal of Pharma Sciences and Research,} 1(3), pp. 182-192.

Shah, S., Baliga, R., Rajapurkar, M. and Fonseca, V., 2007. Oxidants in Chronic Kidney Disease, \textit{Journal of the American Society of Nephrology,} 18(1), pp. 16-28.

The University of Utah, Unknown. \textit{Glomerulonephritis} [online] Available at: <\url{http://library.med.utah.edu/WebPath/RENAHTML/RENALIDX.html#8}> [Accessed 25 October 2013].

Wang, C. and Salahudeen, A., 1994. Cyclosporine nephrotoxicity: attenuation by an antioxidant -inhibitor of lipid peroxidation in-vitro and in-vivo, \textit{Transplantation,} 58, pp. 940-946.

Wang, C. and Salahudeen, A., 1995. Lipid peroxidation accompanies cyclosporine nephrotoxicity: effects of vitamin E, \textit{Kidney International,} 47, pp. 927-934.

Weiss, S., 1989. Tissue Destruction by Neutrophils, \textit{New England Journal of Medicine,} 320, pp. 365-376.


\end{document}

Overleaf - 如何将拉丁字母渲染为塞尔维亚西里尔字母

答案1

相关内容