Cybenko Universal Approximation Theorem Lemma 1

Question

ฉันมีปัญหาในการทำความเข้าใจขั้นตอนหนึ่งในการพิสูจน์ Lemma 1 ของCybenko Universal Approximation Theorem

Cybenko กำหนดฟังก์ชัน sigmoidal เป็น $\sigma:\mathbb{R}\rightarrow\mathbb{R}$ ดังนั้น

1. $\displaystyle\lim_{t\rightarrow\infty}\sigma(t)=1$
2. $\displaystyle \lim_{t\rightarrow-\infty}\sigma(t)=0$

เขายังใช้ $I_n=[0.1]^n$ และ $M(I_n)=\{\mu:\mu\text{ is a regular, finite, signed Borel measure} \}.$ นอกจากนี้เขายังรวมถึงคำจำกัดความของฟังก์ชันที่เลือกปฏิบัติ

เลมมา 1 . ฟังก์ชัน sigmoidal ที่มีขอบเขตและสามารถวัดได้$\sigma$เป็นการเลือกปฏิบัติ

การพิสูจน์ดำเนินการดังนี้:

ปล่อย $x,y\in\mathbb{R}^n$ และ $b,\varphi\in \mathbb{R}$. กำหนดสำหรับแต่ละ$\lambda\in\mathbb{R}$: $$\sigma_\lambda(x)=\sigma(\lambda(\langle x,y\rangle+b)+\varphi)$$

จากนั้นเรามีสามกรณี:

กรณีที่ 1 .$\langle x,y\rangle+b=0$. จากนั้น

 $\displaystyle\lim_{\lambda\rightarrow\infty} \sigma_\lambda(x)=\sigma(\varphi)$

กรณีที่ 2 .$\langle x,y\rangle+b<0$.

 $\displaystyle\lim_{\lambda\rightarrow\infty} \sigma_\lambda(x)=0$

กรณีที่ 3 .$\langle x,y\rangle+b>0$.

 $\displaystyle\lim_{\lambda\rightarrow\infty} \sigma_\lambda(x)=1$

กำหนด $\gamma:\mathbb{R}\rightarrow\mathbb{R}$ โดย

  $\gamma(x)=\begin{cases} 0, & \langle x,y\rangle+b<0\\ 1, & \langle x,y\rangle+b>0 & \\ \sigma(\varphi), & \langle x,y\rangle+b=0 \end{cases}$

แล้วเรามี $$\lim_{\lambda\rightarrow\infty} \sigma_\lambda(x)=\gamma(x)$$ ดังนั้นครอบครัว $\{\sigma_\lambda:\lambda\in\mathbb{R}\}$ มาบรรจบกันแบบชี้ไปที่ $\gamma$ และแต่ละ $\sigma_\lambda$ มีขอบเขต

ปล่อย $\mu\in M(I_n)$. จากนั้นเราสามารถใช้ Lesbegue Bounded Convergence Theorem เพื่อรับ:$$\lim_{\lambda\rightarrow \infty}\int_{I_n} \sigma_\lambda(x)d\mu(x) = \int_{I_n} \gamma(x)d\mu(x)$$

โปรดทราบว่าในบทความของ Cybenko เขาเขียนผิดพลาดว่า: $$\int_{I_n} \sigma_\lambda(x)d\mu(x) = \int_{I_n} \gamma(x)d\mu(x)$$ฉันเชื่อว่าในกรณีนี้เขาเพิ่งพ้นขีด จำกัด อย่างไรก็ตามการย้ายผ่านการพิมพ์ผิดนี้เขาสรุปว่า$$0=\int_{I_n} \sigma_\lambda(x)d\mu(x)$$

คำถามของฉันคืออะไรคือเหตุผลสำหรับขั้นตอนนี้? นั่นคือทำไมอินทิกรัลเท่ากับ 0?

Answer 1

นี่คือโดยการสันนิษฐาน ความหมายของ$\sigma$ การเลือกปฏิบัตินั้นสำหรับทุกๆ $\mu\in M(I_n)$, $$\left[(\forall y)( \forall b) \int_{I_n} \sigma(\langle x,y\rangle +b)d\mu(x)=0\right]\Rightarrow \mu=0$$ ดังนั้นเราจึงถือว่า $\int_{I_n} \sigma(\langle x,y\rangle +b)d\mu(x)=0$ แต่ละ $y\in \mathbb{R^n}$ และ $b\in\mathbb{R}$.

สังเกตว่า $$\sigma_\lambda(x)=\sigma(\langle x, \lambda y\rangle+(\lambda b+\varphi)).$$ นี่จึงเป็นกรณีเฉพาะของสมมติฐาน