Natural Language Processing 2

Pertanyaan ke-2:

Sebutkan jenis aplikasi yang bisa dibuat pada bidang Pengolahan Bahasa Alami! Jelaskan masing-masing secara singkat!

 

Jawaban

Aplikasi yang bisa dibuat pada bidang Pengolahan Bahasa Alami terdiri atas beberapa jenis sbb:

  • Text – based application, mencakup segala macam aplikasi yang melakukan proses terhadap text tertulis seperti misalnya buku, berita di surat kabar, e-mail dan lain sebagainya. Contoh penggunaan dari text – based application ini adalah :
  1. Mencari topik tertentu dari buku yang ada pada perpustakaan;
  2. Mencari isi dari surat atau e-mail;
  3. Menerjemahkan dokumen dari satu bahasa ke bahasa yang lain.

 

  • Dialogue – based application. Idealnya pedekatan ini melibatkan bahasa lisan atau pengenalan suara, akan tetapi bidang ini juga memasukkan interaksi dengan cara memasukkan teks pertanyaan melalui keyboard. Aplikasi yang sering ditemui untuk bidang ini adalah :
  1. Sistem tanya jawab, di mana natural language digunakan dalam mendapatkan informasi dari suatu database;
  2. Sistem otomatis pelayanan melalui telepon;
  3. Control suara pada peralatan elektronik;
  4. Sistem problem – solving yang membantu untuk melakukan penyelesaian masalah yang umum dihadapi dalam suatu pekerjaan.

NLP 1

Pertanyaan ke-1:

Jelaskan pengertian dari Pengolahan Bahasa Alami (PBA) atau Natural Language Processing (NLP)!

 

Penjelasan:

Referensi di URL Microsoft Word – Bab 5.doc (unila.ac.id) –> PENGOLAHAN BAHASA ALAMI

 

Diketahui bahwa Pengolahan Bahasa Alami (PBA) atau Natural Language Processing (NLP) mempunyai tujuan yaitu melakukan proses pembuatan model komputasi dari bahasa sehingga dapat terjadi suatu interaksi antara manusia dan komputer dengan perantaraan bahasa alami /natural.

Model komputasi ini dapat berguna untuk keperluan ilmiah, misalnya meneliti sifat-sifat suatu bentuk bahasa alami mau pun untuk keperluan sehari-hari, memudahkan komunikasi antara manusia dengan komputer. Topic Modeling is an unsupervised Natural Language Processing technique that utilizes artificial intelligence programs to tag and group text clusters.

NLP harus memperhatikan pengetahuan terhadap bahasa itu sendiri,

  1. Baik dari segi kata yang digunakan;
  2. Bagai mana kata-kata tersebut digabung untuk menghasilkan suatu kalimat;
  3. Apa arti sebuah kata, apa fungsi sebuah kata, dalam sebuah kalimat, dsb.

PBA harus mempertimbangkan satu hal yang sangat berperan dalam bahasa, yaitu kemampuan manusia untuk mengerti. Kemampuan tersebut diperoleh dari pengetahuan yang didapat secara terus menerus sewaktu hidup. Contoh:

Dalam suatu percakapan, seseorang mungkin,

  1. Dapat menjawab suatu pertanyaan, atau
  2. Ikut dalam percakapan itu dengan tidak hanya berdasar pada kemampuan berbahasa,
  3. Tetapi juga harus mengetahui misalnya kata /istilah yang umum digunakan dalam kelompok percakapan itu, atau
  4. Bahkan harus mengetahui konteks dari percakapan itu.

Jadi, Natural language processing (NLP) is a subfield of linguistics, computer science, and artificial intelligence concerned with the interactions between computers and human language, in particular how to program computers to process and analyze large amounts of natural language data. The result is a computer capable of “understanding” the contents of documents, including the contextual nuances of the language within them.

Natural language processing (NLP) refers to the branch of computer science—and more specifically, the branch of artificial intelligence,

  1. that makes human language intelligible to machines. NLP combines the power of linguistics and computer science;
  2. that helps computers understand, interpret and manipulate human language.

As a branch of artificial intelligence, NLP (natural language processing), uses machine learning to process and interpret text and data. This is a widely used technology for personal assistants that are used in various business fields.

Problem is solved.

KB-AI, Natural Language, Bahasa Alami

Materi: Materi Bahasa Alami

Pertemuan ke-3 pada Rabu 27 April 2022 jam 14.30 wib kuliah online, terlaksana diawali Zoom Meeting, diakhiri Google Meet.

Pertemuan ke-4 pada Rabu 11 Mei 2022 jam 14.30 wib kuliah online, direncanakan diawali dengan Zoom Meeting, untuk presensi dan diakhiri dengan Google Meet dan Google Class Room.

Pertemuan ke-5 pada Rabu 18 Mei 2022 untuk Kelas AI-B dan pertemuan pertama Kelas AI-A pada Kamis 19 Mei 2022.

Daftar nilai klasifikasi kecerdasan buatan

Probabilistik & Statistik Senin 10.30 wib, 15.00 wib.

Dosen 1: Resty Annisa, Kelas Prob & Stat A 2022

Dosen 1: Gigih Forda Nama, Kelas Prob & Stat D 2022

Dosen 2: Raden Arum Setia Priadi

PERTEMUAN KE-1

Senin 18 April 2022

Materi yang sudah dipelajari dari ibu Resty:

  1. Probabilitas Dasar (Bagai mana dengan Statistika Dasar?)
  2. Probabilitas Bersyarat
  3. Variabel Acak Diskret
  4. Distribusi Peluang Diskret
  5. Konsep Statistika (mungkin ini yang dimaksud Statistika Dasar)
  6. Teknik Pengumpulan Data
  7. Penyajian Data
  8. Ukuran Pemusatan (dan tugas)
  9. Basic Statistic in Python and Jupiter Notebook (latihan)
  10. Lanjutan butir 9 (Visualizing Data)
  11. DropBox Tugas (Visualizing Data)

Peninjauan kurikulum dan silabus mata kuliah Probabilistik & Statistik

a) Dari FT Unimus dengan IFT-elearning diperoleh info sbb. MK Probabilitas dan Statistika dengan dosen pengajar  Laily Muntasiroh, ST., MT dan Dina Mariani, ST., MT.

b) Dari SPADA IST AKPRIND diperoleh 24 info sbb. Pertama, diketahui bahwa: 1) MK Bio-Statistika –> Ada teori dan prinsip probabilitas dan statistika untuk 3 kerja yaitu i] Pengumpulan <data>, ii] Pengolahan <data>, iii] Analisis <data> guna menyelesaikan permasalahan praktis di bidang bio-sains di beberapa bidang yaitu kedokteran /kesehatan, biologi. Apa yang diharapkan? Yaitu: i} Memahami konsep dan prosedur, ii} Mengidentifikasi dan memilih prosedur, iii} Melakukan prosedur khusus 3 kerja.

2) MK Metode Statistik non-Parametrik –> Mata kuliah ini cabang Statistik yang TIDAK hanya didasarkan pada keluarga parametrized dari distribusi probabilitas (contoh umum dari parameter adalah: mean dan varians).

Statistik non-parametrik didasarkan pada distribusi bebas atau memiliki distribusi yang ditentukan tetapi dengan parameter distribusi tidak ditentukan. Statistik non-parametrik mencakup statistik deskriptif dan inferensi statistik.

3) MK Metoda Statistika I –> Materi perkuliahan meliputi Pengertian dan konsep statistika, Populasi, sampel, data kuantitatif dan data kualitatif, skala pengukuran, konsep sigma dan beberapa contoh penggunaannya.

Pengantar software R (Programming). Di kuliah ini, di samping mengulang sedikit materi Basic Statistic in Python and Jupiter Notebook untuk pendalaman, dosen akan mengajarkan R Programming dengan R version 4.0.3 (2020-10-10) — “Bunny-Wunnies Freak Out” Copyright (C) 2020 The R Foundation for Statistical Computing Platform: x86_64-w64-mingw32/x64 (64-bit)

Statistika Deskriptif meliputi : Cara mengumpulkan dan menyajikan data, Ukuran pemusatan, ukuran penyebaran  dan  Penerapan Software R untuk proses perhitungannya.  Probabilitas dan distribusi probabilitas. Sampel acak dan distribusi sampling statistik, Pendekatan Poison dan Normal untuk binomial dan beberapa contoh penggunaannya serta pendekatan distribusi dengan software R.  Distribusi sampling statistik. Inferensi Statistik: estimasi parameter dan uji hipotesis. Sampel tunggal, uji hipotesisi sampel ganda.

4) MK Pengantar Teori Probabilitas –>

Materi Pengantar Teori Probabilitas memberikan dasar-dasar teori probabilitas yang sangat penting untuk memehami statistika dasar dan statistika lanjut serta statistika matematika. Dalam materi ini diharapkan mahasiswa mampu mengimplementasikan teknik-teknik probabilitas  ke dalam permasalahan sehari-hari secara benar dan  tepat.

Mata kuliah ini memberikan pengalaman tentang: Konsep-konsep  ruang sampel dan kejadian, sifat-sifat kejadian,  mencacah titik sampel, aksioma probabilitas, dalil-dalil probabilitas, dan probabilitas bersyarat. Konsep  Peubah Acak diskrit & kontinyu, fungsi  probabilitas, distribusi probabilitas, nilai harapan dan variance. Konsep Peubah acak berganda dan fungsi peluang marginal, fungsi peluang bersyarat, dan Menentukan Mean dan variansi serta covariance.

Course: Probabilistik & Statistik (unila.ac.id)

PERTEMUAN KE-2

25 April 2022

Seharusnya dilaksanakan perkuliahan tetapi gagal karena dosennya berhalangan. Akibatnya diberi Tugas 2, individual & Tugas II, berkelompok. Sebagai kuliah pengganti akan dialokasikan waktu khusus setelah lebaran untuk kelas A (Pertemuan ke-3), untuk kelas BC&D (Pertemuan ke-1).

AI – Rabu 14:30 wib

Dosen 1: Trisya Septiana, kelas AI-B, Rabu 14.30 wib

Dosen 1: Resty Annisa, kelas AI-A, …

Dosen 2: Raden Arum Setia Priadi

PERTEMUAN KE-1

As salaamu alaikum wr wb, Selamat siang menjelang sore. Terima kasih atas partisipasi para mahasiswa peserta kuliah Kecerdasan Buatan. Mulai hari Rabu 13 April 2022 jam 14.20 wib sudah dimulai kuliah perdana dosen kedua. Pre-test sudah diberikan seperti tertera dalam WAG perkuliahan.

PENGANTAR KECERDASAN BUATAN

Simak penjelasannya introduksi di sini.

RUANG LINGKUP KECERDASAN BUATAN

Materi:

perbandingan AI dan kecerdasan alamiah
keuntungan kecerdasan buatan maupun kecerdasan ilmiah
perbedaan komputasi AI dengan komputasi konvensional

Pendapat kedua:

Ruang lingkup, ruang lingkup kecerdasan buatan yang mana ruang lingkup ini dibagi menjadi beberapa bagian seperti speech recognition, robotika, natural language processing, dan lainnya.

Bersambung

TEKNIK DASAR /METODE PENCARIAN, Contoh.

REPRESENTASI PENGETAHUAN /PENCARIAN?

INTELLIGENT AGENT, penjelasan singkat.

PERTEMUAN KE-2

Diadakan pada hari Rabu 20 April 2022. Penjelasan metode pencarian, simak Slide-INF401-KECERDASAN-BUATAN-PERTEMUAN-3 ini. Akan dijelaskan proses implementasi, teknik dasar penerapannya di sini. Penjelasan tentang metode pencarian lagi, simak di URL ini.

Penjelasan representasi pengetahuan simak di Slide-INF401-KECERDASAN-BUATAN-PERTEMUAN-6-DAN-7. Semoga memperjelas, apa lagi ditambah dua penjelasan ini:

Satu, tentang: Introduksi representasi pengetahuan, Logika proposisi, Logika predikat.

Dua: tentang: Pengantar kecerdasan buatan, Representasi pengetahuan, Konsep penalaran logika, Representasi terstruktur, Algoritme pencarian, …

Dilanjutkan ke Bahasa Alami  /Natural Language.

Latihan Membangun Microservice

Sambungan dari:

Latihan Pemrograman – R. Arum, S.P. (unila.ac.id)

cara membangun micro service – Search (bing.com)

micro service xampp – Search (bing.com)

Dipilih contoh yang masih memakai localhost diberikan oleh Josikie dari URL

Tutorial Sederhana Microservice Menggunakan Spring Boot – Josi Kie

[Website][5] Membuat API JSON sederhana dengan PHP (part 1) Read/View | Belajar Coding dan Desain Lebih Mudah di Code by Riza

under construction

Himpunan desain solusi

Dalam makalah ini kami fokus pada penyediaan serangkaian solusi desain sebagai operasionalisasi prinsip-prinsip utama ekosistem digital ke dalam infrastruktur perangkat lunak. Secara khusus, kami menjelaskan arsitektur referensi untuk merancang aturan di mana layanan yang berbeda didefinisikan dan disusun dalam membangun lingkungan digital global.

Kami membahas bagaimana arsitektur referensi untuk DE ini memanfaatkan infrastruktur Internet yang ada sambil memperluas arsitektur Web sehingga dapat digunakan dengan cara yang menghormati dan mendukung otonomi UKM.

Solusi desain yang diusulkan dibangun di atas gaya arsitektur REST (Fielding, 2000) yang mendasari web seperti yang kita kenal sekarang. Secara khusus, kami menunjukkan bahwa REST melalui HTTP paling tepat untuk mengoperasionalkan prinsip-prinsip ekosistem dasar dalam arsitektur referensi untuk ekosistem digital. Dengan demikian, kami juga menunjukkan ekosistem RESTful agar kompatibel dengan Web.

Sisa dari makalah ini disusun sebagai berikut. Bagian 2 memberikan latar belakang untuk membingkai konsep ekosistem digital, sebagai kasus khusus dari sistem adaptif kompleks yang dipelajari dengan lebih baik, dan menarik koneksi ke aspek Web dan arsitektur saat ini yang diperlukan, tetapi kadang-kadang ditemukan hilang atau disalahartikan.

Di Bagian 3 kami mengusulkan serangkaian solusi desain yang berkembang seputar penggunaan gaya arsitektur REST untuk DE melalui web. Secara khusus, kami membahas definisi layanan RESTful dan komposisinya, model perilaku untuk analisis interaksi kompleks atas sumber daya, yang memerlukan jaminan transaksional tertentu, masalah merancang jaringan P2P terdistribusi penuh yang dapat mendukung interaksi RESTful, dan desain mekanisme kueri RESTful untuk mengembalikan karakteristik layanan dan sumber daya terkaitnya.

Solusi desain ini kemudian ditempatkan ke dalam gambaran yang lebih besar dari arsitektur referensi untuk DE di Web di Bagian 4. Makalah ini diakhiri di Bagian 5 dengan beberapa komentar penutup dan kemungkinan perluasan pekerjaan ini di masa mendatang.