Tujuan ekstraksi entity adalah mengubah teks tidak terstruktur menjadi data terstruktur. Hal ini biasanya dilakukan melalui alur kerja berikut:.

1. Prapemrosesan teks: Menyiapkan teks untuk dianalisis.
2. Identifikasi entity: Menemukan entity potensial dalam teks.
3. Klasifikasi entity: Mengategorikan entity yang teridentifikasi.
4. Output: Menyajikan informasi yang diekstrak dalam format terstruktur.

Langkah pertama adalah menyiapkan teks untuk dianalisis. Hal ini sering kali mencakup teknik seperti:

• Tokenisasi: Memecah teks menjadi unit yang lebih kecil seperti kata atau frasa. 
• Pemberian tag jenis kata: Menetapkan tag tata bahasa ke setiap kata (misalnya, kata benda, kata kerja, kata sifat). Hal ini membantu dalam memahami struktur tata bahasa, karena entity sering kali berupa kata benda atau frasa kata benda.
• Lematisasi/stemming: Mereduksi kata ke bentuk dasar atau akarnya untuk menstandarkan variasi. Lematisasi umumnya lebih disukai karena mempertimbangkan makna kata.
• Penghapusan stopword (opsional): Memfilter kata-kata umum seperti "the", "and", dan "a" yang mungkin tidak terlalu berkontribusi pada identifikasi entity. Langkah ini opsional karena beberapa stopword dapat menjadi bagian dari entity bernama (misalnya, "United States of America"). 
• Segmentasi kalimat: Membagi teks menjadi kalimat-kalimat individual, yang membantu mempertahankan konteks lokal. 
• Normalisasi (opsional): Menstandardisasi teks, seperti mengonversi ke huruf kecil atau menangani karakter khusus. 

Teknik spesifik yang digunakan dapat bervariasi bergantung pada metode ekstraksi entity dan sifat data teks. Misalnya, meskipun penguraian dependensi (memahami hubungan antarkata) adalah tugas NLP yang berguna, penguraian dependensi tidak selalu menjadi langkah prapemrosesan inti untuk semua pendekatan ekstraksi entity.

Pada langkah ini, sistem mencari potensi entity dalam teks yang telah diproses sebelumnya. Pengenalan Entity Bernama (NER) adalah tugas inti untuk mengidentifikasi dan mengklasifikasikan entity ini. Teknik yang digunakan untuk melakukan NER meliputi:

• Pencocokan pola: Mencari pola atau urutan kata tertentu yang sering kali mengindikasikan entity (misalnya, "Mr" diikuti nama, atau format tertentu untuk tanggal atau alamat email).
• Model statistik: Menggunakan model terlatih seperti Conditional Random Fields (CRF), Jaringan Neural Berulang (RNN), atau Transformer untuk mengidentifikasi entity berdasarkan konteks dan kata-kata di sekitarnya. Model ini belajar dari fitur yang diekstrak dari teks, seperti bentuk kata, tag jenis kata, dan embedding kata kontekstual. 

Setelah entity potensial diidentifikasi, algoritma klasifikasi AI, yang sering kali didasarkan pada model machine learning atau sistem berbasis aturan, mengategorikan entity ini ke dalam kategori yang telah ditentukan. Seperti yang disebutkan sebelumnya, beberapa kategori umum dapat mencakup:

• Orang: Nama individu
• Organisasi: Nama perusahaan, institusi, atau kelompok
• Lokasi: Nama kota, negara, atau wilayah geografis
• Tanggal/waktu: Tanggal atau waktu tertentu yang disebutkan dalam teks
• Lainnya: Kategori tambahan yang mungkin relevan dengan kebutuhan spesifik Anda (misalnya, produk, uang, atau acara)

Terakhir, entity yang diekstrak dan klasifikasinya disajikan dalam format terstruktur, seperti: 

• Daftar: Daftar sederhana entity dan jenisnya
• JSON/XML: Format umum untuk menyimpan dan menukar data terstruktur 
• Pustaka pengetahuan: Cara untuk memvisualisasikan hubungan antar-entity 

Untuk memahami cara kerja ekstraksi entity dalam praktiknya, perhatikan kalimat berikut: "Pada 29 Agustus 2024, Optimist Corp. mengumumkan di Chicago bahwa CEO-nya, Brad Doe, akan mengundurkan diri setelah putaran pendanaan senilai $5 juta yang sukses." Sistem ekstraksi entity akan memproses teks ini dan menghasilkan data terstruktur berikut:

• Orang: Brad Doe
• Organisasi: Optimist Corp.
• Lokasi: Chicago
• Tanggal: 29 Agustus 2024
• Uang: $5 juta

Beberapa teknik dapat digunakan untuk melakukan ekstraksi entity, masing-masing dengan kelebihan dan kekurangannya sendiri.

Metode ini mengandalkan aturan dan pola yang telah ditentukan sebelumnya untuk mengidentifikasi entity. Yaitu:

• Relatif mudah diterapkan
• Transparan
• Memerlukan keahlian domain untuk menentukan aturan
• Dapat efektif dalam domain tertentu dengan aturan yang jelas, tetapi mungkin kesulitan menangani variasi bahasa atau struktur kalimat yang kompleks, sehingga menghasilkan keterbatasan perolehan
• Sulit untuk diskalakan dan dipelihara seiring aturan menjadi lebih kompleks

Teknik ini memanfaatkan model statistik yang dilatih pada set data besar untuk mengidentifikasi dan mengklasifikasikan entity. Teknik ini:

• Dapat beradaptasi dengan data baru dan variasi bahasa
• Memerlukan data pelatihan berlabel dan rekayasa fitur dalam jumlah besar (meskipun tidak terlalu banyak untuk deep learning)
• Mungkin membutuhkan biaya komputasi yang besar
• Model umum mencakup sistem deep learning modern seperti Jaringan Neural Berulang (RNN) dan Transformer (seperti BERT), yang dilatih pada set data besar untuk mengenali entity berdasarkan konteks

Metode ini menggabungkan kekuatan pendekatan berbasis aturan dan machine learning. Metode ini:

• Menawarkan keseimbangan antara fleksibilitas dan efisiensi, yang berpotensi menghasilkan akurasi yang lebih tinggi
• Memerlukan desain dan implementasi yang cermat untuk mengintegrasikan berbagai komponen

Misalnya, sistem campuran dapat menggunakan metode berbasis aturan untuk mengidentifikasi potensi entity dengan pola yang jelas (seperti tanggal atau ID), lalu menerapkan model machine learning untuk mengklasifikasikan entity yang lebih ambigu (seperti nama orang atau organisasi).

Meskipun ekstraksi entitas dapat menjadi alat yang canggih, penting untuk menyadari potensi tantangan dan keterbatasannya:

• Ambiguitas: Terkadang, entitas dapat bersifat ambigu atau memiliki banyak arti bergantung pada konteksnya (misalnya, "Washington" sebagai orang, lokasi, atau organisasi). Mengidentifikasi dan mengklasifikasikan ancaman secara akurat memerlukan pemahaman kontekstual yang kuat.
• Data yang tidak lengkap dan tidak relevan: Data teks dunia nyata sering kali tidak relevan (berisi kesalahan, salah eja, bahasa gaul, tata bahasa yang tidak lazim) dan mungkin tidak memiliki konteks yang memadai, yang dapat memengaruhi performa sistem ekstraksi entitas. 
• Entitas di luar kosakata (OOV) / entitas baru: Model mungkin kesulitan mengenali entitas atau kata yang tidak ditemui selama pelatihan (kata OOV), atau istilah dan nama yang baru dibuat. Tokenisasi subkata dan embedding tingkat karakter dapat membantu memitigasi hal ini.
• Error deteksi batas entitas: Mengidentifikasi awal dan akhir rentang entitas secara tepat dapat menjadi sulit, terutama untuk entitas yang panjang atau kompleks, atau entitas di domain khusus. Error di sini secara langsung memengaruhi klasifikasi.
• Kelangkaan data dan biaya anotasi: Model machine learning yang diawasi, terutama model deep learning, biasanya memerlukan data beranotasi berkualitas tinggi dalam jumlah besar, yang mahal dan memakan waktu untuk dibuat. Hal ini merupakan hambatan besar bagi bahasa dengan sumber daya yang terbatas atau domain khusus. 
• Adaptasi domain: Model yang dilatih pada satu domain sering kali berkinerja buruk saat diterapkan ke domain lain karena perbedaan kosakata, sintaksis, dan jenis entitas. Teknik seperti pemelajaran transfer (penyesuaian model terlatih) dapat menjadi penting untuk adaptasi. 
• Tantangan khusus bahasa: Performa ekstraksi entitas bervariasi di berbagai bahasa karena perbedaan tata bahasa, morfologi (misalnya, infleksi yang kaya), sistem penulisan (misalnya, tidak adanya huruf kapital untuk nama dalam beberapa bahasa), dan ketersediaan referensi linguistik. 
• Skalabilitas dan resource komputasi: Pelatihan dan deployment model deep learning yang kompleks dapat memerlukan komputasi yang intensif, sehingga membutuhkan daya pemrosesan yang signifikan (seperti GPU) dan waktu. 
• Bias dan keadilan: Model ekstraksi entitas dapat mewarisi bias yang ada dalam data pelatihan, yang berpotensi menghasilkan hasil yang tidak adil atau diskriminatif. Penting untuk menggunakan data yang beragam dan representatif serta menerapkan teknik deteksi dan mitigasi bias. 

Memulai ekstraksi entitas biasanya melibatkan langkah-langkah berikut:

Tentukan dengan jelas jenis entitas yang ingin Anda ekstrak dan kategori terkaitnya, serta sampaikan sasaran sistem NER dan bagaimana entitas yang diekstrak akan digunakan. Langkah ini sangat penting untuk memastikan bahwa sistem ekstraksi entitas disesuaikan dengan kebutuhan spesifik Anda.

Kumpulkan korpus data teks yang relevan dengan domain Anda. Untuk pendekatan supervised machine learning, data ini perlu dianotasi (dilabeli) dengan cermat oleh anotator manusia sesuai dengan pedoman yang telah ditentukan sebelumnya. Kualitas dan konsistensi anotasi ini sangat penting untuk melatih model berperforma tinggi. 

Pilih teknik ekstraksi entitas yang sesuai (berbasis aturan, machine learning, deep learning, atau hybrid) berdasarkan persyaratan, ketersediaan data, akurasi yang diinginkan, dan resource komputasi Anda. Pertimbangkan kompromi antara pendekatan ini. 

Bersihkan dan lakukan prapemrosesan data teks Anda untuk menghilangkan derau dan inkonsistensi. Hal ini dapat mencakup penanganan masalah seperti kesalahan ejaan, tanda baca, dan karakter khusus, serta langkah-langkah prapemrosesan yang disebutkan sebelumnya (tokenisasi, pemberian tag POS, dan lainnya). 

Jika Anda menggunakan pendekatan machine learning atau deep learning, langkah berikutnya adalah memilih dan melatih model. Hal ini melibatkan pemilihan arsitektur model yang tepat (seperti RNN atau Transformer) lalu melatihnya dengan data berlabel Anda. Pelatihan melibatkan pemberian contoh teks dan entitas terkait kepada model untuk mempelajari pola dan hubungan. 

Evaluasi performa sistem ekstraksi entitas Anda menggunakan metrik seperti presisi, perolehan, dan skor F1 pada set pengujian yang ditahan. Hal ini membantu Anda memahami seberapa baik sistem Anda mengidentifikasi dan mengklasifikasikan entitas. Analisis kesalahan juga penting untuk mengidentifikasi kelemahan.

Berdasarkan hasil evaluasi dan analisis error, sempurnakan model. Hal ini dapat melibatkan penyesuaian hyperparameter, modifikasi atau augmentasi data pelatihan, atau bahkan perubahan arsitektur model. Ini adalah proses iteratif.

Deploy sistem Anda untuk memproses data teks baru dan mengekstrak entitas secara real-time atau dalam batch. Hal ini mungkin melibatkan pengintegrasian sistem ekstraksi entitas ke dalam aplikasi atau alur kerja yang lebih besar, mungkin sebagai API. 

Terus pantau performa model dalam produksi. Karakteristik data dapat berubah seiring waktu ("penyimpangan data"), yang berpotensi menurunkan performa. Pelatihan ulang atau pembaruan rutin dengan data baru mungkin diperlukan.

Ekstraksi entitas memainkan peran penting dalam berbagai penggunaan di dunia nyata, termasuk: 

• Ekstraksi informasi dan diagram pengetahuan: Membantu mengekstrak informasi terstruktur dari teks tidak terstruktur, yang kemudian dapat digunakan untuk membangun pustaka pengetahuan. Pustaka ini merepresentasikan entitas dan hubungannya, sehingga memungkinkan penelusuran lanjutan, question answering, dan analisis data. 
• Pengelolaan hubungan pelanggan (CRM) dan dukungan: Ekstraksi entitas dapat digunakan untuk menganalisis interaksi pelanggan seperti email, postingan media sosial, dan tiket dukungan. Hal ini memungkinkan organisasi mengidentifikasi sentimen pelanggan, melacak masalah, mengategorikan permintaan, dan memberikan dukungan yang lebih dipersonalisasi. 
• Kecerdasan dan keamanan: Dapat digunakan untuk menganalisis data teks dalam jumlah besar dari artikel berita, media sosial, dan sumber lainnya untuk mengidentifikasi potensi ancaman, melacak individu yang menarik, dan mengumpulkan kecerdasan. 
• Mesin telusur: Meningkatkan relevansi dan kecepatan penelusuran dengan memahami entitas dalam kueri dan dokumen. 
• Klasifikasi dan rekomendasi konten: Membantu mengategorikan konten dan merekomendasikan artikel, produk, atau media yang relevan berdasarkan entitas yang diekstrak. 

Ekstraksi entitas juga dapat digunakan di bidang seperti:

• Layanan kesehatan: Mengekstrak entitas medis (penyakit, gejala, pengobatan, informasi pasien) dari rekam medis pasien, catatan klinis, dan makalah penelitian untuk analisis dan riset
• Keuangan: Mengidentifikasi entitas keuangan (nama perusahaan, simbol saham, nilai moneter) dan peristiwa dalam artikel dan laporan berita untuk analisis pasar, penilaian risiko, dan deteksi penipuan
• E-commerce: Mengekstrak informasi produk, brand, dan fitur dari ulasan dan deskripsi untuk penelusuran, sistem rekomendasi, dan analisis pasar yang lebih baik
• Sumber daya manusia: Mengotomatiskan penyaringan resume dengan mengekstrak keterampilan, pengalaman, dan kualifikasi