SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small on the preskripsi-sentiment-analysis-dataset-for-embedding-ft dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-small
Maximum Sequence Length: 512 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- preskripsi-sentiment-analysis-dataset-for-embedding-ft

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("masa-research/me5-small-preskripsi-embedding-pos-neg")
# Run inference
sentences = [
    'Warganet Kaitkan Zulkifli Hasan dengan Kasus Impor Gula, Kejagung langsung Pasang Badan!. JAKARTA, ExtraNews – Kasus korupsi impor gula makin memanas dengan diramaikannya linimasa Twitter (X) yang dipenuhi beragam komentar atas kasus korupsi itu. Sebagaimana diketahui, Thomas Trikasih Lembong atau Tom Lembong ditetapkan Kejaksaan Agung sebagai tersangka dalam dugaan korupsi impor gula pada 2015. Jaksa menjerat Menteri Perdagangan atau Mendag periode 2015-2016 itu membuat kebijakan impor gula yang merugikan negara senilai Rp 400 miliar. Sejumlah netizen Indonesia tampaknya tidak puas kalau cuma Tom Lembong yang di jadikan tersangka atas korupsi impor gula itu, dan berharap penegak hukum untuk memeriksa Mentri Perdagangan era Jokowi terutama Mendag Zulkifli Hasan. Di ketahui Menteri Perdagangan terakhir di era Presiden Joko Widodo Zulkifli Hasan yang juga Ketua Umum Partai Amanat Nasional itu pada 2023 mengimpor gula sebanyak 5,06 juta ton. Nampak di tangkapan layar Twitter (X) tanggapan kaum netizen yang berharap Zulkifli Hasan juga di periksa terkait kebijakan impor gula pada saat menjabat sebagai Mentri Perdagangan dan menjadi trending topik dan mendapat beraneka ragam tanggapan dari kaum netizen Indonesia. “Impor gula Zulkifli Hasan 18 juta ton, ini impornya 3x lipat yang dilakukan oleh Tom Lembong. Kalo berdasarkan laporan masyarakat, ini lebih gila laporannya. Segera prosessss!!!! “ tulis pengguna akun @har*m*nAZ “Kapan impor gula Zulkifli Hasan 18 juta ton diusut, ini impornya 3x lipat yang dilakukan oleh Tom Lembong Kasus Zulhas kalau diusut mungkin lebih mengerikan,” tulis pengguna @Ca**hum “Banyak yg lupa bhw Airlangga,Dito yg bahkan ada bukti di kembalikan uangnya itu tdk tersentuh sampai sekarang. Zulkifli Hasan terkait korupsi kasus “GULA”. Kalaulah Tom Lembong bersalah, jelas sekali hukum kita masih jauh dari kata adil, karna hanya menyasar lawan” politik saja,” tulis pengguna @sim*nj*nta9*ico impor gula Zulkifli Hasan 18 juta ton, ini impornya 3x lipat yang dilakukan oleh Tom Lembong. Kalo berdasarkan laporan masyarakat, ini lebih gila laporannya. Segera prosessss!!!! pic.twitter.com/CcD62G9bG7 — Hariman Amir (@HarimanAz) October 31, 2024 Sementara itu ramainya warganet yang mulai mengkaitkan kasus Tom Lembong ke Zulkifli Hasan (zulhas) rupanya mendapatkan respon dari Kejaksaan Agung. Melalui rilis resmi Kejaksaan Agung pada 2023 lalu menyatakan bahwa mereka tidak akan memanggil kembali Menteri Perdagangan periode 2022-2024 Zulkifli Hasan sebagai sebagai saksi terkait kasus dugaan korupsi penyalahgunaan kewenangan dalam kegiatan importasi gula tersebut. Menurut Kepala Pusat Penerangan Hukum (Kapuspenkum) Kejagung, Ketut Sumedana, tidak ada keterkaitan Menteri Zulkifli Hasan dalam perkara dimaksud. Dijelaskan Ketut, perkara yang sedang ditangani Kejagung adalah penyelewengan kebijakan yang telah dilaksanakan sejak tahun 2015. “Adapun perkara dimaksud tidak ada kaitannya dengan kebijakan Menteri Perdagangan Zulkifli Hasan yang dilantik pada bulan Juni 2022. Oleh karena tidak adanya hubungan dengan penanganan perkara tersebut, Menteri Perdagangan Zulkifli Hasan tidak akan dilakukan pemanggilan sebagai saksi dalam perkara dimaksud,” jelas Ketut dalam keterangan resminya pada Jumat 6 Oktober 2023 lalu. (*)',
    'Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap presiden joko widodo?',
    'Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi presiden joko widodo?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.4019

Training Details

Training Dataset

preskripsi-sentiment-analysis-dataset-for-embedding-ft

Dataset: preskripsi-sentiment-analysis-dataset-for-embedding-ft
Size: 46,095 training samples
Columns: artikel, positive, and negative_1

Approximate statistics based on the first 1000 samples:

	artikel	positive	negative_1
type	string	string	string
details	min: 32 tokens mean: 439.08 tokens max: 512 tokens	min: 24 tokens mean: 28.16 tokens max: 78 tokens	min: 27 tokens mean: 31.16 tokens max: 81 tokens

Samples:

artikel	positive	negative_1
Apa Kabar Elkan Baggott Setelah Absen 10 Bulan dari Timnas Indonesia? Lagi Terapi Cedera Pergelangan Kaki dan Segera Comeback. Bola.com, Blackpool - Cedera pergelangan kaki Elkan Baggott hampir sembuh. Bek berusia 22 tahun itu segera kembali bermain untuk Blackpool FC di kasta ketiga Liga Inggris? Elkan Baggott telah absen membela Blackpool sejak Agustus 2024 akibat cedera pergelangan kaki yang membuatnya baru bermain empat kali pada musim ini. Penampilan terakhir Elkan Baggott di Blackpool terjadi pada 24 Agustus 2024, ketika bermain imbang 4-4 melawan Cambridge United dalam matchday ketiga League One 2024/2025. Elkan Baggott sedang menjalani peminjaman di Blackpool selama semusim dari Ipswich Town. Pemain kelahiran Bangkok, Thailand, itu diperkirakan akan kembali membela Blackpool kontra Liverpool U-21 dalam EFL Trophy 2024/2025 pada 7 November 2024. "Elkan Baggott menjalani sesi latihan pertamanya, jadi senang bisa melihatnya kembali bersama tim," ujar pelatih Blackpool, Stephen Dob...	`Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap timnas indonesia?`	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi timnas indonesia?`
Di Balik Penangkapan Terduga Teroris di 3 Wilayah Jawa Timur dan NTB. KOMPAS.com- Detasemen Khusus (Densus) 88 Antiteror Mabes Polri menangkap sejumlah terduga teroris di Nusa Tenggara Barat dan Jawa Timur, beberapa hari terakhir. Mulanya penangkapan dilakukan terhadap MT di Bima, NTB pada 31 Mei 2023. Dari keterangan Mabes Polri, MT difasilitasi untuk berangkat ke Yaman dan bergabung dengan organisasi AQAP (cabang AlQaedah). Selanjutnya, berdasarkan pengembangan, Densus menangkap sejumlah terduga teroris lainnya. Pada Jumat (2/6/2023) pagi Densus menangkap ABU, terduga teroris di Jalan Kalimas Madya III Nyamplungan, Kecamatan Pabean Cantian, Surabaya, Jawa Timur. "Diamankan 07.30 WIB, setahu saya di rumahnya," kata Ketua RT M. Abri, Sabtu (3/6/2023). Setelah penangkapan tersebut dilakukan penggeledahan di rumah ABU. Abri yang turut serta dalam penggeledahan mengatakan polisi menyita sejumlah buku, busur, dan anak panah. "Iya ada panah. Ujungnya memang sangat tajam. Tapi tadi saya liha...	`Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap MT?`	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi MT?`
Dirjen Imigrasi Enggan Salahkan Siapapun Soal Peretasan: Sesama Bus Kota Enggak Boleh Saling Menyalip. JAKARTA, KOMPAS.com - Direktur Jenderal (Dirjen) Imigrasi Silmy Karim enggan menyalahkan siapa pun atas peristiwa gangguan sistem pelayanan imigrasi, yang terjadi karena peretasan Pusat Data Nasional (PDN). Menurutnya, ia tak berwenang untuk menilai kementerian/lembaga lain atas peristiwa peretasan yang terjadi. "Ya enggak mungkin saya gitu (menilai)," kata Silmy dalam konferensi pers di kawasan Jakarta Selatan, Jumat (28/6/2024). "Sudah lah, sesama bus kota enggak boleh saling menyalip," tambahnya. Ia menambahkan, hanya pakar di luar kementerian/lembaga yang berhak menilai atas peristiwa yang terjadi. Termasuk, siapa yang patut bertanggungjawab atas peristiwa ini. "Itu yang bisa ngomong kayak gitu pengamat, bisa lah. Saya enggak bisa," tegas Silmy. Sebelumnya, muncul petisi online untuk meminta Menkominfo Budi Arie Setiadi mundur karena dianggap tak bisa menyelesaikan PDN yang disera...	`Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Budi Arie Setiadi?`	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Budi Arie Setiadi?`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

preskripsi-sentiment-analysis-dataset-for-embedding-ft

Dataset: preskripsi-sentiment-analysis-dataset-for-embedding-ft
Size: 14,794 evaluation samples
Columns: artikel, positive, and negative_1

Approximate statistics based on the first 1000 samples:

	artikel	positive	negative_1
type	string	string	string
details	min: 18 tokens mean: 432.85 tokens max: 512 tokens	min: 24 tokens mean: 30.76 tokens max: 49 tokens	min: 24 tokens mean: 30.36 tokens max: 52 tokens

Samples:

artikel	positive	negative_1
Capai NZE, PLN EPI kembangkan energi bersih basis ekonomi kerakyatan. Lewat teknologi co-firing (bahan bakar alternatif) di PLTU, PLN EPI mengembangkan ekosistem biomassa yang justru banyak melibatkan masyarakat sehingga program transisi ini juga mendorong perekonomian rakyat Jakarta (ANTARA) - Sekretaris Perusahaan PLN Energi Primer Indonesia (PLN EPI) Mamit Setiawan mengatakan PLN EPI mengambil peran penting dalam era transisi energi saat ini dengan mengembangkan energi bersih berbasis ekonomi kerakyatan. Program transisi energi selain mencapai pengurangan emisi juga sekaligus menjadi katalisator pertumbuhan ekonomi, sehingga PLN EPI sebagai Subholding PT PLN (Persero) mengambil bagian penting dalam agenda ini. "Lewat teknologi co-firing (bahan bakar alternatif) di PLTU, PLN EPI mengembangkan ekosistem biomassa yang justru banyak melibatkan masyarakat sehingga program transisi ini juga mendorong perekonomian rakyat," kata Mamit di Jakarta, Senin. Sebagai perusahaan yang menjamin paso...	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Pembangkit Listrik Tenaga Uap (PLTU)?`	`Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Pembangkit Listrik Tenaga Uap (PLTU)?`
Mahasiswa UNS ikut menggali potensi energi baru terbarukan. Melihat krisis sumber daya energi nonterbarukan makin mendesak dunia untuk mencari alternatif energi yang berkelanjutan. Solo (ANTARA) - Mahasiswa Universitas Sebelas Maret (UNS) Surakarta berupaya ikut menggali potensi energi baru terbarukan dengan membuat penelitian yang menggabungkan sistem pemantauan berbasis yaw dengan teknologi Internet of Things (IoT). Ketua tim Alif Ilham, di Solo, Jawa Tengah, Rabu, mengatakan sistem pemantauan berbasis yaw ini dirancang untuk memonitor kinerja Horizontal Axis Wind Turbine (HAWT) secara realtime. Ia mengatakan penelitian dilakukan karena melihat krisis sumber daya energi nonterbarukan makin mendesak dunia untuk mencari alternatif energi yang berkelanjutan. "Dari data kebutuhan Indonesia, 50,3 persen listrik yang digunakan masih berasal dari energi nonterbarukan, yaitu batu bara," katanya. Menurut dia, salah satu solusi yang menjanjikan adalah energi angin. Energi ini dapat diubah menj...	`Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap BRIN (Badan Riset dan Inovasi Nasional)?`	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi BRIN (Badan Riset dan Inovasi Nasional)?`
Mengapa Manufaktur Terpuruk dan Apa Urgensinya?. Tema terpuruknya manufaktur di Tanah Air menjadi salah satu pemberitaan media massa pekan ini. Hal ini berawal dari rilis S&P tentang Purchasing Manager Indeks (PMI) Indonesia periode Agustus 2024 pada 2 September 2024. Intinya, indeks Indonesia terpuruk makin dalam di bawah batas minimal indikasi ekspansi. Namun apa yang sebenarnya terjadi? Mengapa demikian? Dan apa urgensinya bagi perekonomian nasional? Apa yang Anda pelajari dari artikel ini? 1.Apa yang terjadi dengan manufaktur? 2.Apa konsekuensinya bagi buruh? 3.Apa pentingnya manufaktur bagi perekonomian Indonesia? PMI Indonesia pada Agustus 2024 melanjutkan kontraksi yang sudah terjadi sejak Juli 2024. PMI manufaktur Indonesia di periode ini anjlok ke 48,9. Angka di bawah 50 menunjukkan kondisi kontraksi. Pada Juli, indeksnya adalah 49,3. Artinya, kontraksi pada Agustus kian dalam. Padahal, sebelumnya, manufaktur Indonesia dalam posisi ekspansi selama 34 bulan berturut-turut. ...	`Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Ekonomi Indonesia?`	`Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Ekonomi Indonesia?`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
push_to_hub: True
hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-neg
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: True
resume_from_checkpoint: None
hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-neg
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	cosine_accuracy
0.0347	100	2.2799	3.0897	0.6039
0.0694	200	1.0007	3.7314	0.6032
0.1041	300	0.6538	3.9361	0.6031
0.2083	600	0.8024	4.0135	0.6029
0.3124	900	0.7212	4.2401	0.6025
0.4165	1200	0.9165	4.3140	0.6034
0.5207	1500	0.8918	4.6178	0.6033
0.6248	1800	0.8376	4.6052	0.6034
0.7289	2100	0.9715	2.9251	0.4035
0.8330	2400	0.4864	3.3840	0.4045
0.9372	2700	0.4698	3.7879	0.4019

Framework Versions

Python: 3.11.11
Sentence Transformers: 3.3.1
Transformers: 4.47.1
PyTorch: 2.5.1+cu124
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

Downloads last month: 1

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for masa-research/me5-small-preskripsi-embedding-pos-neg

Base model

intfloat/multilingual-e5-small

Finetuned

(149)

this model

Papers for masa-research/me5-small-preskripsi-embedding-pos-neg

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Paper • 1908.10084 • Published Aug 27, 2019 • 12

Efficient Natural Language Response Suggestion for Smart Reply

Paper • 1705.00652 • Published May 1, 2017

Evaluation results

Cosine Accuracy on Unknown
self-reported

0.402