150多萬張「不可描述」照片數據集新鮮出爐，這次一定不要在辦公室打開

　　15　　2019-02-15 12:16公司/58

　　三井 發自 凹非寺

　　真是青出於藍而勝於藍。

　　距離上次開源20萬「不可描述」圖片數據集30天之後，又有人在GitHub上放出「大招」：

　　開源了內含158.9萬張不可描述圖片的數據集。

　　

　　這次出手的，是一位名叫Evgeny Bazarov數據科學家，目前在一家內容優化公司Besedo工作。

　　他說，自己做這個數據集，是受到了nsfw_data_scrapper（20萬數據集）的啟發。

　　與先前的數據集不同，這個數據集更加「純粹」，並按照場景、外觀等因素分成了159個類別，比如：

　　「appearance_clothing_dresses」、「locations_nature_beach」、「amateur_self-shots」等等。

　　

　　而且，在這159個類別之下，再次進行了分類。比如在「appearance_clothing_dresses」類別下，還有5個類別：

　　

　　至於這個數據集的用途，就仁者見仁智者見智了。

　　Bazarov表示，它可以用來鑒別「NSFW」圖像。畢竟這個數據中基本上都是「不可描述」的圖像，分類又細化。

　　如果你有想法，倒是可以上手試一試。

　　比如，上次20萬數據集放出之後，就有人做成了鑒黃模型。

　　項目地址：

　　https://github.com/rockyzhengwu/nsfw

　　想要下載數據集，得有足夠大的硬碟。整個數據集下載清洗后大概有500G大小。

　　在GitHub上，給出的是圖片的URL。

　　

　　具體的下載方法，可以參考nsfw_data_scrapper中的腳本：

　　找到s目錄下的「2_download_from_urls.sh」……

　　但是，切記，一定不要在辦公室打開。

　　傳送門

　　數據集下載腳本地址：

　　https://github.com/alexkimxyz/nsfw_data_scrapper

　　158萬數據集地址：

　　https://github.com/EBazarov/nsfw_data_source_urls

　　— 完—