2025Äê2ÔÂ9ÈÕ£¬¾¼ÃºÏ×÷Óë·¢Õ¹×éÖ¯£¨OECD£©·¢²¼ÁËһƪÌâΪ¡¶È˹¤ÖÇÄÜ»ùÓÚץȡÊý¾ÝµÄ֪ʶ²úȨÎÊÌâ¡·µÄרÌⱨ¸æ£¬¸Ã±¨¸æÉîÈë̽ÌÖÁËÈ˹¤ÖÇÄÜ£¨AI£©¼¼Êõ¿ìËÙ·¢Õ¹±³¾°Ï£¬Êý¾Ýץȡ£¨Data Scraping£©ÔÚÄ£ÐÍѵÁ·ÖеÄÓ¦Óü°Æä¶Ô֪ʶ²úȨ£¨IP£©ÌåϵµÄ³å»÷¡£±¨¸æÖ¸³ö£¬Ëæ×ÅÉú³ÉʽAIµÄ±¬·¢Ê½Ôö³¤£¬Êý¾ÝץȡÒѳÉΪ»ñÈ¡º£Á¿ÑµÁ·Êý¾ÝµÄÖ÷ÒªÊֶΣ¬µ«ÕâÒ»¹ý³ÌƵ·±Éæ¼°°æÈ¨¡¢Ã×À¼ÌåÓý¡¢Êý¾Ý¿âȨÀûµÈ·¨ÂÉÕùÒ飬ؽÐèÈ«Çòе÷µÄÕþ²ß¿ò¼ÜÓë¼¼Êõ´´ÐÂÓ¦¶ÔÌôÕ½¡£
Êý¾Ýץȡ£ºAI´´ÐµÄË«Èн£
±¨¸æ½«¡°Êý¾Ýץȡ¡±¶¨ÒåΪ¡°Í¨¹ý×Ô¶¯»¯¹¤¾ß´ÓµÚÈý·½ÍøÕ¾¡¢Êý¾Ý¿â»òÉ罻ýÌåÆ½Ì¨ÌáÈ¡ÐÅÏ¢µÄÐÐΪ¡±¡£ÆäºËÐÄÁ÷³Ì°üÀ¨Êý¾ÝÊÕ¼¯¡¢Ô¤´¦Àí¡¢´æ´¢¼°Ä£ÐÍѵÁ·¡£ÀýÈ磬´óÐÍÓïÑÔÄ£ÐÍ£¨ÈçGPT-3£©µÄѵÁ·Êý¾ÝÖУ¬³¬¹ý80%À´×ÔCommon CrawlµÈ¹«¿ªÍøÂçץȡÊý¾Ý¼¯¡£ÕâÀàÊý¾ÝΪAIÄ£ÐÍÌṩÁ˶àÑù»¯µÄÓïÑÔ±í´ïºÍ¿çÁìÓò֪ʶ£¬µ«Ò²ÂñÏÂÒþ»¼¡ª¡ª×¥È¡ÄÚÈÝ¿ÉÄܰüº¬ÊܰæÈ¨±£»¤µÄÊé¼®¡¢ÎÄÕ¡¢Í¼Ïñ£¬ÉõÖÁ¸öÈËÒþ˽ÐÅÏ¢¡£
Êý¾ÝÏÔʾ£¬µ±Ç°Ô¼70%µÄAIѵÁ·Êý¾Ý¼¯È±·¦ÇåÎúµÄÀ´Ô´Ðí¿ÉÐÅÏ¢¡£2023ÄêÒ»Ïî¶Ô1800¸ö³£ÓÃÊý¾Ý¼¯µÄÉ󼯷¢ÏÖ£¬²¿·ÖÊý¾Ý¼¯°üº¬µÁ°æÄÚÈÝ£¬Èç¡°Books3¡±Êý¾Ý¼¯ÉæÏÓÊÕ¼17Íò±¾Î´¾ÊÚȨµÄÊé¼®£¬±»ÓÃÓÚѵÁ·MetaµÄLlamaµÈÖªÃûÄ£ÐÍ¡£´ËÀàÕùÒéÒÑÒý·¢¶à¹úËßËÏ¡£ÃÀ¹ú×÷¼Òлᡢ¡¶Å¦Ô¼Ê±±¨¡·µÈ»ú¹¹ÒѶÔOpenAI¡¢Î¢ÈíµÈÆóÒµÌáÆðËßËÏ£¬Ö¸¿ØÆäδ¾Ðí¿ÉʹÓÃÊܰæÈ¨±£»¤ÄÚÈÝѵÁ·AI£»Å·ÃË¡¢ÈÕ±¾µÈµØÒ²³öÏÖÀàËÆ°¸¼þ¡£
·¨ÂÉÀ§¾³£ºÈ«Çò¹æÔòË鯬»¯
±¨¸æÇ¿µ÷£¬ÏÖÐÐ֪ʶ²úȨ·¨ÂÉÌåϵ¶àÖÆ¶¨ÓÚAI¼¼ÊõÆÕ¼°Ö®Ç°£¬ÄÑÒÔÊÊÓ¦Êý¾ÝץȡÒý·¢µÄ¸´ÔÓÎÊÌâ¡£¸÷¹ú·¨Âɶԡ°ºÏÀíʹÓᱡ°Îı¾ÓëÊý¾ÝÍÚ¾ò£¨TDM£©ÀýÍ⡱µÈ¹Ø¼ü¸ÅÄîµÄ½âÊÍ´æÔÚÏÔÖø²îÒ죺
-Å·ÃËͨ¹ý¡¶Êý×Öµ¥Ò»Êг¡°æÈ¨Ö¸Áî¡·ÔÊÐíÑо¿»ú¹¹ÔںϷ¨»ñÈ¡Êý¾ÝµÄǰÌáϽøÐÐTDM£¬µ«°æÈ¨ËùÓÐÕß¿Éͨ¹ýºÏͬ»ò¼¼ÊõÊֶΡ°Ñ¡ÔñÍ˳ö¡±£¨Opt-out£©£»
-ÈÕ±¾¡¶Öø×÷Ȩ·¨¡·ÔÊÐí³öÓÚ¡°·ÇÓéÀÖÄ¿µÄ¡±µÄTDM£¬°üÀ¨ÉÌÒµÓÃ;£»
-ÃÀ¹úÒÀÀµ¡°ºÏÀíʹÓá±ÔÔò£¬Ðèͨ¹ý˾·¨°¸ÀýÖð°¸Åжϣ»
-ÐÂ¼ÓÆÂ2021ÄêÐÞ¶©µÄ¡¶°æÈ¨·¨¡·ÐÂÔö¡°¼ÆËãÊý¾Ý·ÖÎöÀýÍ⡱£¬Ã÷È·ÔÊÐí»ùÓÚÊý¾Ý·ÖÎöµÄ»úÆ÷ѧϰ£¬µ«½ûÖ¹ÑÜÉúÄÚÈÝÓÃÓÚÆäËûÄ¿µÄ¡£
ÕâÖÖ·¨ÂÉË鯬»¯µ¼Ö¿ç¹úÆóÒµÃæÁٺϹæÄÑÌâ¡£ÀýÈ磬ŷÃË¡¶È˹¤ÖÇÄÜ·¨°¸¡·ÒªÇóͨÓÃAIÄ£ÐÍÌṩÕß×ñÊØÅ·Ã˰æÈ¨·¨£¬¼´Ê¹Ä£ÐÍÔÚ¾³ÍâѵÁ·£¬Ö»ÒªÊä³öÓÃÓÚÅ·ÃËÊг¡¼´Ðèµ£Ôð¡£ÕâÖÖ¡°³¤±Û¹ÜϽ¡±Í¹ÏÔÁ˹ú¼Êе÷µÄ±ØÒªÐÔ¡£
Õþ²ß¹¤¾ßÏ䣺ÐÐΪ׼Ôò¡¢¼¼Êõ¹¤¾ßÓ빫ÖÚ½ÌÓý
ΪƽºâAI´´ÐÂÓëȨÀû±£»¤£¬OECDÌá³öËÄ´óÕþ²ß·½Ïò£º
1. ×ÔÔ¸ÐÐΪ׼Ôò£ºÖƶ¨¿ç¹ú¡°Êý¾ÝץȡÐÐΪ׼Ôò¡±£¬Ã÷È·ÊõÓﶨÒ壨ÈçÇø·ÖÊý¾Ýץȡ¡¢ÍøÂçÅÀ³æµÈ¼¼Êõϸ½Ú£©£¬ÒªÇóÆóÒµÅû¶ѵÁ·Êý¾ÝÀ´Ô´¡¢×ðÖØ¼¼Êõ±£»¤´ëÊ©£¨ÈçÍøÕ¾robots.txtÐÒ飩£¬²¢½¨Á¢Î¥¹æµÇ¼ÇÓë×·Ôð»úÖÆ¡£×¼Ôò¿É²Î¿¼G7¡¶¹ãµºAIÐÐÎªÊØÔò¡·£¬Çø·ÖÉÌÒµÓë·ÇÉÌÒµÓÃ;£¬¹ÄÀøÆ½Ì¨²ÉÓá°Êý¾Ý¼¯¿¨Æ¬¡±£¨Dataset Cards£©±ê×¢Êý¾ÝÐí¿ÉÐÅÏ¢¡£
2. ±ê×¼»¯¼¼Êõ¹¤¾ß£º¿ª·¢Ö§³Ö°æÈ¨¹ÜÀíµÄ¼¼Êõ·½°¸¡£ÀýÈ磬¸Ä½øÏÖÓÐrobots.txtÐÒ飬Éè¼Æ»úÆ÷¿É¶ÁµÄ¡°Ñ¡ÔñÍ˳ö¡±±êʶ£»Ì½Ë÷Êý¾Ý·ÃÎÊ¿ØÖƹ¤¾ß£¬ÔÊÐí°æÈ¨·½Í¨¹ýAPIÊÚȨʹÓ㬲¢¼¯³É×Ô¶¯¸¶·Ñϵͳ¡£Å·ÃËÕýÍÆ¶¯´ËÀ๤¾ßÑз¢£¬ÒÔÅäºÏ¡¶È˹¤ÖÇÄÜ·¨°¸¡·µÄ͸Ã÷¶ÈÒªÇó¡£
3. ±ê×¼ºÏͬÌõ¿î£ºÕë¶ÔÊý¾ÝÌṩÕßÓëAI¿ª·¢ÕߵĺÏ×÷ÐÒ飬Éè¼Æ¼æ¹ËÁé»îÐÔÓëºÏ¹æÐÔµÄÄ£°åÌõ¿î¡£ÀýÈ磬OpenAIÓëÃÀÁªÉç¡¢ShutterstockµÈ»ú¹¹µÄÄÚÈÝÊÚȨÐÒ飬»ò³ÉΪÐÐÒµ²Î¿¼·¶Ê½¡£
4. ¹«ÖÚÒâʶÌáÉý£ºÍ¨¹ý½ÌÓýÏîÄ¿°ïÖú´´×÷ÕßÀí½âȨÀû±ß½ç£¬Ö¸µ¼AIÓû§×ñÊØÊ¹ÓÃÏÞÖÆ£¨Èç±ÜÃâÉú³ÉÇÖȨÄÚÈÝ£©£¬²¢Íƶ¯ÆóÒµ¹«¿ªÄ£ÐÍѵÁ·µÄÂ×ÀíÉó²éÁ÷³Ì¡£
δÀ´ÌôÕ½£º¼¼Êõµü´úÓëÀûÒæÆ½ºâ
±¨¸æ¾¯Ê¾£¬¸ßÖÊÁ¿ÑµÁ·Êý¾Ý¿ÉÄÜÔÚ2026ÄêǰºÄ¾¡£¬ÆÈʹÆóҵתÏòÓïÒôת¼¡¢ºÏ³ÉÊý¾ÝµÈÐÂÐÍץȡÊֶΣ¬½øÒ»²½¼Ó¾ç·¨ÂÉ·çÏÕ¡£Í¬Ê±£¬AIÉú³ÉÄÚÈݶԸöÈËÐÎÏóȨ¡¢ÒÕÊõ·ç¸ñÄ£·ÂµÈÐÂÐÍÇÖȨÐÎʽµÄ½ç¶¨ÈÔ´æÕùÒé¡£ÀýÈ磬AIÉú³ÉµÄ¡°ÐéÄâ¸èÊÖ¡±ÊÇ·ñÇÖ·¸ÔÉùÒôÀÖÈ˵ÄȨÀû£¿Ä£·Â»¼Ò·ç¸ñµÄAI×÷Æ·ÊÇ·ñ¹¹³ÉµÀµÂȨÀûÇÖº¦£¿ÕâЩÎÊÌâØ½´ý·¨ÂÉÓëÂ×Àí¿ò¼ÜµÄ¸üС£
OECDºôÓõ¸÷¹úÕþ¸®¡¢ÆóÒµÓëÉç»á×éÖ¯¼ÓÇ¿ºÏ×÷£¬ÔÚ±£»¤´´Ð¼¤ÀøÓ빫¹²ÀûÒæÖ®¼äѰÇóÆ½ºâ¡£ÕýÈ籨¸æÖ÷±ÊÖ®Ò»¡¢¶Å¿Ë´óѧ½ÌÊÚÀµÙµÂÀïÆæ£¨Lee Tiedrich£©ËùÑÔ£º¡°Ã»ÓÐÒ»µ¶ÇеĽâ¾ö·½°¸£¬µ«Í¨¹ý¼¼Êõ¹æ·¶¡¢ºÏͬ´´ÐÂÓë¹ú¼Ê¶Ô»°£¬ÎÒÃÇ¿ÉÒÔΪAIµÄ¿É³ÖÐø·¢Õ¹ÆÌƽµÀ·¡£¡±