Source for file filters.php

Documentation is available at filters.php

  1. <?php
  2.  
  3. /**
  4.  * Message and Spam Filter Plugin - Filtering Functions
  5.  *
  6.  * @copyright &copy; 1999-2006 The SquirrelMail Project Team
  7.  * @license http://opensource.org/licenses/gpl-license.php GNU Public License
  8.  * @version $Id: filters.php,v 1.92 2006/08/05 14:49:48 kink Exp $
  9.  * @package plugins
  10.  * @subpackage filters
  11.  */
  12.  
  13. /**
  14.  * do not allow to call this file directly
  15.  */
  16. if ((isset($_SERVER['SCRIPT_FILENAME']) && $_SERVER['SCRIPT_FILENAME'] == __FILE__) ||
  17.      (isset($HTTP_SERVER_SERVER['SCRIPT_FILENAME']) && $HTTP_SERVER_SERVER['SCRIPT_FILENAME'] == __FILE__) ) {
  18.     header("Location: ../../src/login.php");
  19.     die();
  20. }
  21.  
  22. /** load globals */
  23. global $UseSeparateImapConnection,
  24.     $AllowSpamFilters, $SpamFilters_YourHop, $SpamFilters_ShowCommercial,
  25.     $SpamFilters_DNScache, $SpamFilters_BulkQuery, $SpamFilters_SharedCache,
  26.     $SpamFilters_CacheTTL;
  27.  
  28. /**
  29.  * load required functions. Plugin depends on IMAP functions and they are not
  30.  * loaded in src/webmail.php
  31.  */
  32. include_once (SM_PATH . 'functions/imap.php');
  33.  
  34. /** load default config */
  35. if (file_exists(SM_PATH . 'plugins/filters/config_default.php')) {
  36.     include_once (SM_PATH . 'plugins/filters/config_default.php');
  37. } else {
  38.     // default config was removed.
  39.         $UseSeparateImapConnection = false;
  40.     $AllowSpamFilters = true;
  41.     $SpamFilters_YourHop = ' ';
  42.     $SpamFilters_ShowCommercial = false;
  43.     $SpamFilters_DNScache = array();
  44.     $SpamFilters_BulkQuery = '';
  45.     $SpamFilters_SharedCache = true;
  46.     $SpamFilters_CacheTTL = 7200;
  47. }
  48.  
  49. if (file_exists(SM_PATH . 'config/filters_config.php')) {
  50.     include_once (SM_PATH . 'config/filters_config.php');
  51. } elseif (file_exists(SM_PATH . 'plugins/filters/config.php')) {
  52.     include_once (SM_PATH . 'plugins/filters/config.php');
  53. }
  54.  
  55. /**
  56.  * Register option blocks
  57.  * @access private
  58.  */
  59. function filters_optpage_register_block() {
  60.     global $optpage_blocks, $AllowSpamFilters;
  61.  
  62.     $optpage_blocks[] = array(
  63.         'name' => _("Message Filters"),
  64.         'url'  => SM_PATH . 'plugins/filters/options.php',
  65.         'desc' => _("Filtering enables messages with different criteria to be automatically filtered into different folders for easier organization."),
  66.         'js'   => false
  67.     );
  68.  
  69.     if ($AllowSpamFilters) {
  70.         $optpage_blocks[] = array(
  71.             'name' => _("SPAM Filters"),
  72.             'url'  => SM_PATH . 'plugins/filters/spamoptions.php',
  73.             'desc' => _("SPAM filters allow you to select from various DNS based blacklists to detect junk email in your INBOX and move it to another folder (like Trash)."),
  74.             'js'   => false
  75.         );
  76.     }
  77. }
  78.  
  79. /* Receive the status of the folder and do something with it */
  80. function filters_folder_status($statusarr) {
  81.  
  82.     global $filter_inbox_count;
  83.     if (empty($filter_inbox_count)) $filter_inbox_count=0;
  84.  
  85.     if ($statusarr['MAILBOX'] == 'INBOX')
  86.     {
  87.      if (!empty($statusarr['MESSAGES'])) $filter_inbox_count=$statusarr['MESSAGES'];
  88.     }
  89. }
  90.  
  91. /**
  92.  * Saves the DNS Cache to disk
  93.  * @access private
  94.  */
  95. function filters_SaveCache () {
  96.     global $data_dir, $SpamFilters_DNScache;
  97.  
  98.     if (file_exists($data_dir . '/dnscache')) {
  99.         $fp = fopen($data_dir . '/dnscache', 'r');
  100.     } else {
  101.         $fp = false;
  102.     }
  103.     if ($fp) {
  104.         flock($fp,LOCK_EX);
  105.     } else {
  106.        $fp = fopen($data_dir . '/dnscache', 'w+');
  107.        fclose($fp);
  108.        $fp = fopen($data_dir . '/dnscache', 'r');
  109.        flock($fp,LOCK_EX);
  110.     }
  111.     $fp1 = fopen($data_dir . '/dnscache', 'w+');
  112.  
  113.     foreach ($SpamFilters_DNScache as $Key=> $Value) {
  114.        $tstr = $Key . ',' . $Value['L'] . ',' . $Value['T'] . "\n";
  115.        fputs ($fp1, $tstr);
  116.     }
  117.     fclose($fp1);
  118.     flock($fp,LOCK_UN);
  119.     fclose($fp);
  120. }
  121.  
  122. /**
  123.  * Loads the DNS Cache from disk
  124.  * @access private
  125.  */
  126. function filters_LoadCache () {
  127.     global $data_dir, $SpamFilters_DNScache;
  128.  
  129.     if (file_exists($data_dir . '/dnscache')) {
  130.         $SpamFilters_DNScache = array();
  131.         if ($fp = fopen ($data_dir . '/dnscache', 'r')) {
  132.             flock($fp,LOCK_SH);
  133.             while ($data = fgetcsv($fp,1024)) {
  134.                if ($data[2] > time()) {
  135.                   $SpamFilters_DNScache[$data[0]]['L'] = $data[1];
  136.                   $SpamFilters_DNScache[$data[0]]['T'] = $data[2];
  137.                }
  138.             }
  139.             flock($fp,LOCK_UN);
  140.         }
  141.     }
  142. }
  143.  
  144. /**
  145.  * Uses the BulkQuery executable to query all the RBLs at once
  146.  * @param array $filters Array of SPAM Fitlers
  147.  * @param array $IPs Array of IP Addresses
  148.  * @access private
  149.  */
  150. function filters_bulkquery($filters, $IPs) {
  151.     global $attachment_dir, $username,
  152.            $SpamFilters_DNScache, $SpamFilters_BulkQuery,
  153.            $SpamFilters_CacheTTL;
  154.  
  155.     if (count($IPs) > 0) {
  156.         $rbls = array();
  157.         foreach ($filters as $key => $value) {
  158.             if ($filters[$key]['enabled']) {
  159.                 if ($filters[$key]['dns']) {
  160.                     $rbls[$filters[$key]['dns']] = true;
  161.                 }
  162.             }
  163.         }
  164.  
  165.         $bqfil = $attachment_dir . $username . '-bq.in';
  166.         $fp = fopen($bqfil, 'w');
  167.         fputs ($fp, $SpamFilters_CacheTTL . "\n");
  168.         foreach ($rbls as $key => $value) {
  169.             fputs ($fp, '.' . $key . "\n");
  170.         }
  171.         fputs ($fp, "----------\n");
  172.         foreach ($IPs as $key => $value) {
  173.             fputs ($fp, $key . "\n");
  174.         }
  175.         fclose ($fp);
  176.         $bqout = array();
  177.         exec ($SpamFilters_BulkQuery . ' < ' . $bqfil, $bqout);
  178.         foreach ($bqout as $value) {
  179.             $Chunks = explode(',', $value);
  180.             $SpamFilters_DNScache[$Chunks[0]]['L'] = $Chunks[1];
  181.             $SpamFilters_DNScache[$Chunks[0]]['T'] = $Chunks[2] + time();
  182.         }
  183.         unlink($bqfil);
  184.     }
  185. }
  186.  
  187. /**
  188.  * Starts the filtering process
  189.  * @param array $hook_args (since 1.5.2) do hook arguments. Is used to check
  190.  *  hook name, array key = 0.
  191.  * @access private
  192.  */
  193. function start_filters($hook_args) {
  194.     global $imapServerAddress, $imapPort, $imap_stream, $imapConnection,
  195.            $UseSeparateImapConnection, $AllowSpamFilters, $filter_inbox_count,
  196.            $username;
  197.  
  198.     /**
  199.      * check hook that calls filtering. If filters are called by right_main_after_header,
  200.      * do filtering only when we are in INBOX folder.
  201.      */
  202.     if ($hook_args[0]=='right_main_after_header' &&
  203.         (sqgetGlobalVar('mailbox',$mailbox,SQ_FORM) && $mailbox!='INBOX')) {
  204.         return;
  205.     }
  206.  
  207.     $filters = load_filters();
  208.  
  209.     // No point running spam filters if there aren't any to run //
  210.     if ($AllowSpamFilters) {
  211.         $spamfilters = load_spam_filters();
  212.  
  213.         $AllowSpamFilters = false;
  214.         foreach($spamfilters as $filterskey=>$value) {
  215.             if ($value['enabled'] == 'yes') {
  216.                 $AllowSpamFilters = true;
  217.                 break;
  218.             }
  219.         }
  220.     }
  221.  
  222.     if (!$AllowSpamFilters && empty($filters)) {
  223.         return;
  224.     }
  225.  
  226.  
  227.     // Detect if we have already connected to IMAP or not.
  228.     // Also check if we are forced to use a separate IMAP connection
  229.     if ((!isset($imap_stream) && !isset($imapConnection)) ||
  230.         $UseSeparateImapConnection ) {
  231.             $stream = sqimap_login($username, false, $imapServerAddress,
  232.                                 $imapPort, 10);
  233.             $previously_connected = false;
  234.     } else if (isset($imapConnection)) {
  235.         $stream = $imapConnection;
  236.         $previously_connected = true;
  237.     } else {
  238.         $previously_connected = true;
  239.         $stream = $imap_stream;
  240.     }
  241.  
  242.     if (!isset($filter_inbox_count)) {
  243.         $aStatus = sqimap_status_messages ($stream, 'INBOX', array('MESSAGES'));
  244.         if (!empty($aStatus['MESSAGES'])) {
  245.             $filter_inbox_count=$aStatus['MESSAGES'];
  246.         } else {
  247.             $filter_inbox_count=0;
  248.         }
  249.     }
  250.  
  251.     if ($filter_inbox_count > 0) {
  252.         sqimap_mailbox_select($stream, 'INBOX');
  253.         // Filter spam from inbox before we sort them into folders
  254.         if ($AllowSpamFilters) {
  255.             spam_filters($stream);
  256.         }
  257.  
  258.         // Sort into folders
  259.         user_filters($stream);
  260.     }
  261.  
  262.     if (!$previously_connected) {
  263.         sqimap_logout($stream);
  264.     }
  265. }
  266.  
  267. /**
  268.  * Does the loop through each filter
  269.  * @param stream imap_stream the stream to read from
  270.  * @access private
  271.  */
  272. function user_filters($imap_stream) {
  273.     global $data_dir, $username;
  274.     $filters = load_filters();
  275.     if (! $filters) return;
  276.     $filters_user_scan = getPref($data_dir, $username, 'filters_user_scan');
  277.  
  278.     $expunge = false;
  279.     // For every rule
  280.     for ($i=0, $num = count($filters); $i < $num; $i++) {
  281.         // If it is the "combo" rule
  282.         if ($filters[$i]['where'] == 'To or Cc') {
  283.             /*
  284.             *  If it's "TO OR CC", we have to do two searches, one for TO
  285.             *  and the other for CC.
  286.             */
  287.             $expunge = filter_search_and_delete($imap_stream, 'TO',
  288.                   $filters[$i]['what'], $filters[$i]['folder'], $filters_user_scan, $expunge);
  289.             $expunge = filter_search_and_delete($imap_stream, 'CC',
  290.                   $filters[$i]['what'], $filters[$i]['folder'], $filters_user_scan, $expunge);
  291.         } else if ($filters[$i]['where'] == 'Header and Body') {
  292.             $expunge = filter_search_and_delete($imap_stream, 'TEXT',
  293.                   $filters[$i]['what'], $filters[$i]['folder'], $filters_user_scan, $expunge);
  294.         } else if ($filters[$i]['where'] == 'Message Body') {
  295.             $expunge = filter_search_and_delete($imap_stream, 'BODY',
  296.                   $filters[$i]['what'], $filters[$i]['folder'], $filters_user_scan, $expunge);
  297.         } else {
  298.             /*
  299.             *  If it's a normal TO, CC, SUBJECT, or FROM, then handle it
  300.             *  normally.
  301.             */
  302.             $expunge = filter_search_and_delete($imap_stream, $filters[$i]['where'],
  303.                  $filters[$i]['what'], $filters[$i]['folder'], $filters_user_scan, $expunge);
  304.         }
  305.     }
  306.     // Clean out the mailbox whether or not auto_expunge is on
  307.     // That way it looks like it was redirected properly
  308.     if ($expunge) {
  309.         sqimap_mailbox_expunge($imap_stream, 'INBOX');
  310.     }
  311. }
  312.  
  313. /**
  314.  * Creates and runs the IMAP command to filter messages
  315.  * @param string $where Which part of the message to search (TO, CC, SUBJECT, etc...)
  316.  * @param string $what String to search for
  317.  * @param string $where_to Folder it will move to
  318.  * @param string $user_scan Whether to search all or just unseen
  319.  * @param string $should_expunge 
  320.  * @param boolean $where Which part of location to search
  321.  * @access private
  322.  */
  323. function filter_search_and_delete($imap_stream, $where, $what, $where_to, $user_scan,
  324.                                   $should_expunge) {
  325.     global $languages, $squirrelmail_language, $allow_charset_search, $imap_server_type;
  326.  
  327.     //TODO: make use of new mailbox cache. See mailbox_display.phpinfo
  328.  
  329.     if (strtolower($where_to) == 'inbox') {
  330.         return array();
  331.     }
  332.  
  333.     if ($user_scan == 'new') {
  334.         $category = 'UNSEEN';
  335.     } else {
  336.         $category = 'ALL';
  337.     }
  338.     $category .= ' UNDELETED';
  339.  
  340.     if ($allow_charset_search &&
  341.         isset($languages[$squirrelmail_language]['CHARSET']) &&
  342.         $languages[$squirrelmail_language]['CHARSET']) {
  343.         $search_str = 'SEARCH CHARSET '
  344.                     . strtoupper($languages[$squirrelmail_language]['CHARSET'])
  345.                     . ' ' . $category;
  346.     } else {
  347.         $search_str = 'SEARCH CHARSET US-ASCII ' . $category;
  348.     }
  349.     if ($where == 'Header') {
  350.         $what  = explode(':', $what);
  351.         $where = strtoupper($where);
  352.         $where = trim($where . ' ' . $what[0]);
  353.         $what  = addslashes(trim($what[1]));
  354.     }
  355.  
  356.     // see comments in squirrelmail sqimap_search function
  357.     if ($imap_server_type == 'macosx' || $imap_server_type == 'hmailserver') {
  358.          $search_str .= ' ' . $where . ' ' . $what;
  359.         /* read data back from IMAP */
  360.         $read = sqimap_run_command($imap_stream, $search_str, true, $response, $message, TRUE);
  361.     } else {
  362.         $search_str .= ' ' . $where . ' {' . strlen($what) . "}";
  363.         $sid = sqimap_session_id(true);
  364.         fputs ($imap_stream, $sid . ' ' . $search_str . "\r\n");
  365.         $read2 = sqimap_fgets($imap_stream);
  366.         # server should respond with Ready for argument, then we will send search text
  367.         #echo "RR2 $read2<br>";
  368.         fputs ($imap_stream, "$what\r\n");
  369.         #echo "SS $what<br>";
  370.         $read2 = sqimap_fgets($imap_stream);
  371.         #echo "RR2 $read2<br>";
  372.         $read[]=$read2;
  373.         $read3 = sqimap_fgets($imap_stream);
  374.         #echo "RR3 $read3<br>";
  375.         list($rtag,$response,$message)=explode(' ',$read3,3);
  376. ##        $read2 = sqimap_retrieve_imap_response($imap_stream, $sid, true,
  377. ##              $response, $message, $search_str, false, true, false);
  378.         #echo "RR2 $read2 / RESPONSE $response<br>";
  379.     }
  380.  
  381.     if (isset($read[0])) {
  382.         $ids = array();
  383.         for ($i = 0, $iCnt = count($read); $i < $iCnt; ++$i) {
  384.             if (preg_match("/^\* SEARCH (.+)$/", $read[$i], $regs)) {
  385.                 $ids += preg_split("/ /", trim($regs[1]));
  386.             }
  387.         }
  388.         if ($response == 'OK' && count($ids)) {
  389.             if (sqimap_mailbox_exists($imap_stream, $where_to)) {
  390.                  $should_expunge = true;
  391.                  sqimap_msgs_list_move ($imap_stream, $ids, $where_to, false);
  392.             }
  393.         } elseif ($response != 'OK') {
  394.             $query = $search_str . "\r\n".$what ."\r\n";
  395.             if ($response == 'NO') {
  396.                 if (strpos($message,'BADCHARSET') !== false ||
  397.                     strpos($message,'character') !== false) {
  398.                     sqm_trigger_imap_error('SQM_IMAP_BADCHARSET',$query, $response, $message);
  399.                 } else {
  400.                     sqm_trigger_imap_error('SQM_IMAP_ERROR',$query, $response, $message);
  401.                 }
  402.             } else {
  403.                 sqm_trigger_imap_error('SQM_IMAP_ERROR',$query, $response, $message);
  404.             }
  405.         }
  406.     }
  407.     return $should_expunge;
  408. }
  409.  
  410. /**
  411.  * Loops through all the Received Headers to find IP Addresses
  412.  * @param stream imap_stream the stream to read from
  413.  * @access private
  414.  */
  415. function spam_filters($imap_stream) {
  416.     global $data_dir, $username;
  417.     global $SpamFilters_YourHop;
  418.     global $SpamFilters_DNScache;
  419.     global $SpamFilters_SharedCache;
  420.     global $SpamFilters_BulkQuery;
  421.     global $SpamFilters_CacheTTL;
  422.  
  423.     $filters_spam_scan = getPref($data_dir, $username, 'filters_spam_scan');
  424.     $filters_spam_folder = getPref($data_dir, $username, 'filters_spam_folder');
  425.     $filters = load_spam_filters();
  426.  
  427.     if ($SpamFilters_SharedCache) {
  428.        filters_LoadCache();
  429.     }
  430.  
  431.     $run = false;
  432.  
  433.     foreach ($filters as $Key => $Value) {
  434.         if ($Value['enabled']) {
  435.             $run = true;
  436.             break;
  437.         }
  438.     }
  439.  
  440.     // short-circuit
  441.     if (!$run) {
  442.         return;
  443.     }
  444.  
  445.     // Ask for a big list of all "Received" headers in the inbox with
  446.     // flags for each message.  Kinda big.
  447.  
  448.     if ($filters_spam_scan == 'new') {
  449.         $search_array = array();
  450.         $read = sqimap_run_command($imap_stream, 'SEARCH UNSEEN', true, $response, $message, TRUE);
  451.         if (isset($read[0])) {
  452.             for ($i = 0, $iCnt = count($read); $i < $iCnt; ++$i) {
  453.                 if (preg_match("/^\* SEARCH (.+)$/", $read[$i], $regs)) {
  454.                     $search_array = preg_split("/ /", trim($regs[1]));
  455.                 break;
  456.                 }
  457.             }
  458.         }
  459.     }
  460.     if ($filters_spam_scan == 'new' && count($search_array)) {
  461.         $headers = sqimap_get_small_header_list ($imap_stream, $search_array, array('Received'),array());
  462.     } else if ($filters_spam_scan != 'new') {
  463.         $headers = sqimap_get_small_header_list ($imap_stream, null , array('Received'),array());
  464.     } else {
  465.         return;
  466.     }
  467.     if (!count($headers)) {
  468.         return;
  469.     }
  470.     $bulkquery = (strlen($SpamFilters_BulkQuery) > 0 ? true : false);
  471.     $IPs = array();
  472.     $aSpamIds = array();
  473.     foreach ($headers as $id => $aValue) {
  474.         if (isset($aValue['UID'])) {
  475.             $MsgNum = $aValue['UID'];
  476.         } else {
  477.             $MsgNum = $id;
  478.         }
  479.         // Look through all of the Received headers for IP addresses
  480.         if (isset($aValue['RECEIVED'])) {
  481.             foreach ($aValue['RECEIVED'] as $received) {
  482.                 // Check to see if this line is the right "Received from" line