多くの Linux ディストリビューションでは、 /dev/modem ファイルは、 使用できるモデムが接続されている、 シリアルポートへのシンボリックリンクになっています。
シリアルコンソールはモデムがつながっているシリアルポートになっていますが、 むろんそこから電話をかけるのに使おうとは思っていません。
/dev/modem が、コンソールに使っているシリアルポート （たぶん /dev/ttyS0） を指していないかどうか調べて下さい。 もし指していたら、そのシンボリックリンクを削除して下さい。